共同研究「機械学習を用いたドット文字の識別」レポート

2022年07月11日

このたび、しまねソフト研究開発センター（以下、ITOC）では、株式会社アルプロン、株式会社パソナテックの3社により「機械学習を用いたドット文字の識別」というテーマで共同研究を行いましたので、以下に取組みの内容について紹介します。

共同研究の概要

背景

（株）アルプロンはプロテインをはじめ、健康食品、健康補助食品、食料品の企画、開発、製造及び販売を手掛ける企業である。（当社は食品安全マネジメントシステムに関する国際規格「FSSC22000」の認証と国際的アンチドーピング認証プログラム「インフォームドチョイス」の認証を取得）

当社は、令和2年度に公益財団法人しまね産業振興財団のものづくり産業生産プロセス変革支援事業として、製造実行システムの開発・導入に取組み、当該事業の一環としてハンディ―ターミナルの画像認識機能を活用したロット番号や賞味期限など原料情報の読み取り及びシステムへの自動入力を行い、手書きによる帳票記入の廃止、省力化を図ってきた。

しかし、原料のうち輸入原料は原料情報がドット文字で印字されており、且つ印字の潰れや滲みで読み取りにくいものが多く、ハンディ―ターミナルでの読み取りが困難であったため、引き続き作業者が手入力で原料情報の入力を行っていた。

この問題を解決するために、原料袋に印字されているドット文字をカメラで撮影し、撮影画像から機械学習を用いて文字情報の識別を試みる研究に取組んだ。

研究の目標

通常のOCR(Optical Character Recognition)では読み取りが不安定となるドット文字を対象とし、機械学習を用いた文字情報の読み取りについて実現性を検証する。

実施期間

令和3年11月1日～令和4年4月30日（半年間）

実施体制

株式会社アルプロン、株式会社パソナテック、ITOCの3社で実施した。

共同研究の実施内容

（株）アルプロンは、撮像機器で原料袋においてドット文字が印字された箇所を撮像し、機械学習を適用するための学習及び検証用のデータ提供を行った。（株）パソナテックは、ITOC専門研究員とともに、ドット文字を識別する機械学習のサンプルプログラムを作成し、検証及び分析を行った。

環境準備

撮像用の機器として（株）アルプロン及び（株）パソナテックは、自社が保有するiPhoneを提供した。
ITOC及び（株）パソナテックは、各自が保有するソフトウェア開発環境に、本共同研究において必要となるライブラリ類のインストールを行い、開発環境を整備した。

共同研究の進め方について

概ね1ヶ月に1回程度、定例ミーティングを行った。ミーティングでは、各社の取組みの進捗状況や課題を共有するとともに、意見交換や次のステップに向けた方針確認等を行った。（ミーティングは計5回実施）

機械学習による検証

本共同研究では、物体検出の手法を用いて画像からドット文字を検出し、その座標から印字されている内容を解釈する手法を採用。
C++言語で書かれた汎用目的のソフトウェアライブラリであるDlibを使用して、HOGベースのオブジェクト検出器を作成。
※HOG（Histogram of Oriented Gradients）：局所領域における輝度（色、明るさ）の勾配方向をヒストグラム化したもの

機械学習の仕組み

撮像した画像の識別を行うサンプルプログラムをWebアプリケーションの形式で作成。Streamlitフレームワークを利用し、300行程度のシンプルなWebアプリケーションで、アップロードした画像の識別を行う。（作成したサンプルプログラムはクラウドサービスに配備し、動作を確認）
クラウドサービスを利用する際、低スペックのインスタンスでは識別処理に数秒〜10秒程度を要していたが、いくつかの環境で比較することでスペックによりシームレスに速度が向上すること確認できたため、十分な性能のインスタンスを使用すれば識別処理自体は1秒未満まで性能を向上させられる見通しがたてられた。
十分な認識精度のモデルを生成するために必要な学習データ量は、0〜9の各数字ごとで異なっていた。約20〜100箇所程度の学習により、それぞれ80％〜90％前後の正解率に到達。原料袋の歪みや、陰影、文字列の水平といった撮像環境による影響について、対応が可能。
原料袋の積み方によっては、文字列が上下反転している場合があるが、ソフトウェアによる処理で対応した。
原料は倉庫に搬入される時点で大半が同一のロットである関係上、識別の目的であるロット番号、製造年月日、賞味期限に含まれる0〜9までの各数字の出現頻度には大きな差があり、全ての文字種の学習用データを得るには、次に原料が納品されるタイミングを待つ必要があり、運用時は学習用データの収集方法について検討が必要。
撮像機器について、初回の撮像と2回目以降の撮像で機器の変更を行った。画素数は双方とも1200万画素であったが、2回目以降に撮像された画像は袋表面の毛羽や小さなインクのはねなどが目視できるようになっており、画質に違いがみられた。また、初回に撮像されたデータのみを学習に使用した機械学習のモデルで2回目以降に撮像された画像の識別を行うと、正解率が大きく低下する現象が発生。（2回目以降に撮像した画像を学習に追加することで改善）
運用時は事前の学習データを撮像する機器と、運用時に使用する機器の性能が一致するように、あらかじめ使用する機材を選定し、条件が統一された状態で学習データを収集する必要がある。

今後に向けて

ドット文字について機械学習を用いて識別する方法の技術的な実現性の見通しがたてられた。今後について、2社の意向は次のとおり。

（株）アルプロンとしては、現場への導入を検討する際の導入コストや認識精度など、機械学習を導入するための条件を引き続き検討される意向が示された。
（株）パソナテックからは、今回得られた知見を基に、現場での運用に適したアプリケーション構成を提案できるように、引き続き検討を進める意向が示された。

共同研究を終えて

成果から得られた知見等

（株）アルプロンとしては、「機械学習による識別の仕組みについて学ぶことができ、様々な作業に応用できるのではないかと感じた。食品製造業はもちろん、異業種への展開も十分に可能であると思う。昨今のDXにおいて需要がある技術だと感じた。」とのことでした。
（株）パソナテックとしては、「今回のドット文字のように数字やアルファベット程度のシンプルな形状の検出であれば、今回のDlibを用いたHOG特徴量とSVMによる手法も有効であることがわかった。少ない教師データ数と少ない計算機資源で、効率よく精度が確保できることは、機械学習の適用可能性を調査する段階において有利な特性であり、応用の可能性を感じている。またデータの収集、アノテーション、前処理や精度の向上、サンプルプログラムの作成まで機械学習における一連の流れを体験できたことは非常に有益だった。」等、技術面や実務面で多くの学びがあったとのことでした。
ITOCとしては、機械学習を用いる際の、データの収集方法、網羅性、収集頻度の分析など、PoCを進める上で必要となる様々な要素について知見を得る機会となりました。

担当研究員からのコメント

しまねソフト研究開発センター専門研究員木村忍

今回、既存の製品を用いてうまく実現できなかった機能を機械学習技術を用いることで実現できるという結果になり、この技術が適合する分野を示す好例になったと感じています。

（株）パソナテックには、データ収集からデータ分析、学習、アプリケーションへの組み込みまでの一連の流れを経験して頂き、今後の機械学習技術を様々な製品・サービスに適用できるスキルを身につけられました。

（株）アルプロンには、事業課題の解決に機械学習が有用であることを実感して頂くとともに、共同研究期間中に精度を向上させるために気をつけることなど開発側の要件も理解しながら作業を進めることができ、今後新たな課題が発生した時にその解決策の一つとして機械学習技術の利用を考えて頂けるようになったと感じています。

今後もこのような事例が生まれるよう多くの会社と共同研究を行なっていけたらと思います。

3社による共同研究の実施について

ITOCでは、県内企業等との共同研究事業として機械学習を利用した企業における課題解決や新しいサービスの開発に向けたPoC（Proof of Concept：概念実証）の支援を行っています。

これまでは、製造業や流通業などのいわゆるエンドユーザ企業と2社による共同研究を行ってきましたが、機械学習を県内IT企業に活用される技術として普及させることを目的として、IT企業を交えた3社による共同研究を実施しています。参画いただくIT企業については、機械学習に知見のある県内のIT企業にITOCからお声がけしています。

こうした取り組みに興味のある県内の企業からのご連絡をお待ちしております。

お問い合わせ先

公益財団法人しまね産業振興財団　しまねソフト研究開発センター（ITOC）　担当：内部
〒690-0816 島根県松江市北陵町１番地テクノアークしまね2F
TEL:0852-61-2225　FAX: 0852-61-3322　itoc@s-itoc.jp