共同研究「撮影装置および軽量アルゴリズムを用いた害虫の識別」レポート

しまねソフト研究開発センターでは、株式会社テクノプロジェクトと「撮影装置および軽量アルゴリズムを用いた害虫の識別 」をテーマとして共同研究を行いました。

以下に取組の内容を紹介します。

共同研究の目的

　特定の粘着ボード上に水稲からふるい落とされた害虫等の様子を専用の撮影装置を用いて撮影した写真の画像データから、害虫を識別する軽量アルゴリズムについての技術実証を行う。

　本共同研究の開始と同時期に類似の研究成果が国立研究開発法人 農業・食品産業技術総合研究機構より発表された（※１）が、本共同研究では、より容易に運用でき、安価に導入できる仕組みの実現を目標とし、アルゴリズムの実装と、その実現可能性について評価した。

※１）「(研究成果) イネ害虫の発生調査で、専門家の目を持つAIがウンカ類を自動カウント」

共同研究実施期間

令和４年2月1日　～　令和４年12月31日

共同研究の内容

　本共同研究は「データフォーマットの検討・撮影環境の構築」、「アルゴリズムの検討・評価」、「プロトタイプ作成・フィードバック収集」の順で行った。研究に用いるデータは島根県農業技術センター（以降、農業技術センターと記載）から提供いただいた。また、データ共有基盤およびモデルの試作・検証を行うクラウド環境をしまねソフト研究開発センターが提供した。

【データフォーマットの検討・撮影環境の構築】

　インターネット上に公開された画像と農業技術センターから提供いただいた粘着版の画像（※１）を基に、撮影環境の要件を定義した。要件は(i)撮影時の条件を一定とすること、および、(ii)撮影時に生じるノイズを排除することを目的として以下の通り定義した。

　- 一定距離での撮影を可能とする:　画像中の害虫の大きさを一定にするため
　- 画像の明るさを一定とする:　画像中の害虫の色合いを一定にするため
　- 照明の反射を抑制する:　粘着版を覆うビニールが照明光を反射しノイズとなるのを防ぐため
　- 背景色は青とする:　主要な害虫の補色を背景とし害虫の輪郭を強調するため

　上記の要件に基づき、農業技術センターにて、撮影環境の制作していただき、データを収集していただいた。以下に使用した撮影環境を図示する。

　本共同研究では、上記の撮影環境を用いて、現場で用いるものと同様の粘着板を用いて撮影した画像と、粘着版に青色の台紙を差し込んで背景色を「青」に変えて撮影した画像を収集していただいた。

　また、撮影の対象とする害虫は、農業技術センターで飼育されており、まとまったデータ量を確保できるトビイロウンカに限定した。

【アルゴリズムの検討・評価】

　本共同研究では、まず以下の3つの要件を満たすモデルの構築が可能か試作版のモデルを作成・評価した。

　　1)トビイロウンカの検出
　　2)トビイロウンカの雌雄判定
　　3)GPUが実装されていないPCで最長5分程度で推論

　上記の要件をもとにモデルの構成要素を以下のように設計・構築して評価した。

　上記のモデルを用いて検出および判定を試行した結果、以下のことが分かった。

　　1)self-attention層の出力よりモデルは雌雄判定を行う際にウンカに注目して判定を行う傾向がある
　　　このことからウンカの画像データはself-attention層で捉えられる特徴を有していると考えられる。
　　2)ウンカの雌雄判定は困難
　　3)3000 x 4000の解像度のデータであれば2分程度で処理が完了する
　　4)検出精度は背景の影響を受ける

　これらの結果を受けて、以下の４つの要件を満たすモデルを改めて設計・実装して評価した。

　　1)ウンカがいる可能性が高い位置を画像中にサジェスト
　　　(ウンカの分類・ウンカか否かの判断、カウントは人が行う)
　　2)検出にかかる時間は2分程度
　　３)スマホで撮影した写真を利用可能(3000px x 4000px)
　　4)一般的なPCで利用可能

　改めて設計したモデルの構成要素を以下に示す。

　農業技術センターより提供いただいた画像データ35枚のうち、75%を用いて上記のモデルを学習させ、25%を用いてモデルの性能を計測し、以下の結果を得た。

　- 検証データに含まれるウンカの85%をサジェストできた。
　　サジェスト漏れした15%のうち、 95%は画像中の以下のいずれかに集中した。
　　a）青背景の途切れている箇所、b）虫の密集地点、c)藁の近傍
　- サジェストの約6割がウンカ以外のものであった。
　　ウンカ以外の虫、あるいはぼけていてウンカで あるかが不明瞭なものが大半

　上記の結果については、以下の根拠よりデータの量を増やすことで精度の改善が見込まれる。

　- サジェスト漏れの大半が同じ条件下にあり、学習データの中で出現頻度が低い条件である。
　　そのため、正しいサジェストに必要な学習データが足りていないと考えられる。
　- 学習データの絶対数が少ない。『共同研究の内容及び目標』で触れた先行研究では
　　50,000枚の粘着版画像を用いているのに対し、本共同研究では35枚の画像しか用いていない。

【プロトタイプ作成・フィードバック収集】

　上記の評価結果から、モデルによるサジェスト能力が低い領域（青背景の途切れている箇所、虫の密集地点、藁の近傍）は人の目でウンカ有無を確認し、それ以外の箇所についてはモデルのサジェストを利用することで、現場の作業負荷軽減に寄与する仕組みが構築できるのではないかと考えた。そこで、システムプロトタイプを作成し、農業技術センターにて試用していただいた。

　以下にシステムプロトタイプの仕様を記す。

　- 検出の対象とする画像ファイルを指定可能
　- 数え上げの結果を本件のモデルの学習に使ったファイルと同一のフォーマットで出力可能
　- 一般的なPCで利用可能。ブラウザ上で動作するためインストール作業は不要。
　- 通信環境（ネットワーク）は不要（PCに配置したhtmlやJSファイルで動作）。
　　※中山間地域等のインターネット接続が困難な場所でも使用できることを想定

　農業技術センターにてプロトタイプを試用いただいた結果、本共同研究で開発した技術を実用するための参考となるフィードバックを得ることができた。

　以下にフィードバックを抜粋して掲載する。

　- 拡大鏡の部分に分析結果の赤点を反映させてほしい。
　　特にウンカが密集しているカ所では、どのウンカを検出したかの判断が難しい。
　　拡大鏡にも赤点があると、どの部分をトビイロとして検出したかすぐに分かると思う。
　- 拡大鏡で見たときに、この拡大部分は既に確認済み？か未確認部分か？が分かりづらく感じた。
　- 拡大鏡の画面をクリックで反映はなく、クリック後ドラッグで画面の移動を反映させることが出来ると、
　　画面上でトビイロウンカの確認がしやすい。
　- 画面の分析結果（黒背景に赤点）について、ウンカとして検出出来た場所はわかりやすいが
　　ウンカを検出出来ていない場所の確認がむずかしい。
　- 画面を指さして個体数カウントしたが、赤点の濃淡（濃度？）差があるためか、数えにくいと感じた。
　- 分析結果での赤点をカウントできると嬉しい。例えば「トビイロウンカ成虫〇頭」など。
　- トビイロウンカ成虫が単独の場合はよく検出できているが、
　　密集している場合は検出もれがある事を確認した。

　なお、本システムを継続的に利用していただくことで学習データが蓄積され、蓄積したデータを加えてモデルを改版することで、将来的にはサジェストの精度向上、ならびに、作業効率の向上が期待できると考える。

共同研究から得られたこと、分かったこと

＜テクノプロジェクト＞

　今回、ハードウェア要求(メモリ、CPUの性能およびGPU要否)を下げるために一般的な物体検出モデルではなく、画像分類モデルの出力を改造することで物体検出が可能な構造を考案した。また、Webブラウザ上でニューラルネットワークが動作する仕組みを構築することができた。

今後の事業方針等について

＜テクノプロジェクト＞

　本共同研究で作成したシステムプロトタイプを継続的に利用いただき、改善点、要望、および、システムの要否を明らかにする。また、システムの需要についてリサーチし製品化を検討したい。

担当研究員からのコメント

＜しまねソフト研究開発センター 専門研究員 高木 丈智＞

　近年、物体の検出や判別技術は業界を問わず多方面にわたり応用されています。高品質で大量のサンプルデータを保有し、高性能な計算リソースやクラウド環境を利用することで多くの課題が解決できる状況にありますが、データ量や計算リソース、ネットワーク環境のいずれかに制約がある場合には、技術の応用が進まないケースも少なくありません。本共同研究では、このような課題に対処するため、独自の軽量アルゴリズムを考案し、非ネットワーク型のアーキテクチャを採用するアプローチにより、前述の問題に対する知見を得ることができました。今後も、この共同研究で得られた知見を活かして研究開発が継続され、新しい製品やサービスの開発につながることを期待しています。

 問い合わせ先

公益財団法人しまね産業振興財団　しまねソフト研究開発センター（ITOC）　担当：内部
〒690-0816 島根県松江市北陵町1番地　テクノアークしまね2F
TEL:0852-61-2225　FAX: 0852-61-3322　itoc@s-itoc.jp