共同研究「工場内における機器操作作業員の行動分析における機械学習適用可能性の検討」レポート

2021年10月01日

このたび、しまねソフト研究開発センター（以下、ITOC）では、株式会社ナカサ、株式会社アキュートシスコムの3社により「工場内における機器操作作業員の行動分析における機械学習適用可能性の検討」というテーマで共同研究を行いましたので、以下に取組の内容について紹介します。

共同研究の概要

背景

（株）ナカサは主に精密鋳造品の金属加工を生業とする2022年で創業70年を迎える企業である。約80台の工作機械を保有し自動車、一般産業機械部品を手掛け、従業員100名余りで長年操業を続けている。

昨今の金属加工業界を含めた製造業は、労働時間短縮や労働環境改善が進められている一方、製造現場では生産性が重要な指標として位置付けられており、生産量を維持したまま労働時間を削減するという難しい局面に陥っている。そこで重要になるのは従来からの改善活動では見えなかった領域での改善である。

当社のようなサプライチェーンに組み込まれている金属加工業が取り組む生産方法は受注生産でなおかつ多品種小ロット生産が大半を占めている。この生産方法は納期優先、成り行きの生産計画となりやすく、リアルタイムでの生産効率が見えづらく結果管理に終始するため、後日効率が落ちたことが分かっても原因がわからないという慢性的な問題を抱えている。

この問題の解決の為に今回取り組むのは作業者の状態を作業の組み合わせや作業者の力量によってどのように数値が変化するかの可視化を機械学習を用いて試みる研究である。使用した機械学習のモデルはVGG16学習済みモデルに工場天井から撮影した作業者の画像を転移学習させて画像認識させている。

研究の目標

生産性向上等に向けて工場で機器を操作する作業員の行動分析（可視化）を行うため、機械学習を用いてカメラの画像データから人の有無を識別することを目的として、屋内の機械加工場に監視カメラを設置し、カメラの画像データから所定の機器を操作する作業員の位置を抽出し、定常的な行動を学習することで、通常とは異なる行動（非定常的な行動）を識別できるか検証を行った。

なお、本研究においては開発用の高価なPCではなく、一般的に使用されているPCで上記のことを実現するという条件のもと、その方法を模索することとした。

実施期間

令和３年２月１日～令和３年７月３１日（半年間）

実施体制

株式会社ナカサ、株式会社アキュートシスコム、ITOCの3社で実施した。

共同研究の実施内容

（株）ナカサは、カメラ及びビデオレコーダを調達し、実証フィールドとなる工場を提供した。（株）アキュートシスコムは、ITOC専門研究員とともに、データ取得環境の整備、データ分析、機械学習及び検証を試行した。

環境準備

（株）ナカサは、カメラ4台を調達し工場内の天井4箇所に設置。通路を挟んで複数の機械が写り込む範囲で撮影できるよう調整し、4台のカメラの映像は一台のレコーダに集約した。
ITOC及び（株）アキュートシスコムは、レコーダに接続されたPCでカメラの画像を収集し、その画像を機械学習に使用するために必要なライブラリ類のインストール等の環境を整備した。

共同研究の進め方について

概ね１ヶ月に１、２回程度、定例ミーティングとして打ち合わせを行った。ミーティングでは、各社の取組みの進捗状況や課題について共有するとともに、意見交換や次のステップに向けた方針確認等を行った。（ミーティングは計11回実施した）

機械学習による検証

安定的に画像の収集が可能となったところで3社により画像を確認しながら作業員の検出方法について検討を進めた。
4台のカメラ映像を一枚の画像データとして取得（下記写真）することから作業員を検出する必要のある区画を切り出し、作業員の在・不在を識別する学習モデルを作成した。

カメラの映像

学習時の識別精度は90％を超え、人手による作業で分類した場合と比較しても遜色ない結果となった。そのため、対象とする区画を徐々に拡大し、3区画の検証が終わったところで全12区画を対象として学習させ精度の検証を行った。その結果、検出精度の良い区画と悪い区画があったため、数週間その検証を継続することとした。
初期の学習データを取得してから数か月が経過したところで、特定の区画において検出精度が十分でなくなったため、再度学習用のデータを作成し学習を行うか、カメラの画角を調整し検出精度の高い区画と同じような画像が取得できるよう工夫する必要を感じた。

今後に向けて

上記の結果が出たところで研究期間の終了が迫っていたため、学習を行うのではなく共同研究で利用したものと同じ環境を（株）ナカサにて構築し検証を続ける準備を行った。
（株）アキュートシスコムからは、研究期間終了前に別の手法による検出方法の提案があり、期間満了後も検証を続ける意向が示された。

共同研究を終えて

成果から得られた知見等

（株）ナカサとしては、「共同研究期間中に得られた識別の検証結果では誤認識が多い。今後追加学習させモデルの改善を図るにしても、検証してみなければ分からないという状況のため、機械学習を用いた作業員の行動分析については実用化の見通しを立てることができなかった。」とのことでした。
（株）アキュートシスコムとしては、「画像処理や転移学習による機械学習の手法を学ぶことができた。」「エンドユーザが分析結果を理解するための可視化手法の検討が参考になった。」等、技術面や実務面で多くの学びがあったとのことでした。
ITOCとしては、取り組む期間や成果が不透明なAIプロジェクトの取り組みは、不確実性が高いことが現場への適用の難しさであることを実感しました。ただ、本共同研究を通じて、機械学習に必要な技術だけではなく、PoCを進める上で必要となる様々な要素について知見を得る機会となりました。

担当研究員からのコメント

しまねソフト研究開発センター専門研究員木村忍

本共同研究は期間を区切って実施しているものなので、成果がはっきりと出ない場合やわかりにくいこともあるかと思いますが、取り組みを行う以前には手段や必要なものなどが全く想像できなかったことなども多い状態だったものが、これを実施したことにより色々と明確になっていくのを感じました。

本研究のテーマについては、別の機会に相談を受けた内容であり、当初は目的を実現する手段として機械学習ではなく他の方法を提案させて頂いていました。しかし、当時はいずれの方法もコストが合わないとの認識であったため、安価に実現する方法として機械学習に注目されることとなりました。

実際に取り組むことにより課題も見え、結果として、他の手法はコストが合わないという判断の再考にもつながったとのことでした。日進月歩で改善されている分野の技術であり、今実現できないことが未来永劫実現できないことではないことから、共同研究が終了した後も継続的に技術情報をフォローすることも必要かと考えます。

3社による共同研究の実施について

ITOCでは、県内企業等との共同研究事業として機械学習を利用した企業における課題解決や新しいサービスの開発に向けたPoC（Proof of Concept：概念実証）の支援を行っています。

これまでは、製造業や流通業などのいわゆるエンドユーザ企業と2社による共同研究を行ってきましたが、機械学習を県内IT企業に活用される技術として普及させることを目的として、IT企業を交えた3社による共同研究を実施しています。参画いただくIT企業については、機械学習に知見のある県内のIT企業にITOCからお声がけしています。

こうした取り組みに興味のある県内の企業からのご連絡をお待ちしております。

お問い合わせ先

公益財団法人しまね産業振興財団　しまねソフト研究開発センター（ITOC）　担当：広瀬
〒690-0826 島根県松江市学園南１丁目２−１くにびきメッセ西棟4F
TEL:0852-61-2225　FAX: 0852-61-3322　itoc@s-itoc.jp