組立作業分析のための手の動作・注視点の自動記述システム

Last updated： Dec. 24, 2019.

【参考文献】

1. 渡邉瞭太，橋本学，組み立て作業分析のための動作手順と手・注視点の移動軌跡の自動記述システム，精密工学会誌，Vol.82，No.5，pp.473-480，2016.
2. Ryota Watanabe, Manabu Hashimoto, Automatic Human Motion Description System for Assembly Operation Analysis, The Korea-Japan joint workshop on Frontiers of Computer Vision (FCV), pp.391-395, 2016.

1. 概要
   　製造現場では，製品の生産効率を向上させることが重要になります．そのためには，作業動作を分析することによって，非効率的な動作を見つけ，これを改善する必要があります．本研究では，作業動作を分析するための記述チャートを提案するとともに，その記述チャートを自動的に記述するためのセンシングシステムを提案しました．
2. 作業動作の記述チャート
   　本研究では，動作手順に関するチャートと手と注視点軌跡の関するチャートの2種類のチャートを提案します．はじめに，図1aに動作手順チャートの例，図1bに動作手順チャートに記述されるシンボルと動作の関係を示します．動作手順チャートは，左右の手による動作の種類を時間ごとに記述するためのものです．このチャートの水平方向の軸は，作業の時間経過を表しており，チャートの上半分は，左手による作業動作，下半分は右手による作業動作が記述されます．図1の動作手順チャートでは，5秒付近で，右手で物体Zへの手の移動，物体Yの移動，物体YとZを結合したことが確認できます．

                                      　　　　　図1 動作手順チャートの例

   　次に，図2に手・注視点軌跡チャートの例を示します．手・注視点軌跡チャートは，作業台の上を動く手と注視点の時系列的な位置を軌跡として記述するためのものです．このチャートの水平方向の軸は，作業中の時間経過を表しています．また，チャートの奥行き軸と縦軸は，画像のx 軸とy軸にそれぞれ対応しており，これらの軸からなるエリアには，作業台の上を動く手と注視点の位置が記述されます．

   　　　　　　　　　　　　　　　　図2 手・注視点軌跡チャートの例

3. 動作手順の自動記述
   　動作手順の自動記述では，手と物体の存在位置を確率的に表現したデータ（存在確率マップ）を利用します．存在確率マップは，物体に関するマップと手に関するマップの2種類が生成されます．
   　はじめに，物体の存在確率マップの生成手順を図3に示します．まず，初期配置された物体を作業台の真上に設置されたRGBDセンサで撮影し，距離画像を取得します．これに背景差分および二値化を施すことによって，物体領域画像を作成します．次に，テンプレートマッチングで，物体領域をクラス分類することによって，各物体の位置を認識します．物体の存在確率マップは，この位置情報を確率的に表現することによって生成されます．

                                               図3 物体の存在確率マップの生成手順

   　次に，手の存在確率マップの生成手順を図4に示します．まず，作業シーンをRGBDセンサで撮影し，距離画像を取得します．次に，背景差分，二値化，ラベリングを施し，手の領域を抽出します．左右の判定は，片手のみが画像内に存在する場合，片手の重心x座標が画像中のどちらに存在しているかによって判断され，両手が画像内に存在する場合，二つの領域の重心x座標を相対的に評価し，左右を判断します．手の存在確率マップは，これらの位置情報を確率的に表現することによって生成されます．

   　　　　　　　　　　　　   　図4 手の存在確率マップの生成手順

   　最後に，動作の認識では，手と物体の存在確率マップを利用することによって，どちらの手が動いたか，どちらの手がどの物体と干渉しているかを判断し，動作を認識します．この認識結果に基づいて動作手順が自動的に記述されます．
   
   

4. 手・注視点の自動記述
   　手の軌跡は，3章で説明された手の存在確率マップから検出されます．また，注視点の検出では，注視点の位置を検出するために，図5に示すように作業帽子の両側面に，レーザーポインタを装着します．

                                          　　　　  図5 注視点計測の例

   　図5の装置を用いることによって，2点のレーザー点が作業台上に照射されます．本システムでは，RGB画像中に写っている2点を検出し，その2点を結ぶ中点を作業者の注視点の位置とします．これらの情報から手・注視点の軌跡が自動的に記述されます．

5. 自動記述システムの全体像
   　図6に本システムを使用した時の画面を示します．RGBDカメラで撮影された作業動作に対して，注視点と手の軌跡，動作手順が記述されていることが確認できます．

                                  　　　　　図6 自動記述システムの例