開発した主要技術を組み合わせることで,お茶会ロボットシステムを開発しました.深層学習を使って,対象物の各部位のカタチから「Contain」「Grasp」などの機能情報を抽出し, これらをもとにして,ロボットが何をどうすべきか,自律的にタスクを生成し,実行します.まず,一般物体認識によって,茶道具の種類を認識します.次に,3ヵ所センサから画像と3次元データを計測し,それをもとに茶道具の機能を認識します.機能の認識結果をもとに把持位置・姿勢と注ぎ位置を認識し,動作を生成します.また,動作シミュレーションをおこなうことで,机などとの干渉を回避しています.このデモのために使用した,茶道具の認識のための学習データをNEDO-Part-Affordance-Dataset-2019のYOLOデータセットとSegNetデータセットとして公開しています.
1.橋本学,飯塚正樹,松原一樹,鳥居拓耶,城亮輔,寺沢拓真,鈴木貴大,「特定・一般・機能」の認識に基づくロボットタスク生成の試み~全自動お茶会ロボットを目指して~,動的画像処理実利用化ワークショップ(DIA2019),OS4-1 pp.228-231,2019/03/08.
2. 橋本学,秋月秀一,飯塚正樹,鳥居拓耶,城亮輔,村井俊哉,生活支援を想定したロボットマニピュレーションのための物体認識,計測自動制御学会システムインテグレーション部門講演会(SI2019),3A2-13 , pp. 2295-2299, 2018/12/15.優秀講演賞受賞
関連動画
研究内容解説付き
Copyright(C)2010 – Hashimoto Lab., All rights reserved