Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
アマゾン・ロボティクス・チャレンジ 取組報告
〜 ロボットビジョン技術の課題と展望 〜
中京⼤学 ⼯学部 機械システム⼯学科橋本 学
http://isl.sist.chukyo-u.ac.jp/
あいちロボット産業クラスター推進協議会第8回製造・物流等分野ロボット導⼊実証WG
2017年9⽉25⽇
2製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
本⽇の話題
1. ロボットビジョン技術の概要2. Amazonチャレンジの課題・技術・結果
第1回 シアトル⼤会
第2回 ライプツィヒ⼤会
第3回 名古屋⼤会
補⾜ ロボットビジョンの新展開〜物体認識から機能認識へ〜
3製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
ロボットビジョンの主な利⽤分野
配送③家庭
注⽂
①⽣産②物流商品の認識
⽇⽤品の認識
製造物の認識
4製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
特定物体認識 と ⼀般物体認識
ランプ
ワイングラス
ハンマー
⼊⼒シーン
モデル(ランプ)
「(その)Lamp はここにある」
「ランプが(そこに)ある」
5製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
⽣産・物流分野におけるロボットビジョン
特定物体認識⼀般物体認識
“コップA”“コップB”
“コップD”“コップC” “コップ”
⽣産(⼯場) 物流(配送センター)
6製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
ロボットビジョンの構成
3次元カメラ
⼊⼒データ物体認識(AI)
対象物同定,位置姿勢計測
3次元データを取得
認識結果
ロボットビジョン = 3次元カメラ + 物体認識(AI)
ピッキング
7製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
特定物体認識の⼀例(モデルベース物体認識)
3-Dモデル
ばら積みシーン
3次元カメラ
距離画像
モデル上のキーポイントを利⽤して照合する
8製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
キーポイントベース特定物体認識の研究マップ1980 1990 2000 2005 2010
物体
認識
(粗
認識
)精
密位
置決
めLR
F
キーポイントベース
⾮キーポイントベースEGI[Horn1984]
3Dモデルのエッジと濃淡画像の照合[Lowe1991]
COSMOS[Dorai1995]
VVV[Sumi1997]
シーン解釈[Hashimoto1999]
Aspect Graph[Cyr2001]
Local Feature Histogram[Hetzel2001]
3DPO[Bolles1986]
多⾯体認識[Shirai1971]
Alignment(代表的なもの)
複数枚の同時位置合わせ[Nishino2002] M-ICP
[Kaneko2003]インデックス画像[Oishi2006]
ICP+Cached K-d tree search[Nuchter2007]
FICP[Phillps2007]
ICP(point-to-point)[Besl1992]
距離・濃淡の最尤統合[Tateno2011]point-to-plane
[Chen1991]距離変換の利⽤[Masuda2003]
重み付けと外れ値除去[Zhang1994]
Picky-ICP[ZinBer2003]
TrICP[Chetverikov2002]
LM-ICP[Fitzgibbon2003]
EM-ICP[Granger2002]
PCL[2009~]Topics空間コード化法[Posdamer1982][sato1985]
液晶レンジファインダ[sato1988]
シリコンレンジファインダ[阪⼤/ソニー1994]
TDS-A[パルステック1997]441x280
Swiss Ranger SR1[MESA2001]
FZD[オムロン2007]
Cartesia[SPACEVISION2004]640x480 Swiss Ranger SR4000
[MESA2008]176x144
Kinect[Microsoft2010]640x480
D-IMager[パナソニック2010]160x120 TVS
[三次元メディア2011]
DepthSense 311[SoftKinetic2011]160x120
DepthSense 325[SoftKinetic2012]320x240
LEAP[Leap Motion2013]
MELFA-3D Vision[三菱電機2013]約30万pointSwiss Ranger SR3000
[MESA2005]176x144
パラメトリック固有空間法[Murase1994]
ランダムドットパターン投光ステレオ[Hashimoto1999]
Bumblebee2[Point Grey2006]648x488
VIVID9i[KONICA MINOLTA2004]640x480
200Hz⼩型距離画像センサ[Tateishi2008]
Digiclops[Point Grey1999]640x480
Bumblebee XB3[Point Grey2007]1280x960
茶︓TOF⽅式⻘︓TOF以外のActive計測紫︓Passive計測緑︓etc.
Elevation Descriptor[Shih2007]
多段解像度探索[Ulrich2009]
VFH[Rusu2010]
GRSD[Marton2010]
DGI[Adán2011]
GPU利⽤[Germann2007,Park2010]
MFC利⽤[Liu, Okuda2010]
H/Wの⼯夫
法線⽅向分布Mesh HOG[Zaharescu2009] NARF
[Steder2010]
その他の特徴量
Scale-DependentLocal Shape Descriptor[Novatnack2008]
点群の位置関係の記述3D Shape Contexts[Frome2004]
Spin Image[Johnson1997,Johnson1999] Spherical Spin Image
[Ruiz-Correa2001]Point Feature Histogram[Rusu2008]
Fast PFH[Rusu2009]
SHOT[Tombari2010a]
CSHOT[Tombari2011] DoN
[Ioannou2012]CCDoN[Nagase2014]
注⽬点周りの特徴記述
Depth Aspect Image[Takeguchi2001]
DAI+M-ICP[Kitaaki2007]
⼀括算出型
個別算出型
Eigen Vector[Mian2010]
SHOT[Tombari2010a]
Exponential Map[Novatnack2008]
RoPS[Guo2013]
Point Signatures[Chua1997]
BOARD[Petrelli2011]
Mesh Hog[Zaharescu2009]
DPN[Akizuki2015]
GRF[Akizuki2014]
APO[Ikeuchi1993]
3D Point‘s Fingerprint[Sun2001]
ISS[Zhong2009] PPF
[Drost2010]
VPM[Akizuki2012, Takei2014]
PPF B2B, S2B, L2L[Choi2012]
2or3点間の位置・法線間の関係Multimodal PPF[Drost2012]
HONV[Tang2012]
RoPS[Guo2013]
VC-PPF[Kim2011]
Efficient Ransac[Papazov2010]
B-SHOT[Prakhya2015]
OUR-CVFH[Aldoma2012]
DosSantos[Santos2011]
ISS[Zhong2009]
USC[Tombari2010b]
PetrelliLRF[Petrelli2012]
3D Point‘s Fingerprint[Sun2001]
Local Surface Patches[Chen2007]
TriSI[Guo2015]
TriSI[Guo2015]
SHORT[Takei2015]
第1回Amazon Picking Challenge
Seattle, USA2015年5⽉
10製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
APC2015 ルール概要 ⽬標
配送センターを想定した⾃動ピッキング装置の開発
1m×1mの範囲の 計12ビンからピッキング
時間内にどれだけアイテムをピッキングできたかを競う 商品の誤選択,落下による破損は減点
Pickタスク
11製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
ビンの構成と得点
Single-item Bins:(10points) 最低でも2つのビンに1種類のアイテム
Double-item Bins:(15points) 最低でも2つのビンに2種類のアイテム
Multi-item Bins:(20points) 最低でも2つのビンに3種類以上のアイテム
12製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
ピッキング対象 全25アイテム(アイテムの種類によって加点あり)
13製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
VPMアルゴリズム• 特徴量(ベクトルペア)
3点の3次元点で構成された,視点を共有する2ベクトル
• ベクトルペア選択 物体モデルのまわりに設置した
仮想的な視点群から,安定的に観測可能(⾼可観測率)なベクトルペアのみを照合に利⽤
• マッチング 投票型マッチングによって,物体の重⼼位置を推定
仮想的な視点群可観測率マップ
(⾚いほど,観測されやすい)
High
Low
⼊⼒距離画像 投票結果(重⼼位置の確率マップ)
対象物の切り出し結果
[1]秋⽉秀⼀,橋本学,特徴的3-Dベクトルペアを⽤いたばら積み部品の⾼速位置姿勢認識,電気学会論⽂誌C,Vol.133,No.9,pp.1853-1854,2013.[2]Shuichi Akizuki,Manabu Hashimoto,Position and Pose Recognition of Randomly Stacked Objects using Highly Observable 3D Vector Pairs,Proceedings of the 40th Annual Conference of the IEEE Industrial Electronics Society(IECON),pp.5266-5271,Dallas, U.S.A.,2014/10/30.
14製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
箱状物体
VPMアルゴリズム 認識結果例
⼊⼒シーン外観
認識結果
⼊⼒シーン外観
認識結果
形が変形しやすい袋状物体
対象物
15製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
C^2MJapan
AmibotIndia
Berkeley-PickerUSA
Team GrizzlyUSA
Isaac@PolitoItaly
MPIIGermany
Team NanyangSingapore
PickNikUSA
Plocka PackaUSA
Research Center PiaggioItaly
RBOGermany
ROBINLAB UJISpain
SFITIndia
Team ARNetherlands
Team Ali BadaChina
Team Ali BadaUSA
Team CVAPSweden
Team DukeUSA
Team Georgia TechUSA
Team IntBotUSA
Team KJapan
Team MITUSA
NUS Smart HandSingapore
Team RobologicalAustralia
Team WPIUSA
UAIberta TeamCanada
UWUSA
UT AustinUSA
ZUNChina
ZUNAustralia
Robomakery,Inc.USA
Team BlasterUSA
APC2015︓28 Finalists
第2回Amazon Picking Challenge
Leipzig, Germany2016年6⽉
17製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
1. タスクの増⼤Pickタスクのみ → Pickタスク+Stowタスク
2. アイテム(対象物)の個数が増⼤24種 → 39種
3. アイテムのバリエーションが劇的に増⼤→ センシング(ペットボトル飲料⽔,⿊い布,⾦属の灰⽫‥‥)→ 認識(スポンジボール,メッシュ素材のペン⽴て‥‥)→ 把持(Tシャツ,2kgのダンベル,薄い封筒‥‥)
4. 置かれ⽅の複雑化最⼤3個 → 無制限
5. 制限時間の短縮20分 → 15分
APC2015と⽐べて難しくなった課題
18製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
APC2016における対象アイテム(39種類)
19製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
APC2016における対象アイテム(39種類)
形状や重量,表⾯の硬さが異なる多様なアイテム 認識や把持が困難なアイテムには加点あり
20製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
配点
アイテム数 1〜2 個の Bin +10 point
アイテム数 3〜4 個の Bin +15 point
アイテム数 5 個以上の Bin +20 point
誤った JSON ファイルの記述(アイテムの誤認識) -10 point
30cm 以上の⾼さから落下 -5 pointアイテムまたは shelf を傷つける - 5 pointアイテムまたは shelf を破損 -20 point0.5cm 以上 shelf からはみ出す - 5 pointアイテムが床に落下 -10 point
Picking または Stowing した Bin の中のアイテム数により得点を決定
ペナルティ
21製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
複数物体の同時位置姿勢認識(中京⼤学)
Verification
Hypothesis generation
Input scene
Model library
Scene hypotheses
Scene hypothesis generator
Combinatorial Optimization
Model matching
Object candidates
Calculation of Consistency
○ シーン全体(⼤局的)の整合性を計算するため,誤認識が発⽣しにくい× 過検出が発⽣しやすい.
22製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
複数物体の同時位置姿勢認識(中京⼤学)
物体モデル
⼲渉モデル
⾼速な⼲渉判定が可能なモデルを提案 物体の外形を単純な形状によって近似表現
球体が最も単純な基本形状 → ⾼速な⼲渉判定が可能 外接球(⾚)と内接球群(グレー)の 2 段構成
外接球の⼲渉判定によって,⼲渉の疎精探索が可能
⼲渉モデルとして表現されたシーン仮説
⾊付きモデル → ⼲渉あり⽩⾊モデル → ⼲渉なし
Shuichi Akizuki, Manabu Hashimoto, Multiple 3D Object Recognition using RGB-D Data and Physical Consistency for Automated Warehousing Robots, In Proceedings of the 11th Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISAPP), pp. 605-609, Rome, Italy, 2016.
23製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
複数物体の同時位置姿勢認識(中京⼤学)
24製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
C^2MJapan
Dataspeed-GrizzlyUSA
IITK-TCSIndia
DelftNetherlands
DukeUSA
PFNJapan
MITUSA
ACRVAustralia
APC2016︓16 Finalists
AA-TeamJapan
Team KJapan
NimbRo PickingGermany
CMU-HARPUSA
Applied RoboticsNetherlands
KTHSweden
microRecyclerAustralia
Rutgers ARMUSA
RoboCup 2016, Leipzig, Germany
25製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
APC2016︓Pick task における認識結果
Amazon Picking Challenge 2016
Pick task 認識率︓92.5% (= 50/54)
第3回Amazon Robotics Challenge
Nagoya, Japan2017年7⽉
27製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
ARC2017 新ルール‥‥ システムとストレージ ロボット
吸引ハンドなどのノイズ源は,周りの作業者が効率的に作業できるように静かにすること
Storage構造は⾃由に設計してよいが,以下の条件を満たすこと 各ビンには,1〜3 個のアイテムが区別可能に設置できること 2〜10 のビンがあること Storage の体積の合計は,95,000cm^3 未満であること 床⾯積の合計は,5,000 cm^2 未満であること 縦・横・⾼さは,125cm 以内であること モーター・アクチュエータは使⽤不可 トータル価格 $50 以下の安価なセンサを仕込むことが可能 すべての競技タスクで同じストレージを使⽤すること
28製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
ARC2017 新ルール‥‥アイテム(商品) 事前配布(既知)アイテム + 当⽇配布(未知)アイテム
既知アイテム︓40 個 未知アイテム︓約 100 個(推定)
アイテム
未知アイテムは競技開始 45 分前に配布される. ストレージには⾃分で詰めてよい(ただし,順序はAmazonが決める)
29製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
アイテムリスト(事前配布)
Hinged_ruled_Index_Cards
Ticonderoga_Pencils
Black_Fashion_Gloves
12
Windex
Tissue_Box
1 6 2
7
3
8 11
16 17 13 18
21
26
22
27
23
28
4
9
5
10
14
19
15
20 24
2925 30
Balloons Bath_Sponge Marbles Avery_Binder Robots_EverywhereReynolds_Wrap
Speed_Stick Mesh_Cup Duct_TapeColgate_Toothbrush CrayonsBurts_Bees
Epsom_Salts Expo_EraserRobots_DVD
Hand_Weight Ice_Cube_TrayGlue_Sticks
Mouse_Traps CompositionMeasuring_Spoons Band_Aid_TapePoland_Spring
Laugh_Out_Loud_Jokes
Flashlight
30製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
アイテムリスト(事前配布)
Ticonderoga_Pencils
white_FaceclothTilet_Brush
26 27 28 2925 30
31 32 33 34 35 36
37 38 39 40
Mouse_Traps CompositionMeasuring_Spoons
Fiskars_Scissors Irish_SpringPie_Plates
Plastic_Wine_GlassTennis_Ball
Band_Aid_Tape
Scotch_Sponges Table_ClothHanes_Socks
Poland_Spring
31製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
アイテムリスト(認識・把持が難しい事例)
把持が難しいアイテム
認識が難しいアイテム
特徴(テクスチャ)が少ない 3D センサで撮影できない
吸着が困難 ⼩さい
⼩さい,3D センサで撮影できない 吸着が困難,3D センサで撮影できない
32製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
アイテムリスト(当⽇配布物の例)
⽩い⼿袋⾮剛体のため
多様な⾒え⽅が⽣じる
⼦供⽤ストロー全体的に細く吸着が困難
ケーキ⽫⾦属のためサチりやすく3D センサでも撮影が困難
ラチェット式荷締めベルト重く,隙間も多いため
吸着が困難
⽔槽⽤砂利中⾝が動くため多様な⾒
え⽅が⽣じる
プラスチック製グラス3Dデータ取得が困難
ブラシ隙間が多く吸着が困難
33製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
把持パラメータ推定(中京⼤学)
アルゴリズムの概要
RGB
D
把持位置 把持位置
⼊⼒データ
(1) 領域セグメンテーション⽅法
(2) プリミティブ形状近似⽅法
34製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
把持パラメータ推定(中京⼤学)
(1) 領域セグメンテーションに基づく⼿法
⾼さ情報 xy座標情報⾯積情報
最も把持しやすい領域 把持位置推定結果
⼊⼒データ(D)
x 0.3 x 0.2 x 0.5
35製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
把持パラメータ推定(中京⼤学)
(2) プリミティブ形状近似に基づく⼿法プリミティブ形状
CylinderHexahedron SpherePlane
プリミティブ形状のあてはめ
把持位置推定
領域セグメンテーション
プリミティブ形状であてはめた結果緑: 球 ⾚: 平⾯ 把持位置の推定結果
把持位置
⼊⼒データ(D)
36製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
把持パラメータ推定(中京⼤学)
推定された把持位置
37製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
ARC2017︓16 Finalists
MC^2(Mitsubishi, Chukyo, Chubu)Japan
NAIST-PanasonicJapan
Team T2Japan
Team KJapan Team Duke
USA
MIT-PrincetonUSA
CMU PLAIDUSA
GMU-NegevUSA, Israel
ACRVAustralia
IITK-TCSIndia TKU M-Bot
Taiwan
NanyangSingapore
NimbRo PickingGermany
UJI RobInLabSpain
Applied RoboticsNetherland, Australia
IFL PiRoGermany
38製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
Stowタスク種⽬で世界第3位(Pickタスク種⽬は振るわず)(すべての種⽬において,3位以内の⽇本勢は当チームのみ)
結果
39製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
⽣活⽀援ロボットに必要な機能認識
2.物体認識 から 機能認識 へ
⽣産 物流 家庭
特定物体認識⼀般物体認識 機能認識+
“コップA”“コップB”
“コップD”“コップC” “コップ”(ここを)つまむ
(ここに)注ぐ
(ここを)つかむ
1.特定物体認識 から ⼀般物体認識 へ
40製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
⼀般物体認識の現状と課題
ディープラーニングによる物体認識結果
対象物が持っている機能属性
⽔を蓄える部分つまむ部分
対象物の名前がわかっただけでは,ロボットは動けない. 作⽤箇所や動作⽅向などの情報を知ることが不可⽋(しかもモデル無しで)
41製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
⽇⽤品が “形” として持っている機能属性の例
つまむ 切る
⽔を蓄えるつまむ
つかむ
つまむ たたくつまむ 挿す
⽀えるつまむすくうつまむ
42製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
機械学習を⽤いた機能属性の⾃動推定
【主な発表論⽂】秋⽉秀⼀,飯塚正樹,橋本学,”3D局所特徴量の統合に基づく物体の機能属性推定⼿法の提案”,ビジョン技術の実利⽤ワークショップ(ViEW2016),pp.282-285(2016)
Step1︓局所的な凹凸から,その点が持つ機能属性を仮推定
局所的に仮推定
学習⽤の正解データベース
⼤域的な解釈
Step2︓さらに⼤域的な解釈により,パーツごとの機能属性を決定
43製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
機能属性推定に基づく⼀般物体認識(カテゴリ名の認識)
さまざまな機能属性の含有⽐率を利⽤してカテゴリ名を推定
【主な発表論⽂】秋⽉秀⼀,飯塚正樹,橋本学,“アフォーダンス”に着⽬した⼀般物体認識のための特徴量,第21回知能メカトロニクスワークショップ,pp.94-96(2016)
【受賞】第21回知能メカトロニクスワークショップ優秀講演賞
「コップ」カテゴリ 「スプーン」カテゴリ 「ハンマー」カテゴリ
⽔を蓄える つかむ つまむ すくう たたく 該当無し
多くの⽇⽤品は‥‥1)なんらかの使⽤⽬的がある.2)その⽬的のための機能がある.3)その機能は,形状などに作り
込まれていることが多い.
例︓コップ⽬的 飲み物を⼊れて運ぶ機能 蓄える 把持される形状 くぼみ 取っ⼿
44製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017
まとめ
1. ロボットビジョン技術の概要2. Amazonチャレンジの課題・技術・結果
第1回 シアトル⼤会
第2回 ライプツィヒ⼤会
第3回 名古屋⼤会
補⾜ ロボットビジョンの新展開〜物体認識から機能認識へ〜
Thank you for your attention!