A Fast Online Incremental Loop-Closure Detection for Appearance-based SLAM

in Dynamic Crowded Environment

Noppharit Tongprasit, Aram Kawewong, Osamu Hasegawa

東京工業大学

研究背景

2

近年，「日常生活環境」ロボットの需要が高まっている

理研 : RIBA (2009) セコム : (2005)

これらのロボットは，常に変化する(動的な)実環境下で自律的に行動する必要がある

富士重・ツムラ (2008)

マップ ロボットの環境に対する認識 事前に与えられることは稀 ロボット自身が作る必要がある

警備 搬送 介護

本日の内容

PIRF IEICE

PIRF-NAV1 IJRR

PIRF-NAV2

3

4

• 従来手法（FAB-MAP : Oxford大）の問題点

–環境が大きく変化しないことを仮定

–辞書はバッチ学習で作成し更新できない

–辞書の作成には別途膨大な学習用画像が必要

5

従来法の問題点

同じ場所だが、トラックが 停まっていることで、画像 の見え方が変わり、異なる 場所と認識してしまう。

異なる場所だが、見え方が極めて似ており、同じ場所と認識してしまう。

• 環境の大きな変化への対応 – 独自の画像特徴“Position-Invariant Robust Features（PIRF）”を利用

– PRIF:移動カメラの動画像から安定した点を探索し特徴化

• 辞書は完全にオンラインで作成し更新可能 – 事前に膨大な学習用画像を集めて長時間学習させ、辞書を作る必要が無い

– 辞書はその場で与えられたデータのみから作り、更新可能

– 重複する特徴を除外し、必要最低限の特徴のみ辞書に記録

– 上記の結果、メモリ効率が向上し処理の高速化も実現

6

提案手法のポイント

• 地図上での各地点の表現に工夫

– PIRF特徴が少ない（画像の識別の手掛かりが少ない）場合

–類似する画像が存在する（識別が困難な）場合

–上記のような場合は、その画像に連続する前後の画像も援用し、自動的にPIRF特徴を増やして画像を表現する。

7

例えば、左図のような異なる場所で見え方が極めて類似する場合、この画像に連続する前後の画像も用い、手掛かりを増やして識別する。

PIRF とは？

Original Descriptors (SIFT)

Selective Descriptors (PIRF) 8

PIRF: algorithm

9

Current image

過去の画像を参照し、 共通するSIFT特徴を 抽出して、その位置の 特徴表現とする。

10

類似手法との性能比較(PIRF)

0.00%10.00%20.00%30.00%40.00%50.00%60.00%70.00%80.00%90.00%

100.00%

24.5

4%

31.0

8%

22.2

9%

18.2

3%

93.4

6%

27.5

9%

45.7

5%

36.7

1%

30.2

2%

77.4

8%

Recognition Rate of Suzukakedai and O-okayama

Suzu

kake

dai

O-O

kaya

ma

11

Even With These Strong Changes, PIRF Still Works Well !!!

Highly Dynamic Changes in Scenes

Illumination Changes in Scenes

PIRF-NAV1

我々の過去の提案手法 PIRFを用いた VISUAL SLAM の初期のもの

A.KAWEWONG, ET AL,:

"ONLINE INCREMENTAL APPEARANCE-BASED SLAM IN HIGHLY DYNAMIC ENVIRONMENTS",

INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH (IJRR)

12

PIRF-NAV1(Kawewong, A. et al.,IJRR)

• Visual SLAM based on PIRF’s concept

• Characteristics

– Online

– Robust to dynamic scene

– SIFT (128 dimensions) based system

13

PIRF-NAV1: Algorithm

Algorithm Data structure

14

Image features

• City Centre

15

Results & Experiments: DATASETS

• New College

16

Results & Experiments: DATASETS

17

Result 1: City Centre Vehicle Trajectory Loop Closure Detection

PIRF-Nav (100% Precision) (proposed) FAB-MAP (100% Precision)

18

Result 2: New College Vehicle Trajectory Loop Closure Detection

PIRF-Nav (100% Precision) (proposed) FAB-MAP (100% Precision)

PIRF-NAV1: City Center Result Precision-Recall

19

PIRF-NAV1: City Center Result(Cont.)

Computation time Full scale result

Method PIRF-NAV 1

Recall 84%

Precision 100%

Total time (sec) 12057.4

Aver. time (ms) 9746

Total words 64618

Memory (MB) 33.4 MB

20

Unable to process in real time

PIRF-NAV2

今回の提案手法

PIRF-NAV1 の処理速度と 情報処理効率を大幅に改善

21

PIRF-NAV2 (Tongprasit, N. et al., MIRU’10)

• Improved version of PIRF-NAV 1

• Characteristics

–Online

–Robust to dynamic environment

–Real time process

–SURF (64 dimensions) based system

22

PIRF-NAV2: Algorithm (Cont.)

23

Image features

PIRF-NAV2: Modified PIRF

24

Shrink back if number of features is too few

PIRF-NAV2: City Center Result

Aerial image Precision-Recall

25

PIRF-NAV2: City Center Result(Cont.) PIRF-NAV1との比較

Method PIRF-NAV 2

Recall 80% (-4%)

Precision 100%

Total time (sec) 1086.4 (12倍高速化)

Aver. time (ms) 878.2 (12倍高速化)

Total words 24410 (約66％削減)

Memory (MB) 10.9 (約66%削減) 26

混雑した環境での実験

• 本研究でPIRF-NAV1が高速化し、実用レベルで利用可能になったので試みた。

• 場所：食堂（東工大学食）

• 時刻：昼間（12時頃）

–あえて、食堂が混み合う時間帯に撮影

• 約６分間の動画（692枚の画像）

• 画像サイズ：480 x 270（全方位カメラ画像）

27

28

• 認識率：86.65%（FAB-MAP：17.80%）

• 平均処理時間：264ms / 枚, Matlab（同：577ms/枚）

29

全方位カメラの画像のため，同位置の画像でも 撮影時のカメラの向きによって見え方が異なります

混雑した環境での実験

入力（テスト）画像 同位置と推定された学習画像

食堂での実験結果

30

提案手法

食堂での実験結果

31

[4] A. Angeli, D. Filliat, S. Doncieux, and J. A. Meyer, “Fast and Incremental Method

for Loop-Closure Detection Using Bags of Visual Words,” IEEE Trans. Robotics, 2008,

24(5), pp. 1027–1037 （オンラインVisual SLAMだが性能面でかなり劣る。）

まとめに代えて（予告）

• PIRF-NAV2 の移動ロボットへの実装もほぼ完了。

• 混雑した学食で、全方位カメラ1本のみで、ロボットがオンライン・リアルタイムに地図の作成と自己位置同定(SLAM)を行う。

• ロボットは、「レジから下膳口へ」といった言語による指示により経路探索し、移動可能（ナビゲーションも実現）。

• 日本ロボット学会学術講演会（9月、名工大）にて発表予定。

32