The Integrated Sensor Control Platform for Head-feeding Combine Harvester

自脱コンバインのための統合センサ制御ソフトウェアプラットフォームThe Integrated Sensor Control Software Platform for Head-feeding Combine Harvester

農業食料工学会第73回年次大会

趙 元在，飯田 訓久，栗田 寛樹，村主 勝彦，増田 良平

趙 元在 (CHO, WONJAE)

京都大学大学院農学研究科地域環境科学専攻フィールドロボティクス分野

http://elam.kais.kyoto-u.ac.jp/

1京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

目次

1. 背景

2. 研究目的

3. Integrated Sensor Control Software Platform (ISCSP)

4. 応用例：ロボットコンバインの自動収穫

5. 応用例：ロボットコンバインの自動排出オーガ制御

6. 結論

2京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

背景

騒音, 振動

粉塵

紫外線, 高温

有害要因 オペレータの健康影響

騒音 難聴

振動 手根管症候群

粉塵 気管支炎

紫外線, 高温 皮膚癌

3京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

背景

目標経路

1) 刈取部の刈高さ2) 走行速度3) 操舵

同時に操作する必要がある

4京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

背景

目標経路LRF

Machine vision

GNSS antennaGPS compass

ECU-KU1

ECU-KU2

SERVER

Wireless router

Operator = CLIENT

handheld devices (Tablet, Mobile phone, etc…)

5京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

背景

開発中のロボットコンバイン

自脱コンバインロボット１（ベース機：三菱農機，４条刈自脱コンバイン，VY50CLAM）

自脱コンバインロボット2（ベース機：三菱農機，４条刈自脱コンバイン，VY446LM）

搭載されているセンサとコントローラ

種類 モデル名 種類 モデル名

RTK-GPS Topcon Co., Ltd., Legacy-E+ GNSS Topcon Co., Ltd., AGI-3

GPS compass Hemisphere Co., Ltd., V110 GPS compass Hemisphere Co., Ltd., ssV-102

Laser range finder SICK AG, LMS111 Laser range finder SICK AG, LMS511

Machine vision Tokyo electron Co., Ltd.,

CS3450Machine vision Sensor Technology Co., Ltd.,

STC-TC33USB

Controller Kyoto Univ., ECU Controller Kyoto Univ., ECU

6京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

研究目的

ロボットコンバインの自動走行システム開発のために様々なインタフェースをもつセンサとコントローラが使われている．

開発の重複(Redundancy)を避ける,開発のスピード化のためソフトウェアプラットホームが必要．

ロボットコンバインに用いられる様々なインタフェースをもつセンサやコントローラに対応するソフトウェアプラットホーム(ISCSP)開発．

7京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

Integrated Sensor Control Software Platform (ISCSP)

1. 対応するセンサインタフェース

Interface Device Model

RS-232C GNSS and RTK-GPS Topcon Co., Ltd., Legacy-E+

Topcon Co., Ltd., AGI-3

GPS compass Hemisphere Co., Ltd., V110

Hemisphere Co., Ltd., ssV-102

Controller Kyoto Univ., ECU

Ethernet Laser Range Finder SICK AG, LMS-xxx series

USB Machine vision General USB camera

Microsoft Co., Ltd., Kinect

Panasonic Co., Ltd., 3D Imager

Laser Range Finder Hokuyo Automatic., UTM-xx

series

CAN Controller Kyoto Univ., ECU

8京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

Integrated Sensor Control Software Platform (ISCSP)

2. Graphical User Interface(GUI) based Server-Client network

Three-dimensional map using OpenGL Sensors data

Combine body information Tracking path using Google Map

9京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

Integrated Sensor Control Software Platform (ISCSP)

3. Weather information using AMeDAS*

AMeDAS* (Automated Meteorological Data Acquisition System, アメダス)

http://www.jma.go.jp/jp/amedas/

10京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

Integrated Sensor Control Software Platform (ISCSP)

4. Open Source on GitHub

ISCSP address: https://github.com/FiroKyoto/IntegratedSensorControlPlatform

11京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

Integrated Sensor Control Software Platform (ISCSP)

5. ISCSPのシステムアーキテクチャ

12京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

応用例

1. ロボットコンバインの自動収穫

1) 目的：レーザーレンジファインダで稲刈取端を検出し，コンバインの自動操舵を行う．

2) 方法:

①レーザーレンジファインダで計測した２次元プロファイルを，GNSSとGPSコンパスで計測した位置・方位を用いて，３次元のプロファイルを構築する．

② RANSAC (RANdom SAmple Consensus)アルゴリズムで稲刈取端を検出し，操舵する．

13京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

応用例

1. ロボットコンバインの自動収穫

Three-dimensional map using OpenGL Experimental result

14京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

応用例

1. ロボットコンバインの自動収穫

1) 稲列は凸凹の部分があったが，追従して操舵することができた．

2) 稲の刈残しはなかった．

15京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

応用例

2. ロボットコンバインの自動排出オーガ制御

1) 目的：レーザーレンジファインダでグレインタンクを検出し，排出オーガの自動制御を行う．

2) 方法:

①レーザーレンジファインダで計測した２次元プロファイルを，GNSSとGPSコンパスで計測した位置・方位を用いて，３次元のプロファイルを構築する．

②画像処理でグレインタンクを検出し，排出オーガの自動制御をする．

16京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

応用例

2. ロボットコンバインの自動排出オーガ制御

Three-dimensional map using OpenGL Experimental result

17京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

結論

1. 自脱コンバインの自動走行システムのためソフトウェアプラットフォーム(ISCSP)を開発中.

2. ISCSPは自動走行システムの開発のためよく使うセンサやアルゴリズムなどを支援するので開発の重複を避け,開発のスピードが上がる.

3. 今よりもっと多様なセンサとアルゴリズムを支援する必要があり,多様な環境でISCSPの性能をテストする必要がある.

18京都大学大学院地域環境科学専攻 フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)

Contact us

Thank you for listening to my presentation.

If you have any questions, please electronic mail me!

cho@elam.kais.kyoto-u.ac.jp

Sensor Interface(Machine Vision, LRF)

ECU-KUx Interface(Combine Body, RTK-GPS, GPS compass)

DriverLayer

Robot Interface

Layer

Steering(Speed, Heading)

Sensor Fusion

Image Processing

Combine Body Control(Header, Unloading Auger, Etc.)

AlgorithmLayer

Path Planning

Uncut Crop Edge Detection

3D MappingTask Definition(Harvest, Turn)

User Interface

Layer

Sensors Display(Machine Vision, LRF, RTK-GPS)

Combine BodyDisplay

3D MapDisplay

RemoteMonitoring

UnloadingAuger

Sensor Interface(Machine Vision, LRF)

ECU-KUx Interface(Combine Body, RTK-GPS, GPS compass)

DriverLayer

Robot Interface

Layer

Steering(Speed, Heading)

Sensor Fusion

Image Processing

Combine Body Control(Header, Unloading Auger, Etc.)

AlgorithmLayer

Path Planning

Uncut Crop Edge Detection

3D MappingTask Definition(Harvest, Turn)

User Interface

Layer

Sensors Display(Machine Vision, LRF, RTK-GPS)

Combine BodyDisplay

3D MapDisplay

RemoteMonitoring

UnloadingAuger

Ground plane

Target path

RTK-GPSLRF

GPS compass

ECU-KU1

Machine vision

ECU-KU2

Server

RTK-GPSLRF

GPS compass

ECU-KU1

Machine vision

ECU-KU2

Server