7
Hi nghtoàn quc vĐiều khin và Tđộng hoá - VCCA-2011 VCCA-2011 Nghiên cu phát trin hRobot thành có gn camera tđộng tìm kiếm và bám mc tiêu di động Research Deverlopment of Mobile Robot mounted Camera automatically Seaching and Tracking Moving Target Ngô Mnh Tiến Vin Vt Lý, Vin KH&CN Vit Nam Email: [email protected] Phan Xuân Minh Đại Hc Bách Khoa Hà Ni Email : [email protected] Tóm tt: Bài báo này trình bày việc xây dựng và phát triển một hrobot tự hành có gắn camera bao gồm các bước: mô hình hóa, mô phỏng, thiết kế , thuật toán điều khiển bám ảnh tự động, lắp đặt phần cứng, lập trình phần mềm điều khiển chạy thử nghiệm. Các kết quả cho thấy hệ robot tự hành đã hoạt động đảm bảo các chtiêu chất lượng đặt trước. Những kết qunghiên cứu này là cơ scho hướng phát triển mới trong các ứng dụng. Abstract: This paper presents the building and the development of a self propelled robot mounted camera as follows: modeling, simulation, automatic image alignment control algorithms, hardware configuration, software programming and running experiments. The results showed that the robot self propelled already satisfying the control qualities. These researching resuls are bases for new developing approach of applications Keywords: Camshift, OpenCV, Robot mobile tracking, ATmega128, Computer Vision. Ký hiệu Ký hiệu Đơn vị Ý nghĩa 0 l , 1 l , 2 l cm chiều dài các khớp 1 2 , mm g khối lượng các khớp 1 , 2 rad góc quay các khớp R , P , Y rad góc quay Roll, Pitch, Yaw Chữ viết tắt FOV Field of View LOS Line of Sight MIMO multi input multi output 1. Tng quan hthng Ngày nay việc xây dựng một hệ thống robot di động thông minh và có khả năng thay thế con người làm việc trong các điều kiện khắc nghiệt và nguy hiểm là rất cần thiết. Các Robot này thường hoạt động bằng các cảm biến như cảm biến màu sắc, hồng ngoại, cảm biến dò đường, siêu âm. Gần đây các robot loại này được phát triển và tích hợp thêm “thị giác”, việc tích hợp trên Robot hệ thống camera ứng dụng xử lý ảnh sẽ tăng khả năng tự động, giúp robot thông minh hơn [1,6]. Hệ thống thị giác có thể phân thành 2 lớp, theo như cấu trúc của hệ, đó là hệ tay máy Robot cố định có camera gắn cố định (H. 1) và hệ có camera gắn trên Robot di động (H. 2). Trong hệ camera cố định, camera được gắn cố định so với hệ trục tọa độ thực, thu thập ảnh của cả mục tiêu và cả môi trường. Mục tiêu của hệ camera cố định này là cung cấp tín hiệu điều khiển sao cho Robot có thể phân loại và tuwng tác với đối tượng mong muốn, hệ thống này thường được ứng dụng trong các dây truyền sản xuất, phân loại sản phẩm, trong công nghiệp. H. 1 Sơ đồ hthng Robot và camera cđịnh H. 2 Sơ đồ hthng Robot và camera di chuyn Trong H.2 là hệ có camera gắn trên Robot và cả hệ Robot và camera sẽ di chuyển. Mục đích của cấu trúc này là điều khiển Robot sao cho ảnh của mục tiêu di động hoặc cố định được duy trì ở vị trí mong muốn trên mặt phẳng ảnh thu được. Trong bài báo này hệ thống được thiết kế dựa trên cấu trúc thứ 2: Xây dựng một robot tự hành có gắn camera tự động bám mục tiêu di động. Mục đích của hệ thống bám tự động là để duy trì một “đường ngắm” viết tắt là LOS (Line Of Sight) Camera Robot Tín hiệu điều khiển Máy tính Đối tượng Robot mobile camera Vật thể cần giám sát 506

Nghiên cứu phát triển hệ Robot tự hành có gắn camera tự động tìm kiếm và bám mục tiêu di động

  • Upload
    pvdai

  • View
    372

  • Download
    3

Embed Size (px)

DESCRIPTION

Hội nghị toàn quốc về Điều khiển và Tự động hoá - VCCA-2011Nghiên cứu phát triển hệ Robot tự hành có gắn camera tự động tìm kiếm và bám mục tiêu di động Research Deverlopment of Mobile Robot mounted Camera automatically Seaching and Tracking Moving TargetNgô Mạnh Tiến Viện Vật Lý, Viện KH&CN Việt Nam Email: [email protected] Phan Xuân Minh Đại Học Bách Khoa Hà Nội Email : [email protected] Tóm tắt: Bài báo này trình bày việc xây dựng vàphát triển một hệ robot tự hành có gắn camer

Citation preview

Page 1: Nghiên cứu phát triển hệ Robot tự hành có gắn camera tự động tìm kiếm và bám mục tiêu di động

Hội nghị toàn quốc về Điều khiển và Tự động hoá - VCCA-2011

VCCA-2011

Nghiên cứu phát triển hệ Robot tự hành có gắn camera tự động tìm kiếm

và bám mục tiêu di động

Research Deverlopment of Mobile Robot mounted Camera automatically

Seaching and Tracking Moving Target

Ngô Mạnh Tiến

Viện Vật Lý, Viện KH&CN Việt Nam

Email: [email protected]

Phan Xuân Minh

Đại Học Bách Khoa Hà Nội

Email : [email protected]

Tóm tắt: Bài báo này trình bày việc xây dựng và

phát triển một hệ robot tự hành có gắn camera bao

gồm các bước: mô hình hóa, mô phỏng, thiết kế ,

thuật toán điều khiển bám ảnh tự động, lắp đặt phần

cứng, lập trình phần mềm điều khiển và chạy thử

nghiệm. Các kết quả cho thấy hệ robot tự hành đã

hoạt động đảm bảo các chỉ tiêu chất lượng đặt trước.

Những kết quả nghiên cứu này là cơ sở cho hướng

phát triển mới trong các ứng dụng.

Abstract: This paper presents the building and the

development of a self propelled robot mounted

camera as follows: modeling, simulation, automatic

image alignment control algorithms, hardware

configuration, software programming and running

experiments. The results showed that the robot self

propelled already satisfying the control qualities.

These researching resuls are bases for new

developing approach of applications

Keywords: Camshift, OpenCV, Robot mobile

tracking, ATmega128, Computer Vision.

Ký hiệu Ký hiệu Đơn vị Ý nghĩa

0l , 1l , 2l cm chiều dài các khớp

1 2,m m g khối lượng các khớp

1 , 2 rad góc quay các khớp

R , P , Y rad góc quay Roll, Pitch, Yaw

Chữ viết tắt FOV Field of View

LOS Line of Sight

MIMO multi input – multi output

1. Tổng quan hệ thống Ngày nay việc xây dựng một hệ thống robot di

động thông minh và có khả năng thay thế con người

làm việc trong các điều kiện khắc nghiệt và nguy

hiểm là rất cần thiết. Các Robot này thường hoạt động

bằng các cảm biến như cảm biến màu sắc, hồng ngoại,

cảm biến dò đường, siêu âm. Gần đây các robot loại

này được phát triển và tích hợp thêm “thị giác”, việc

tích hợp trên Robot hệ thống camera và ứng dụng xử

lý ảnh sẽ tăng khả năng tự động, giúp robot thông

minh hơn [1,6]. Hệ thống thị giác có thể phân thành 2 lớp, theo

như cấu trúc của hệ, đó là hệ tay máy Robot cố định

và có camera gắn cố định (H. 1) và hệ có camera gắn

trên Robot di động (H. 2). Trong hệ camera cố định,

camera được gắn cố định so với hệ trục tọa độ thực,

thu thập ảnh của cả mục tiêu và cả môi trường. Mục

tiêu của hệ camera cố định này là cung cấp tín hiệu

điều khiển sao cho Robot có thể phân loại và tuwng

tác với đối tượng mong muốn, hệ thống này thường

được ứng dụng trong các dây truyền sản xuất, phân

loại sản phẩm, trong công nghiệp.

H. 1 Sơ đồ hệ thống Robot và camera cố định

H. 2 Sơ đồ hệ thống Robot và camera di chuyển

Trong H.2 là hệ có camera gắn trên Robot và cả

hệ Robot và camera sẽ di chuyển. Mục đích của cấu

trúc này là điều khiển Robot sao cho ảnh của mục tiêu

di động hoặc cố định được duy trì ở vị trí mong muốn

trên mặt phẳng ảnh thu được.

Trong bài báo này hệ thống được thiết kế dựa trên

cấu trúc thứ 2: Xây dựng một robot tự hành có gắn

camera tự động bám mục tiêu di động.

Mục đích của hệ thống bám tự động là để duy trì

một “đường ngắm” viết tắt là LOS (Line Of Sight)

Camera

Robot

Tín hiệu

điều khiển

Máy

tính Đối tượng

Robot mobile

camera

Vật thể cần giám sát

506

Page 2: Nghiên cứu phát triển hệ Robot tự hành có gắn camera tự động tìm kiếm và bám mục tiêu di động

Hội nghị toàn quốc về Điều khiển và Tự động hoá - VCCA-2011

VCCA-2011

cảm biến - mục tiêu một cách ổn định và hoàn toàn tự

động trong khi tồn tại cả chuyển động tương đối của

mục tiêu và chuyển động của đế gắn cảm biến làm

nhiễu loạn tới dữ liệu cảm biến hình ảnh. Mục tiêu

thường được định vị ban đầu, bởi hoặc là người điều

khiển hoặc là hệ thống nhận dạng mục tiêu tự động.

Sau đó, hệ thống bám sẽ khoá chặt mục tiêu và duy trì

LOS tự động.

Hệ thống tổng quan bao gồm có 3 bộ phận chính

H. 3: (1) bộ cảm biến hình ảnh (camera), (2) bộ chấp

hành là các trục khớp quay (gimbal) và bánh xe có

gắn động cơ điện 1 chiều, và (3) máy tính PC và vi

điều khiển (bộ vi xử lý). Một vòng điều khiển phản

hồi, được gọi là vòng bám, liên tục hiệu chỉnh bộ chấp

hành để giữ trọng tâm của mục tiêu vào tâm của

trường nhìn viết tắt là FOV (Field Of View) của bộ

cảm biến. Bộ vi xử lý sẽ khép kín vòng này bằng cách

tính toán độ lệch để điều khiển cơ cấu chấp hành. Các

thành phần hoạt động theo thứ tự: (1) bộ vi xử lý định

vị tín hiệu mục tiêu trong các dòng hình ảnh từ bộ

cảm biến, (2) bộ vi xử lý ước lượng trạng thái mục

tiêu và tạo ra các lệnh điều khiển cơ cấu chấp hành

trên cơ sở các thông tin trạng thái, (3) lệnh điều khiển

được áp dụng vào LOS cảm biến, (4) bộ cảm biến tạo

ra một vòng video mới, và (5) quá trình được lặp lại.

H. 3 Sơ đồ tổng quan của hệ thống Robot tự hành

bám mục tiêu di động

2. Mô hình hóa hệ thống 2.1 Hệ đế xoay Pal/Tilt [4,5]

H. 4 Mô hình hóa hệ đế xoay Pal/Tilt

- Bảng thông số DH:

Khâu i i ia id

1 1 90 0

1l

2 2 0

2l 0

- Tính các ma trận 1i

iA :

1 1

1 10

1

1

0 0

0 0

0 1 0

0 0 0 1

C S

S CA

l

2 2 2 2

2 2 2 21

2

0

0

0 0 1 0

0 0 0 1

C S l C

S C l CA

1 2 1 2 1 2 1 2

1 2 1 2 1 2 1 20 0 1

2 1 2

2 2 1 2 2

.0

0 0 0 1

C C C S S l C C

S C S S C l S CA A A

S C l l S

(1)

- Tính các ma trận ijU :

1 1

01 11

11

1

0 0

0 0

0 0 0 0

0 0 0 0

S C

C SAU

(2)

1 2 1 2 1 2 1 2

01 2 1 2 1 2 1 22

21

10 0 0 0

0 0 0 0

S C S S C l S C

C C C S S l C CAU

(3)

2 1 1 2 2 2 1

01 2 1 2 2 1 22

22

2 2 2 21

0

0

0

0 0 0 0

S C C C l S C

S S S C l S SAU

C S l C

(4)

- Mô men quán tính của hai khâu:

- Khâu 1:

2

1 1 1 1

1

1 1 1

0 0 0 0

1 10 0

3 2

0 0 0 0

10 0

2

m l m l

J

m l m

(5)

- Khâu 2 :

2

2 2 2 2

2

2 2 2

1 10 0

3 2

0 0 0 0

0 0 0 0

10 0

2

m l m l

J

m l m

(6)

- Tính ma trận ( )D :

2 2

11 11 1 11 21 2 21 2 2 2

1( ) ( )

3

T TD Trace U J U Trace U J U m l C (7)

12 21 22 2 21( ) 0TD D Trace U J U (8)

2

22 22 2 22 2 2

1( )

3

TD Trace U J U m l (9)

- Tính ma trận ( , )h :

Cảm biến

Đế pan/tilt

Tầng bám ảnh

Xác định vị trí

mục tiêuTính toán LOS

Tầng điều khiển

Tạo luật

điều khiển

Vị trí

mục tiêu

Dự đoán vị trí mục tiêu

Trạng thái mục tiêu

Pixels

Các đo lường khácĐộng cơ

xe

507

Page 3: Nghiên cứu phát triển hệ Robot tự hành có gắn camera tự động tìm kiếm và bám mục tiêu di động

Hội nghị toàn quốc về Điều khiển và Tự động hoá - VCCA-2011

VCCA-2011

2

2 2 2 2 1 2

2 2

2 2 2 2 1

1

3( , )

1

3

m l C S

h

m l C S

(10)

- Ma trận véc tơ lực trọng trường ( )C :

2 2 1 2

1

22 2 1 2

1

2( )

1

2

gm l C CC

CC

gm l S S

(11)

- Phương trình động lực học của hệ Pan-Tilt:

- Dạng phương trình :

( ) ( ). ( ) ( , ) ( )MF t D t h C (12)

1 11 12 1 11

2 21 22 2 22

M

M

F D D h C

F D D h C

(13)

2 2

2 2 21 1

22 22 2

2

2 2 2 2 1 2 2 2 1 2

2 2

2 2 2 2 1 2 2 1 2

10

3

10

3

1 1

3 2

1 1

3 2

M

M

m l CF

Fm l

m l C S gm l C C

m l C S gm l S S

(14)

- Điều khiển đế xoay Pal/Tilt [4]

ở đây ta dùng bộ điều khiển PD:

( ) ( )P d Du g q K q q K q

Tay m¸y

g(.)

PK++ q

qdq u

DK

-

-+ +

q~

H. 5 Sơ đồ điều khiển PD có bù trọng lực

H. 6 Kết quả mô phỏng điều khiển hệ đế xoay

Pal/Tilt bằng bộ điều khiển PD: khớp 1

H. 7 Kết quả mô phỏng điều khiển hệ đế xoay

Pal/Tilt bằng bộ điều khiển PD: khớp 2

2.2 Mối quan hệ giữa camera và tọa độ thực [7]

Gọi Cc ( , ,ccd ccd ccdx y z ) là điểm cuối cho một

vector từ vị trí trung tâm của robot di động đến tâm

của ống kính camera. khi đó vị trí này có thể được

tính theo hai góc quay 1 2, của đế xoay Pal/Tilt như

sau:

1 1 2 1 2

2 2

1 1 2 1 2 0

sin( ) cos( )cos( ),

sin( ),

cos( ) sin( )cos( )

ccd

ccd

ccd

x l l

y l

z l l l

(15)

Ở đây 0l là chiều cao của xe tính đến vị trí đặt đế

xoay Pal/Tilt.

Tương tự, véc tơ Trạng thái của ma trận đồng nhất

đã đại diện là các góc: Roll ( R ), Pitch ( P ) và góc

độ Yaw ( Y ) được tính như sau:

1 1 2

2 2 2

1 2 2

1 1 2

2 2 2

1 2 2

2

sin( )sin( )tan ,

cos ( )sin ( ) cos ( )

sin( )cos( )tan ,

cos ( )cos ( ) sin ( )

.

R

P

Y

(16)

Để thực hiện bám đối tượng theo thời gian thực ta

cần có thông số khoảng cách từ camera đến đối tượng

cũng như kích thước thật của đối tượng trong không

gian 3D. Việc này cần thiết phải có hai camera, tuy

nhiên nếu dùng phương pháp này khối lượng tính toán

sẽ rất lớn và ảnh hưởng đến tốc độ bám, do đó ở đây

chúng tôi chỉ dùng một camera và khoảng cách đến

đối tượng chúng tôi xác định bằng sensor siêu âm và

giả thiết kích thước của đối tượng là cố định. Vị trí

của tâm đối tượng trong tọa độ ảnh là (j, k), khi

chuyển về hệ tọa độ (j′, k′) là tâm của khung ảnh sẽ

được tính theo góc quay Roll R và kích thước

khung hình ảnh Px và Py.

'

'

cos( ) sin( ) 2

sin( ) cos( )

2

x

R R

yR R

Pj

j

Pkk

(17)

Để tính vị trí thực tế 0 0( , )x y , 0 và 0r được ước

tính bằng cách sử dụng mối quan hệ tuyến tính giữa

508

Page 4: Nghiên cứu phát triển hệ Robot tự hành có gắn camera tự động tìm kiếm và bám mục tiêu di động

Hội nghị toàn quốc về Điều khiển và Tự động hoá - VCCA-2011

VCCA-2011

đối tượng thực sự trong góc nhìn và khung hình ảnh.

Khi một điểm ảnh được chụp tại (j′, k′) trên trung tâm

của khung hình ảnh, vị trí đối tượng thực sự, 0

0r

có thể được tính toán như sau (H.8):

H. 8 nh to n vị tr đối tượng theo tọa độ robot

H. 9 nh to n động học ngược cho vị trí thực

camera

0 '

cos( )2

ccd

P ry

y

zr

k

P

(18)

'

0 rx

x

j

P

(19)

Với rx và ry là các góc hướng nhìn x- và y- của

camera CCD, tương ứng. Khi đó vị trí của đối tượng

trong hệ tọa độ của robot (x,y), là:

0 0 0.cos( ) .cos( ),ccd Y Yx r r

(20)

0 00 .sin( ) .sin( ),ccd Y Yy r r

(21)

Với Y là góc quay giữa robot và camera, và

2 2( )ccd ccd ccdr x y là khoảng cách từ tâm robot tới

tâm ống kính camera.

- Động học ngược của để điều khiển tâm ống kính

đến vị trí mong muốn:

2 2 2 2 2 2

1 2 1 2 1 11

2 2

1

( )( )cos

( )

1,

sin( )

d d

d

d

d

l l l l l r l r

l r

(22)

1tan ,dd

d

y

x

(23)

Với d và d góc quay camera, ( dx , dy ) là vị trí

mong muốn của camera, và dr là 2 2

d dx y .

3. Thuật toán xử lý ảnh bám mục tiêu

tự động 3.1 Thuật toán bám theo một tập hợp các điểm đặc

trưng ảnh của Lucas, Kanade và Tommasini KLT

[2,3]

Đây là một phương pháp bám sử dụng rất có hiệu

quả đối với ảnh thu được là ảnh đen trắng, ảnh của

camera hồng ngoại nhìn đêm. Phương pháp này được

Lucas, Kanade và Tommasini [10,11] lần đầu tiên

đưa ra năm 1981 và được hoàn thiện vào năm 1991.

Thuật toán để tính toán sai lệch vị trí mục tiêu bao

gồm những bước sau:

(1) iền xử lý: chuyển đổi ảnh màu thành ảnh xám và

thực hiện lọc gauss để giảm bớt nhiễu tần số cao.

(2) X c định và b m c c đặc t nh: được thực hiện bởi

bộ bám KLT, sử dụng 100 đặc tính. Giả thiết khung t-

1 thu được 100 đặc tính, với khung t ta tìm kiếm trong

ảnh để bám 100 đặc tính từ khung t-1 thu được tập k

tf gồm k đặc tính tốt thích hợp. k đặc tính này được

sử dụng để xác định vector dịch chuyển. Sau đó với

khung t ta xác định lại 100-k đặc tính tốt với ảnh t sẽ

được bám trong khung t+1. Khi thu được k nhỏ (nhỏ

hơn 30) kết quả bám sẽ được huỷ bỏ và dựng cơ

breaklock cảnh báo “mất bám”.

(3) Bù tự chuyển động của camera: Xét hai ảnh t-1 và

t, có k đặc tính bám tốt tương ứng là k

tf 1 và k

tf . Ta

sẽ xác định vector dịch chuyển (dx,dy) bằng cách lấy

độ dịch chuyển nào mà nó được bao chứa trong nhiều

đặc tính nhất. Cuối cùng ảnh It-1 sẽ được biến đổi để

bù độ dịch chuyển này It-1(i,j)= It-1(i+dx,j+dy).

(4) Sai phân ảnh: ảnh It-1 đã bù có thể được so sánh

trực tiếp với ảnh It. Ta thu được ảnh sai phân như sau:

Dt(i,j)= It(i,j)-It-1(i,j).

(5) Định ngưỡng và phân đoạn chuyển động: Thực

nghiệm đã sử dụng ngưỡng cứng là 10 để phân

ngưỡng ảnh sai phân. Để loại bỏ nhiễu phân ngưỡng

ta sử dụng toán tử mở trong phép xử lý hình thái.

(6) Ước lượng vị tr đối tượng: Vị trí chuyển động

được xác định bằng phương pháp bám trọng tâm.

(7) X c định LOS và bù vòng b m: Vị trí mục tiêu thu

được là (x,y) trong toạ độ ảnh sẽ được so sánh với tâm

của ảnh (tâm của trường nhìn) để xác định sai lệch

theo phương x và y. Sai lệch này sẽ được truyền tới bộ

bù vòng bám tới tầng điều khiển động cơ để duy trì

mục tiêu vào tâm trường nhìn.

(8) Xây dựng cửa: Trong thực nghiệm sử dụng cửa cố

định.

(9) Hiện thị ảnh: Ảnh được hiện thị cùng với hình bao

đối tượng được bám.

3.2 Thuật toán Camshift [2,6]

Đây là phương pháp rất hiệu quả khi ảnh thu được

từ camera là ảnh màu và đối tượng cần bám có màu

509

Page 5: Nghiên cứu phát triển hệ Robot tự hành có gắn camera tự động tìm kiếm và bám mục tiêu di động

Hội nghị toàn quốc về Điều khiển và Tự động hoá - VCCA-2011

VCCA-2011

sắc đặc trưng riêng so với nền ảnh. Thuật toán

Camshift được phát triển trên cơ sở thuật toán

Meanshift. Camshift viết tắt của “Continuously

Adaptive Meanshift”. Nó bao gồm thuật toán cơ sở

Meanshift với thích ứng các bước thay đổi kích cỡ

của vùng. Các bước thực thi thuật toán:

(1): Chọn vị trí ban đầu của Search Window.

(2): Dùng thuật toán Meanshift (lặp một hoặc nhiều

lần) lưu ra một vùng gọi là moment thứ 0.

(3): Đặt kích cỡ của cửa sổ tìm kiếm bằng một hàm

của moment thứ 0 tìm được trong bước 2.

(4): Lặp lại bước 2 và bước 3 cho đến khi hội tụ.

H. 10 Lưu đồ thuật toán Camshift

Đầu tiên là một Histogram được tạo ra, Histogram

này chứa các thuộc tính liên quan đến màu sắc và tiếp

theo tâm và kích cỡ của mục tiêu được tính toán để

theo dõi mục tiêu khi hình dạng và kích cỡ của nó

thay đổi. Tính xác suất phân bố mục tiêu căn cứ vào

Histogram nhận được. Dịch chuyển đến vị trí mới với

mỗi khung hình vừa nhận được từ video. Camshift sẽ

dịch chuyển đến vị trí mà nó ước lượng trên đối tượng

tập trung nhiều điểm sáng nhất trong bức ảnh xác

suất. Tìm vị trí mới bắt đầu từ vị trí trước đó và tính

toán giá trị trọng tâm vừa tìm được.

cả hai thuật toán trên đều có thư viện các hàm tính

toán trong OpenCV và nhóm tác giả đã chọn lập trình

phần bám ảnh trên Visual C 6.0 có sử dụng thư viện

mã nguồn mở OpenCV của Intel.

4. Thiết kế phần cứng và phần mềm

cho hệ thống Cấu trúc của hệ bám gồm hai phần chính:

- Phần 1: xử lý ảnh dựa vào chuỗi hình ảnh thu được

từ camera để nhận dạng và tính toán vị trí của đối

tượng mục tiêu.

- Phần 2: là phần điều khiển, dựa vào thông số vị trí

đối tượng nhận được trong mặt phẳng ảnh, tính toán

tín hiệu điều khiển robot sao cho đối tượng di chuyển

được duy trì ở một vị trí nhất định trên mặt phẳng ảnh

và ở một khoảng cách nhất định.

Trong hệ thống này ngoài bộ vi xử lý chung là máy

tính laptop còn có một khối giao tiếp để thực hiện bắt

tay giữa camera, cơ cấu chấp hành và máy tính. Để

đáp ứng đủ yêu cầu về khả năng điều khiển cơ cấu

chấp hành và vừa có khả năng xử lý, chống nhiễu tốt

nhóm tác giả sử dụng vi điều khiển AVR,

ATmega128 vì nó có đầy đủ tính năng và có khả năng

chống nhiễu tốt.

H. 11 Cấu trúc tổng thể phần cứng

Để sử dụng điều khiển các cơ cấu chấp hành và kiểm

soát tốc độ và góc quay tôi đã sử dụng một số linh

kiện chuyên dụng điều khiển cầu động cơ đó là dòng

MC của Freescale và DVR của Texas Intrument. Với

mục đích xây dụng một kit vi điều khiển đa năng có

thể vừa thực hiện nhiệm vụ điều khiển cơ cấu chấp

hành vừa có khả năng thực hiện nhiệm vụ xử lý tín

hiệu từ các cảm biến trong công nghiệp như PIR, IR

của Sharp, cảm biến gia tốc và độ nghiêng ADXL203

và MMA7455… và có thể giao tiếp RS232, giao tiếp

không dây RF CC1101 tần số 450MHz để phục vụ

quá trình truyền và xử lý tín hiệu.

H. 12 Lưu đồ thuật toán

5. Kết quả chạy thử nghiệm

H. 13 Hệ thống chạy thử nghiệm

Chúng tôi đã xây dựng hoàn chỉnh một hệ thống robot

bám mục tiêu di động, cả về phần cứng lẫn chương

trình phần mềm và giao diện điều khiển. Hệ thống bao

gồm phần mềm cho máy tính điều khiển tại trung tâm

và phần mềm cho máy tính, hệ vi điều khiển trên

robot. Hệ thống được chạy thử nghiệm bám theo mục

tiêu là đối tượng màu sẫm.

Một số hình ảnh thực nghiệm:

Start

Chụp ảnh

Lấy mẫu

Histogram

Lọc nhiễu

Camshift

Tính tọa độ

tâm, hướng

Giao tiếp

RS232,RF

Điều kiện

dừng

Khởi tạo

Dừng

Camera Xử lý ảnh

frame RF

RS232

ATmega128

RF

RS232

Driver ĐK

ĐC Công tác

hành trình

Cảm biến

Động cơ

Mạch VĐK Máy tính và lưu trữ

Chụp

ản

RGB HSV

Tính toán

Histogram

Xác suất

phân bố

màu Camshift

Reset vùng

tính toán

Đặt tâm search

window

Video

Tạo vị trí và

kích cỡ search

window

X,Y

510

Page 6: Nghiên cứu phát triển hệ Robot tự hành có gắn camera tự động tìm kiếm và bám mục tiêu di động

Hội nghị toàn quốc về Điều khiển và Tự động hoá - VCCA-2011

VCCA-2011

H. 14 Giao diện trên máy tính

H. 15 Giao diện kết nối với vi điều khiển

Ngoài việc tự động bám mục tiêu di động, hệ thống

còn cho phép người điều khiển bằng tay robot từ xa

qua sóng RF với khoảng cách là <500m, và có thể

quan sát cũng như lưu trữ hình ảnh và video thu được

trên máy tính tại trung tâm điều khiển.

6. Kết Luận Bài báo trình bày tổng thể từ nghiên cứu lý thuyết,

xây dựng các sơ đồ cấu trúc, thiết kế phần cứng và lập

trình phần mềm cho một robot tự hành bám mục tiêu

di động. Việc gắn thêm camera giúp cho robot hoạt

động thông minh hơn, tiếp cận với các hành vi giống

con người nhằm mục đích thay con người làm các

công việc trong môi trường nguy hiểm cũng là mục

đích của sản phẩm của bài báo. Hệ thống làm việc ổn

định cả khi có sự xuất hiện của các đối tượng khác

chuyển động trong trường quan sát.

Hạn chế của hệ là tốc độ bám còn chậm (khoảng 10

frame/s), cũng như hệ thống bám chưa chú ý nhiều tới

các đo lường quan trọng khác như: đo gia tốc và vận

tốc động cơ; đo xa xác định chiều sâu thông tin. Việc

đo lường này trước hết phục vụ tính toán LOS và

động học ngược cũng như điều khiển các động cơ.

Tuy còn nhiều vấn đề cần được nâng cấp, nhưng hệ

thống của chúng tôi đã thu được kết quả chấp nhận

được và ổn định. Các vần đề tồn tại sẽ được khắc

phục trong hướng phát triển tiếp theo.

Tài liệu tham khảo [1].Giáo trình “Nhập môn xử lý ảnh số”, ĐH Bách

Khoa Hà Nội.

[2].Carlo Tomasi, Takeo Kanade: Detection and

Tracking of Point Features; Technical Report

CMU-CS-91-132; April 1991

[3].Gary Bradski and Adrian Kaehler: Learning

OpenCV Computer Vision with the OpenCV

Library; O’Reilly; 2008

[4].Mark W. Spong, Seth Hutchinson, and M.

Vidyasagar; Robot Dynamics and Control;

Addison – Wesley Publishing Company; 2004

[5].Frank L.Lewis, Darren M.Dawson, Chaouki

T.Abdallah: Robot Manipulator Control Theory

and Practice; MARCEL DEKKER, INC, 2004

[6].Gary R. Bradski: Computer Vision Face Tracking

For Use in a Perceptual User Interface,

Microcomputer Research Lab, Santa Clara, CA,

Intel Corporation, 2005

[7].Sang-joo Kim, Jin-woo Park, and Jang-Myung

Lee: Implementation of Tracking and Capturing

a Moving Object using a Mobile Robot,

International Journal of Control, Automation,

and Systems, vol. 3, 2005

H. 16 Một số hình ảnh chụp quá trình chạy thử nghiệm

511

Page 7: Nghiên cứu phát triển hệ Robot tự hành có gắn camera tự động tìm kiếm và bám mục tiêu di động

Hội nghị toàn quốc về Điều khiển và Tự động hoá - VCCA-2011

VCCA-2011

Ngô Mạnh Tiến: Học Đại học

Bách Khoa Hà Nội, chuyên ngành

Điều khiển tự động từ năm 1996-

2001. Bảo vệ Thạc sỹ năm 2004

và hiện nay đang theo học Tiến sỹ

tại Đại Học Bách Khoa Hà Nội.

Hiện tại công tác tại phòng Quang

điện tử - Viện Vật Lý-Viện Khoa Học và Công Nghệ

Việt Nam.

Hướng nghiên cứu chính: Điều khiển quá trình, điều

khiển thông minh và thích nghi, hệ Mờ và mạng

Neuron, điều khiển Robot, Robot tự hành, hệ thống

quang điện tử nhìn đêm, xử lý ảnh.

Phan Xuân Minh: Nhận bằng

Thạc sĩ kỹ thuật (1976) và Tiến sĩ

kỹ thuật (1989) - chuyên nghành:

Điều khiển học tại trường Ilmenau

University of Technology –

Ilmenau, Đức.

Hiện là Phó Giáo sư, công tác và

giảng dạy tại Bộ môn Điều khiển

tự động – Viện Điện - Trường Đại học Bách Khoa

Hà Nội.

Hướng nghiên cứu chính: Điều khiển tối ưu và bền

vững, diều khiển thích nghi, hệ mờ và mạng Nơron,

điều khiển quá trình.

512