TR NG Đ I H C L C H NG

KHOA ĐI N - ĐI N T

BÁO CÁO NGHIÊN C U KHOA H C

ĐỀ TÀI:

NH N D NG BI N S XE

NGUY N PH M ANH TU N

BIÊN HÒA, THÁNG 12 NĔM 2010

TR NG Đ I H C L C H NG

KHOA ĐI N - ĐI N T

BÁO CÁO NGHIÊN C U KHOA H C

Đ TÀI:

NH N D NG BI N S XE GVHD : Th.S PHAN NH QUÂN SVTH : NGUY N PH M ANH TU N

BIÊN HÒA, THÁNG 12 NĔM 2010

Lời c m n

Sau bốn năm đ i học, đây là th i điểm quyết định thành qu học t p c a các

sinh viên.Và đề tài nghiên c u khoa học chính là b ng báo cáo cho thành qu học t p

đó.

Để hoàn thành tốt đề tài này, trước tiên, em xin chân thành c m ơn các thầy cô

và ban giám hiệu trư ng ĐH L c Hồng nói chung và các thầy cô trong khoa Điện –

Điện tử nói riêng đã t o mọi điều kiện giúp đỡ chúng em trong quá trình học t p và

nghiên c u.

Kế đến, em xin chân thành gửi l i c m ơn đến thầy Phan Như Quân, là giáo

viên hướng dẫn và cũng là ngư i đã nhiệt tình chỉ b o cho em trong suốt quá trình

hoàn thành đề tài.

Cuối cùng xin gửi l i c m ơn đặc biệt đến gia đình luôn là một chỗ dựa vững

ch c cũng như luôn t o mọi điều kiện tốt nhất cho em được học t p.

M c l c

Trang bìa ph ...........................................................................................................

L i c m ơn ..................................................................................................................

M c l c ..........................................................................................................................

L i mở đầu ............................................................................................................... 1

Ch ơng 1: GI I THI U V Đ TÀI................................................... 2

1.1.Lý do chọn đề tài ..................................................................................................... 2

1.2.Nội dung đề tài ........................................................................................................ 2

1.3.Giới h n đề tài ......................................................................................................... 3

1.4. Mục tiêu.................................................................................................................. 4

Ch ơng 2: CH P NH B NG WEBCAM ...................................... 5

Ch ơng 3: TÁCH BI N S ......................................................................... 7

3.1.Tổng quan về tách biển số ...................................................................................... 7

3.2. Tìm vùng màu tr ng .............................................................................................. 8

3.3.Xác định vùng ch a biển số ................................................................................. 10

3.4.C t vùng ch a biển số .......................................................................................... 11

3.5. Tìm góc nghiêng và xoay: ................................................................................... 14

3.5.1. Biến đổi Radon:............................................................................................. 14

3.5.1.1. Tổng quan về biến đổi Radon.................................................................. 14

3.5.1.2. Các bước thực hiện.................................................................................. 15

3.5.2. Tìm góc nghiêng và xoay .............................................................................. 16

3.6.C t biển số chính xác............................................................................................ 19

Ch ơng 4: PHÂN ĐO N KÝ T .......................................................... 21

4.1. Tổng quan về phân đo n ký tự ............................................................................. 21

4.2. Nhị phân biển số xe .............................................................................................. 21

4.3. Chuẩn hóa biển số ................................................................................................ 23

4.4.Phân đo n ký tự ..................................................................................................... 23

4.4.1. Chương trình chia đôi biển số ........................................................................ 26

4.4.2. Chương trình phân vùng từng ký tự: ............................................................. 26

4.4.2.1.Chương trình chọn 4 phân vùng lớn nhất ................................................ 27

4.4.2.2. Chương trình phân vùng........................................................................... 27

4.4.2.3. Chương trình con vitricuctieu................................................................... 28

Ch ơng 5: NH N D NG KÝ T ......................................................... 30

5.1. Tổng quát nh n d ng ký tự .................................................................................... 30

5.2. Lựa chọn phương pháp:........................................................................................ 31

5.2.1.Phương pháp nh n d ng cổ điển: .................................................................... 31

5.2.2. Phương pháp ng dụng m ng neural: ............................................................ 31

5.3. Giới thiệu về m ng neural ( neural networks):..................................................... 31

5.3.1.Khái niệm: ....................................................................................................... 31

5.3.2. Mô hình c a một m ng neural nhân t o ......................................................... 32

5.3.3. Thiết kế 1 m ng Neural: ................................................................................. 33

5.3.3.1. Thu th p dữ liệu: ...................................................................................... 33

5.3.3.2. Các bước thực hiện: ................................................................................ 33

5.3.4. Cơ s ký thuyết và gi i thu t cho huấn luyện m ng lan truyền ngược .......... 33

5.3.4.1. Cấu trúc m ng lan tryền ngược ................................................................ 33

5.3.4.2. Huấn luyện m ng lan truyền ngược ......................................................... 35

5.4. ng dụng m ng lan truyền ngược vào nh n d ng ký tự : ................................... 37

5.4.1. Thiết kế m ng lan truyền ngược..................................................................... 37

5.4.2. Quá trình nh n d ng ....................................................................................... 37

5.4.4. Phương pháp tăng kh năng tổng quát c a m ng .......................................... 38

5.4.5. Huấn luyện m ng lan truyền ngược ............................................................... 39

Ch ơng 6: M CH ĐI U KHI N.......................................................... 41

6.1. Sơ đồ nguyên lý.................................................................................................... 41

6.2. Nguyên lý ho t động ............................................................................................ 42

K T LU N ............................................................................................................ 43

Tài li u tham kh o ............................................................................................ 44

Ph l c 1: Code c a ch ơng trình MATLAB ............................... 45

Ph l c 2: Code c a vi đi u khi n 89S52 .......................................... 52

1

Lời mở đầu

Xử lý và nh n d ng là một lĩnh vực từ lâu được nhiều ngư i quan tâm. Nó đã

được ng dụng vào nhiều lĩnh vực như:

Trong y học, c i thiện nh X-quang và nh n d ng đư ng biên m ch

máu từ nh chụp bằng tia X , ng dụng vào các xét nghiệm lâm sang như phát hiện và

nh n d ng u não, nội soi c t lớp…

Trong thiên văn học, hệ thống chụp hình g n trên tàu vũ trụ h n chế về

kích thước và trọng lượng, do đó chất lượng hình nh nh n được bị gi m chất lượng

như bị m , méo hình học và nhiễu nền. Các hình nh đó được xử lý bằng máy tính.

Trong các lĩnh vực công nghiệp, ngư i máy ngày càng đóng vai trò

quan trọng. Chúng thực hiện các công việc nguy hiểm, đòi hỏi có tốc độ và độ chính

xác cao vượt quá kh năng con ngư i. Ngư i máy sẽ tr nên tinh vi hơn và thị giác

máy tính đóng vai trò quan trọng hơn. Ngư i ta sẽ không chỉ đòi hỏi ngư i máy phát

hiện và nh n d ng các bộ ph n công nghiệp mà còn ph i “ hiểu ” được những gì chúng

“ thấy ” và đưa ra hành động phù hợp. Xử lý nh sẽ tác động đến thị giác c a máy tính.

Ngoài ra, xử lý và nh n d ng còn được ng dụng trong lĩnh vực khác ít

được nói đến hơn. Công an giao thông thư ng hay chụp nh trong môi trư ng không

thu n lợi, nh thư ng bị nhòe nên cần được xử lý và nh n d ng để có thể nhìn thấy

biển số xe.

Trong lu n văn này ngư i thực hiện xin trình bày một ng dụng c a xử lý và

nh n d ng số là NH N D NG BI N S XE.

2

Ch ơng 1: GI I THI U V Đ TÀI

1.1.Lý do ch n đ tài:

Cùng với sự phát triển khoa học kỹ thu t, nhu cầu đi l i c a con ngư i ngày

càng tăng, lưu lượng giao thông ngày càng lớn. Với số lượng phương tiện giao thông

ngày càng lớn và còn không ngừng tăng thì việc qu n lý các phương tiện giao thông

gặp rất nhiều khó khăn do đó cần có một hệ thống tự động. Một trong những hệ thống

đó là hệ thống nh n d ng biển số xe. Đó là một hệ thống có kh năng “đọc” và

“hiểu”các biển số xe một cách tự động.

Trong lu n văn này, ngư i thực hiện đã xây dựng hệ thống để qu n lý bãi giữ

xe b i vì các bãi giữ xe hiện nay còn có vấn đề bất c p như:

Tốn nhiều nhân công.

An toàn chưa cao, vẫn còn x y ra hiện tượng mất xe.

Vé xe bằng giấy, dễ bị mất hay nhàu nát.

1.2.N i dung đ tài:

Cũng như mọi hệ thống khác, hệ thống này yêu cầu có phần c ng và phần

mềm. Phần c ng có phần chính là WebCam để thu nh n hình nh và phần mềm sẽ

phân tích hình nh đó để lấy ra các ký tự trên biển số xe.

Quá trình thu nh n biển số xe [5] được thực hiện theo sơ đồ sau:

Taùchbieån soá

Phaânñoaïnkyù töï

Nhaändaïngkyù töïKeát quaû bieån soá xe:

66K90434

Keát quaû bieån soá xe: 66K90434

Taùchbieån soá

Phaânñoaïnkyù töï

Taùchbieån soá

Phaânñoaïnkyù töï

Nhaändaïngkyù töïKeát quaû bieån soá xe:

66K90434

Keát quaû bieån soá xe: 66K90434

Hình 1.1: Sơ đồ quá trình nh n d ng

3

Tách biển số: khối này có ch c năng tách biển số từ nh chụp bằng các phương

pháp xử lý nh. Kết qu c a khối là nh màu RBG (Red Green Blue) được c t

ra từ nh chụp. Đây là một công việc rất khó khăn vì ta không biết được vị trí

chính xác c a biển số. Ngoài ra, còn phụ thuộc vào độ sáng c a nh chụp.

Phân đoạn ký tự: sau khi tách biển số, chúng ta b t đầu phân đo n ký tự. Khối

này thực hiện tách từng kí tự có trong biển số, t o thành t p nh riêng biệt các

ký tự phục vụ việc nh n d ng ký tự. nh c a mỗi ký tự là nh tr ng đen.

Nh n dạng ký tự: sau khi phân đo n, tách được các ký tự trong biển số và t o

thành một chuỗi ký tự. Chuỗi này đưa vào khối nh n d ng d ng để tiến hành

nh n d ng từng ký tự trong chuỗi.

1.3.Gi i h n đ tài:

Việc có nhiều biển số xe với định d ng và độ sáng khác nhau gây khó khăn cho

việc nh n d ng. Do quá trình nh n d ng dựa vào phương pháp xử lý nh và trích xuất

biển số từ nh chụp nên độ sáng khác nhau làm tăng độ ph c t p trong quá trình nh n

d ng.

Do th i gian thực hiện đề tài không cho phép nên ngư i thực hiện giới h n các

biển số và điều kiện như sau:

Biển số có chữ đen, nền tr ng, có 2 hàng, số ký tự là 8.

Biển số ph i còn nguyên vẹn, không bị tróc sơn hay rỉ sét, không bị che

khuất.

Góc nghiêng c a biển số không quá 450 so với phương ngang.

Hình chụp biển số không bị m , ký tự biển số còn phân biệt, nh n d ng

được bằng trực quan.

Không bị nhiễu b i ánh sáng làm nh chụp bị chói.

4

1.4. M c tiêu:

Trong đề tài này, em đã đặt những mục tiêu sau:

H n chế những vấn đề bất c p c a bãi giữ xe hiện nay.

Xây dựng một mô hình hệ thống qu n lý bãi giữ xe tự động.

Để đ t được những mục tiêu trên, em đã tiến hành các công việc như sau:

Tìm hiểu về quá trình xử lý và nh n d ng nh

Tìm hiểu các hệ thống bãi giữ xe đã được áp dụng Việt Nam

5

Ch ơng 2: CH P NH B NG WEBCAM

Đây là khâu quan trọng nhất c a hệ thống b i vì nếu nh chụp bị m hay nhiễu

thì khi đưa vào nh n d ng sẽ không được. Để chụp nh thì ta có thể sử dụng camera

hoặc WebCam. Khi lựa chọn thiết bị thì ta cần quan tâm tới các thông số quyết định

tới chất lượng nh như:

Đ phân gi i ( resolution)

Độ phân gi i càng lớn thì chất lượng hình nh càng nét. Thư ng thì trong các

ng dụng không cần thiết ph i quan sát th t rõ nét thì độ phân gi i 420 TV Lines là

hoàn toàn có thể chấp nh n được.

S đi m nh ( CCD Total Pixels )

Thông số này nói lên chất lượng hình nh, số điểm nh càng lớn thì chất lưọng

hình nh càng tốt, tuy nhiên, chất lượng hình nh càng tốt thì cũng đồng nghĩa với

dung lưọng nh càng lớn, và sẽ tốn bộ nhớ lưu trữ cũng như nh hưỏng đến tốc độ

đư ng truyền.

Đi u ki n ho t đ ng c a thi t b :

Cường độ ánh sáng nhỏ nhất ( Minimum Illumination ):Thư ng được tính bằng

Lux. Thông số này nói lên rằng, WebCam(Camera) chỉ có thể ho t động cư ng độ

ánh sáng lớn hơn cư ng độ ánh sáng nhỏ nhất. Trong điều kiện quá tối, nếu không

ph i là Camera có ch c năng hồng ngo i thì sẽ không ho t động được.

o Ánh n ng mặt tr i: 4000 lux, có mây: 1000lux

o Ánh sáng đèn tuýp: 500 lux, có mây: 300lux

o Ánh sáng đèn tuýp đỏ 500 lux, tr ng (300 lux) tr ng sáng 1lux

o Đêm không trăng: 0.0001 Lux

Xin chú ý đến lo i Camera quan sát có ch c năng Auto Iris (Tự động

hiệu chỉnh ánh sáng). Đặc điểm c a Camera lo i này là chỉ với 1 nguồn

sáng nhỏ, nó có thể tự động khuyếch đ i nguồn sáng đó lên để có thể

quan sát được.

6

Nguồn cung cấp ( Power Supply ): Hiện nay đa số các WebCam đều sử dụng

nguồn máy tính(Laptop),Camera quan sát đều dùng lo i nguồn 12VDC, chỉ một số ít

các Camera dùng nguồn khác. Tuy nhiên, b n không ph i lo l ng đến vấn đề nguồn

12VDC, vì phần lớn các công ty bán camera quan sát đều bán bộ chuyển đổi nguồn, do

đó b n có thể sử dụng trực tiếp nguồn 220VAC.

o Operatinon Temperature: D i nhiệt độ ho t động.

o Phần lớn các Camera quan sát đều cho phép ho t động trong d i

nhiệt độ -100C ~ 500C, nếu Camera c a b n được sử dụng trong những

điều kiện kh c nghiệt như trong công nghiệp, khu vực có nhiệt độ cao thì

b n nên sử dụng các lo i Camera quan sát chuyên dụng trong công

nghiệp.

o Operational Humidity: Độ ẩm cho phép.

o Thông thư ng, độ ẩm cho phép là 90% RH (độ m tương đối)

Vì mục tiêu c a đề tài chỉ là xây dựng một mô hình về hệ thống giữ xe nên khi

thực hiện đề tài, ngư i thực hiện đã chọn WebCam làm thiết bị chụp nh

Hình 1.1: nh chụp bằng Webcam

7

Ch ơng 3: TÁCH BI N S

3.1.Tổng quan v tách bi n s :

Tách biển số là một bước rất quan trọng trong quá trình nh n d ng biển số xe.

Khối tách biển số xe được chia làm 2 giai đo n chính:

Giai đo n 1: định vị trí c a biển số trong nh chụp từ webcam.

Giai đo n 2: dùng các gi i thu t để c t biển số xe ra khỏi nh chụp và

xoay biển số xe về phương ngang.

Hình 3.1: Sơ đồ tổng quát c a khối tách biển số

Việc định vị biển số xe dựa vào các tính chất c a biển số như: hình d ng, màu

s c c a biển số so với nền. Biển số xe có hình chữ nh t với kích thước chiều dài và

rộng không thay đổi. Từ đó chúng ta có thể tìm các vùng có hình t giác trong hình,

tính tỉ lệ giữa hai chiều c a hình so với kho ng giá trị cho trước để xem thử vùng đó

có ch a biển số hay không. Ngoài ra, định vị biển số còn dựa trên màu s c c a biển số.

Hầu hết các biển số xe Việt Nam đều nền tr ng, chữ đen. Kết hợp hai tính chất trên,

chúng ta xác định được vùng ch a biển số.

Sau khi định vị biển số xe, chúng ta tiến hành c t biển số xe. Biển số xe được

c t theo 2 bước. Bước đầu tiên là c t vùng rộng hơn vùng ch a biển số. Sau đó tìm góc

nghiêng c a biển số và thực hiện xoay biển số về phương thẳng đ ng. Bước hai là c t

biển số ra khỏi vùng trên. Thực hiện việc c t biển số qua hai bước như trên làm tăng

độ chính xác, biển số được c t nguyên vẹn, không c t ph m chữ, trừ trư ng hợp nh bị

chói, độ tương ph n không đều hoặc bị che khuất thì kết qu c a việc tách biển số mới

không chính xác.

Phần tách biển số sử dụng rất nhiều gi i thu t và phương pháp xử lý đối với nh

số như sơ đồ sau đây:

8

Hình 3.2: Sơ đồ chi tiết c a khối tách biển số

3.2. Tìm vùng màu tr ng:

Vì biển số màu tr ng nên ngư i thực hiện sẽ nhị phân hóa nh bằng cách g n

giá trị cho các pixel tr ng là 1, còn ngược l i là 0. Đầu tiên, chúng ta sẽ biến đổi nh

gốc thành nh xám (có m c sáng từ 0 đến 255), sau đó nhị phân hóa với một ngưỡng

thích hợp. Nếu nh được chụp vào ban đêm hay ban ngày nhưng ít ánh sáng thì m c

ngưỡng sẽ là 120. Còn ban ngày, nhiều ánh sáng là 190.

Vấn đề đây là làm sao chúng ta nh n biết được đó là nh sáng hay nh tối?

Ngư i thực hiện đã dựa vào lược đồ m c xám ( histogram – tần số xuất hiện c a m c

xám ) c a nh [8]. Nếu tần số xuất hiện các pixel có giá trị <64 thì đó là nh tối, ngược

l i là nh sáng.

9

Ví dụ cho hai nh gốc có biển số như sau:

Hình 3.3: nh tối và nh sáng

nh sau khi nhị phân hóa sẽ như sau:

Hình 3.4: nh sau khi nhị phân

Đây là sơ đồ thu t gi i c a bước tìm và tách vùng màu tr ng:

10

Hình 3.5: Sơ đồ thu t gi i tìm và tách vùng màu tr ng

3.3.Xác đ nh vùng ch a bi n s :

nh nh n được sau khi nhị phân hóa sẽ có nhiều vùng màu tr ng, và biển số sẽ

nằm trong vùng màu tr ng thỏa điều kiện:

0.75 < chiều cao / chiều ngang < 0.91

16000 ≤ S_pixel_tr ng ≤ 61000

≤ S_pixel_tr ng / S_biển số ≤ 0.7

Với:

Chiều cao là H { H = start(i).Boundingbox(4) }

Chiều ngang là W { W = start(i).Boundingbox(3) }

Diện tích vùng tr ng là S_pixel_tr ng { S_pixel_tr ng = start(i).Area }

Diện tích biển số là S_biển số { S_biển số = W × H }

11

Tỉ số 2 kích thước c a biển số là 0.75 nhưng khi bị nghiêng thì là 0.91

Hình 3.6: Hình d ng biển số khi bị nghiêng

Sau điều kiện th nhất, sẽ có những vùng tr ng không ch a biển số nhưng có tỉ

số giữa chiều cao và chiều ngang phù hợp thì vẫn được chọn. Ta sẽ lo i bỏ những

vùng này bằng điều kiện th hai – diện tích vùng tr ng. Vì kho ng cách từ webcam tới

xe cố định (ta lấy trước kho ng cách chụp ) nên số lượng pixel tr ng ch a trong biển

số cố định.

Đối với điều kiện th ba, nếu biển số nằm ngay ng n thì tỉ số là 0.7 còn nếu

biển số bị nghiêng, sẽ xuất hiện pixel đen nên tỉ số này gi m còn 0.38.

Hình 3.7: Biển số sau khi nhị phân

3.4.C t vùng ch a bi n s :

Sau khi xác định được vùng nào ch a biển số, ta tiến hành c t biển số trên nh

màu RBG. Do sự tương đồng c a nh nhị phân và nh màu RBG nên to độ một pixel

trên nh nhị phân tương ng tọa độ trên nh màu RBG. Do đó khi xác định được tọa

độ trên nh nhị phân, ta dùng tọa độ này để c t trên nh màu RBG.

12

Khi ta c t biển số ra khỏi nh mà biển số bị nghiêng thì ta tiến hành c t theo

hình chữ nh t lớn hơn hình chữ nh t lớn thực sự một lượng biên an toàn để tránh việc

mất thông tin biển số.

Hình 3.8: Hình thể hiện vùng nh cần tách ra với biên an toàn

Trong chương trình, ngư i thực hiện chọn vùng biên an toàn là 30 pixel.

Trong bước này, ta không c t biển số ra khỏi nh ngay mà chỉ c t vùng ch a

biển số. Việc c t này có thể xem như là c t thô.

Hình 3.9: nh chụp ban đầu

Hình 3.10: nh sau khi c t thô

13

đây, chúng ta có thể thấy các điều kiện trên chưa chặt chẽ, vì v y ta lưu tất c

các thông số “ x, y, W, H ” c a vùng ch a biển số vào biến “ r ”.

Và sau đây là thu t gi i c a bước xác định vùng ch a biển số và c t thô:

Hình 3.11: Sơ đồ thu t gi i c a bước xác định vùng ch a biển số và c t thô

14

3.5. Tìm góc nghiêng và xoay:

3.5.1. Bi n đổi Radon:

3.5.1.1. Tổng quan v bi n đổi Radon:

Dùng để biến đổi các nh trong không gian 2 chiều với các đư ng thẳng thành

miền Radon, trong đó mỗi đư ng thẳng trong nh sẽ cho 1 điểm trong miền Radon.

Công th c toán học c a biến đổi Radon:

( ) ( )∫+∞∞− +−= dsssAR θθρθθρρθ cossin,sincos,

Phương trình trên biểu diễn việc lấy tích phân dọc theo đư ng thẳng s trên nh,

trong đó ρ là kho ng cách c a đư ng thẳng so với gốc tọa đô O, và θ là góc lệch so với

phương ngang.

Hình 3.12: Phương pháp biến đổi Radon

Trong xử lý nh số, biến đổi Radon tính toán hình chiếu c a ma tr n nh dọc

theo 1 hướng xác định. Hình chiếu c a 1 hàm số 2 chiều là f(x,y) la t p hợp các tích

phân đư ng. Hàm Radon tính toán tích phân đư ng dọc theo các tia song song theo

các phương khác nhau ( bằng cách xoay hệ trục tọa độ xung quanh O theo các giá trị θ

khác nhau ), chiều rộng c a các tia là 1 pixel. Hình dưới đây biểu diễn 1 hình chiếu

đơn gi n theo 1 giá trị c a góc θ .

Hình 3.13: Hình chiếu đơn gi n theo góc θ

15

Công th c tổng quát trên có thể viết l i như sau:

∫∞∞− +−= ')cos'sin',sin'cos'( dyyxyxfR θθθθθ

Với ⎥⎦⎤⎢⎣

⎡⎥⎦⎤⎢⎣

⎡−=⎥⎦

⎤⎢⎣⎡

y

x

y

x

θθθθ

cossin

sincos

'

'

Hình sau sẽ biễu diễn phương pháp biến đổi Radon dưới d ng hình học:

Hình 3.13: Phương pháp biến đổi Radon dưới d ng hình học

3.5.1.2. Các b c th c hi n:

a. Biến đổi nh về nh nhị phân.