42

Click here to load reader

ردیابی شی در تصاویر ویدیویی

  • Upload
    walter

  • View
    427

  • Download
    0

Embed Size (px)

DESCRIPTION

ردیابی شی در تصاویر ویدیویی. با استفاده از ویژگی های رنگ و بافت و شبکه های توابع اساسی شعاعی. استاد راهنما: دکتر کرمی استاد مشاور: دکتر بالغی ارائه دهنده: علیرضا اسودی. دانشگاه صنعتی نوشیروانی بابل شهریور 91. فهرست مطالب:. مقدمه. مروری بر پیشینه ی تحقیق. روش پیشنهادی. نتایج و پیشنهادات. - PowerPoint PPT Presentation

Citation preview

Page 1: ردیابی شی در تصاویر ویدیویی

1

ردیابی شی در تصاویر ویدیوییبا استفاده از ویژگی های رنگ و بافت و شبکه های

توابع اساسی شعاعی

استاد راهنما: دکتر کرمی

استاد مشاور: دکتر بالغی

ارائه دهنده: علیرضا اسودی

دانشگاه صنعتی نوشیروانی بابل

91 شهریور

Page 2: ردیابی شی در تصاویر ویدیویی

2

فهرست مطالب:

مقدمه

مروری بر پیشینه ی تحقیق

روش پیشنهادی

نتایج و پیشنهادات

Page 3: ردیابی شی در تصاویر ویدیویی

3

تخمین مسیر حرکت یک شی وقتی که شی در صحنه حرکت می کند.

ردیابی شی:

بازشناسی براساس حرکت

نظارت خودکار

نمایه گذاری فایل های ویدیویی

ارتباطات متقابل انسان و رایانه

نظارت ترافیکی

هدایت وسایل نقلیه

کاربردها:

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

Page 4: ردیابی شی در تصاویر ویدیویی

4

:طبقه بندی روش های ردیابی

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

Page 5: ردیابی شی در تصاویر ویدیویی

5

ردیابی نقاط

ردیابی براساس هسته

روش تفریق زمینهردیابی سیاه نما

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

http://www.robots.ox.ac.uk/~ab/dynamics.htmlhttp://www.umiacs.umd.edu/~knkim/research/BGS/bgs.htm

http://staff.science.uva.nl/~vnedovic/MMIR2004/meanShift.html

J. Yan, M. Pollefeys, A factorization

approach to articulated motion recovery,CVPR, 2005.

Page 6: ردیابی شی در تصاویر ویدیویی

6

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

ردیابی نقاط:

مزایا:در اسQتفاده مورد جنبش کاربردهQای یQافتن و شناسQی هندسQQی وضQQعیت

شی

ضعف ها:تطQQبیق پیچیQQدگی فQQریم در نقQQاط متQQQQوالی هQQQQای بخصQوص در هنگQام و پوشQQQQQیدگی یQافتن در نQاتوانی دقیQQق ی ناحیQQه

شی

تفریق زمینه:

مزایا:و سQرعت سادگی

باال

ضعف ها:در ناکارآمQQQQدی دوربین بQا ردیQابی وجQQود متحQQرک، زمینQه در حرکQات تغیQQQQQQیرات و در روشQQQQQنایی

تصویر

ردیابی سیاه نما:

مزایا:اشQیا کQردن مدل غیرصQلب و اشQیا بQا شQکل هQای پیچیQده، ی ناحیQQه یQQافتن

دقیق شی

ضعف ها:کاهش عملکQرد در زمينQه پس حضQور لبQه وجQود شQلوغ، هQاي قQوي در پس زمينQه و پوشQیدگی

توسط زمینه

ردیابی براساس هسته:

مزایا:قQدرت و مقQاومت نسQبتا زیQاد در مQدل و اشQQQیا کQQQردن عملکQرد مناسQب در پوشQQیدگی برابQQر

های جزیی

ضعف ها:شQQQQQQQدن وارد اطالعQات زمینQه در مQدل شQی و نQاتوانی ی ناحیQه یQافتن در در شQQQی دقیQQQق ی هQا روش اغلب

این دسته

Page 7: ردیابی شی در تصاویر ویدیویی

7

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

بررسی روش های ردیابی مرتبط:

تطابق قالب یک رویکرد جستجوی سراسری در تصویر برای یافتن یک ناحیه ی مشابه با قالب شی است.

سه نمونه از معیارهای شباهت متداول عبارتند از: (SAD)مجموع قدرمطلق تفاضالت

(SSD)مجموع مربعات تفاضالت (NCC)همبستگی تقاطعی نرمالیزه شده

normxcorr2

مزایا:مکQانی اطالعQات داشQتن بQر در

پیکسل های شی.

ضعف ها:ی زاویQه تغیQیر بعلت ناکارآمQدی

شی.)مشQQکل قQQالب رسQQانی بروز

لغزش(.ناتوانی در مQدل کQردن دقیQق شQی و وارد شQدن اطالعQات زمینQه در مQدل

شی.

Page 8: ردیابی شی در تصاویر ویدیویی

8

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

بجQای قQالب می تQوان از ویQژگی هQا مسQتقیم پیکسQل هQا )ماننQد رنQگ( بQرای مQدل کQردن و اغلب در کQQرد. اسQQتفاده شQQی ردیQQابی رویکردهQای این دسQته تنهQا از ویQژگی رنQگ بQرای ردیQابی اسQتفاده شQده اسQت و بجQای ی پروسQه از سراسQری جسQتجوی انجQام شQی یQابی مکQان بQرای میQانگین جابجQایی

استفاده می شود.

مزایا:کQQل سراسQQری جسQQتجوی حذف

تصویر.

ضعف ها:نیQاز دارد کQه در فQریم بعQدی حQداقل ی ناحیQه درون شQی از قسQمتی

اولیه باشد.ناتوانی در مQدل کQردن دقیQق شQی و وارد شQدن اطالعQات زمینQه در مQدل این هQQای روش اغلب در شQQی

دسته.اسQتفاده از ویQژگی رنQگ بQه تنهQایی بQه ردیQاب کQه شQود می بQاعث آسQانی بQه اشQیا مجQاور شQی اصQلی منحQرف آن هسQتند بQا همرنQگ کQه

شود.از اسQQتفاده هQQQای محQQQدودیت هیسQتوگرام هQا در روش هQایی کQه کننQد می اسQتفاده هیسQتوگرام از ماننQد محQدودیت در تعQداد ویQژگی هQا

بعلت بروز مشکل نحوست ابعاد.

b

u 1

Bhattacharya coefficien u Qt P u

Page 9: ردیابی شی در تصاویر ویدیویی

9

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

یکی از مشQکالت اسQتفاده از قQالب شQی این اسQت کQه اطالعQات ظQاهر شQی را تنهQا از یQک زاویQه ی دیQد در خQود دارد بQرای غلبQه بQر این مشQکل نماهQای مختلQف شQی از قبQل می توانQد بصQورت آفالین بQه یQک شQبکه آمQوزش پQذیر یQاد داده شQود و بQرای ردیQابی مQورد اسQتفاده قQرار

گیرد.

مزایا:ردیQQابی روش مشQQکل حذف قQالب در مQدل کQردن شQی تنهQا

ازیک زاویه ی دید.

ضعف ها:یQادگیری ی پروسQQه بQه نیQQاز

بصورت آفالین.ردیQابی هQدف بQه بQودن محQدود

از پیش آموزش داده شده.

Page 10: ردیابی شی در تصاویر ویدیویی

10

:انتخاب نواحی شی و زمینه

درجه اشباع

درجه روشنايي

طول موج

میانگین

واریانس

دامنه تغییرات

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

L L

2i 1 j 1

1μ P)i, j(

L

L L

2 22

i 1 j 1

1σ )P i, j μ(

L

R max P i, j min P)i, j(

Page 11: ردیابی شی در تصاویر ویدیویی

11

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

جدا سازی شی از زمینه:

2ki

i 2i 1 i

|| U μy α

||exp

kY φ α

1 1 1 1 K K K 1

K

1 1 1 n K K K n

φ )μ ,σ , U ( φ )μ ,σ , U (

φ )μ,σ, U(

φ )μ ,σ , U ( φ )μ ,σ , U (

Kα φ T T 1 TK K K Kφ )φ φ ( φ

ماتریس خروجی الیه ی نهان

، امین خروجی شبکه عصبی تابع اساسی شعاعی است.

iiαi

وزن بین نرون خروجی و امین نرون گوسی است.

y

Σ

Σ

U

φ

Y

α شQQبکه آمQQوزش توابQQQع عصQQQبی شQعاعی اساسQی مQQاتریس بQQروش

شبه معکوس:

Page 12: ردیابی شی در تصاویر ویدیویی

12

Σ

Σ

Σ

Σ

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

آموزششبکه عصبی

Kφ T

Kα φ T T 1 TK K K Kφ )φ φ ( φ

Page 13: ردیابی شی در تصاویر ویدیویی

13

Σ

Σ

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

آزمایش شبکه عصبی

kY φ α

Page 14: ردیابی شی در تصاویر ویدیویی

14

00.2

0.40.6

0.81

0

0.5

10

0.2

0.4

0.6

0.8

1

HueSaturation

Val

ue

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

مرز تصمیم حاصل از شبکه عصبی اول:

هQQQQای ویQQQQژگی تشQخیص داده شQده بQQا شQQی بعنQQوان رنQگ سQبز و ویQژگی داده تشQخیص هQای بعنQوان زمینQه شQده قرمQQز رنQQگ بQQا شQده داده نمQایش

اند.

00.2

0.40.6

0.81

0

0.5

10

0.2

0.4

0.6

0.8

1

HueSaturation

Val

ue

:ویژگی های شی و زمینه

Page 15: ردیابی شی در تصاویر ویدیویی

15

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

نتیجه ردیابی بدون گسترش زمینه برای شی نمونه:

Page 16: ردیابی شی در تصاویر ویدیویی

16

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

00.2

0.40.6

0.81

0

0.5

10

0.2

0.4

0.6

0.8

1

HueSaturation

Valu

e

00.2

0.40.6

0.81

0

0.5

10

0.2

0.4

0.6

0.8

1

HueSaturation

Val

ue

تQا تعQداد نیمی از ویQژگی هQای زمینQه عملیQات زیQر را تکQرار 1 از . شQروع: بQرای 1کن.

تQا انQدازه ی بQردار ویQژگی انتخQاب 1. یQک عQدد طQبیعی بطQور تصQادفی بQا مقQداری بین 2کن.

. این عدد را با اعداد دیگر مقایسه کن:3 اگر عدد تکراری بود پرچم را صفر کن. اگر عدد تکراری نبود پرچم را یک کن.

. تQا هنگQامی کQه پQرچم یQک اسQت و بQردار هQدف متنQاظر بQا آن عQدد یQک اسQت عمQل 4زیر را انجام بده:

تQا انQدازه ی بQردار 1 یQک عQدد طQبیعی دیگQر بطQور تصQادفی بQا مقQداری بین ویژگی انتخاب کن.

این عدد را با اعداد دیگر مقایسه کن: اگر عدد تکراری بود پرچم را صفر کن. اگر عدد تکراری نبود پرچم را یک کن.

گام چهارم را تا زمانی انجام بده که پرچم صفر گردد.. این عQدد را بعنQوان عQدد تصQادفی غQیر تکQراری ام در نظQر بگQیر و بQرای محاسQبه 5

برو.1 ( به گام ی عددی بعدی )

i

ii i 1

گسترش زمینه

:الگوریتم گسترش زمینه

ویQژگی هQای تشQخیص داده شQده بعنQوان :گسترش زمینهشQی بQا رنQگ سQبز و ویQژگی هQای تشQخیص قرمQز رنQگ بQا زمینQه بعنQوان شQده داده

نمایش داده شده اند.

Page 17: ردیابی شی در تصاویر ویدیویی

17

00.2

0.40.6

0.81

0

0.5

10

0.2

0.4

0.6

0.8

1

HueSaturation

Valu

e

ΣΣ

Σ

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

Page 18: ردیابی شی در تصاویر ویدیویی

18

Σ

00.2

0.40.6

0.81

0

0.5

10

0.2

0.4

0.6

0.8

1

Val

ue

HueSaturation

همه ی نقاطفضای ویژگی

00.2

0.40.6

0.81

0

0.5

10

0.2

0.4

0.6

0.8

1

HueSaturation

Val

ue

00.2

0.40.6

0.81

0

0.5

10

0.2

0.4

0.6

0.8

1

HueSaturation

Val

ue

00.2

0.40.6

0.81

0

0.5

10

0.2

0.4

0.6

0.8

1

HueSaturation

Val

ue

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

ویژگی های شی و زمینه مرز تصمیم شبکه عصبی اول مرز تصمیم شبکه عصبی دوم

Page 19: ردیابی شی در تصاویر ویدیویی

19

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

N

i ii 1new N

ii 1

)I X (X

I

N

i ii 1new N

ii 1

)I Y (Y

I

مکان یابی شی در فریم های بعدی:

Page 20: ردیابی شی در تصاویر ویدیویی

20

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

N

ii 1I

Area RatioN

جبران سازی تغییرات در اندازه ی شی:

Page 21: ردیابی شی در تصاویر ویدیویی

21

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

جبران سازی تغییرات در مدل شی:

MNji j 1i 1

IISeparation Ratio

N M

Page 22: ردیابی شی در تصاویر ویدیویی

22

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

:پایگاه های داده ی مورد استفاده شامل

مسیر حرکت بدست آمده از روش پیشنهادی با روش های تطابق قالب ( و جابجایی میانگین مقایسه شد.NCC)بروش

که شامل سناریو هایی از حرکات انسان ها و اتومبیل ها با دوربین ثابت است. PETS 2000پایگاه داده ی

که شامل سناریو هایی از حرکات انسان ها و اتومبیل ها با دوربین ثابت است.PETS 2001 پایگاه داده ی

شامل حرکات انسان ها در مکان های عمومی با دوربین ثابت است. CAVIARپایگاه داده ی

شامل سناریو هایی از حرکات اتومبیل ها است که بصورت هوایی و با دوربین متحرک VIVIDپایگاه داده ی در حالت های رنگی یا مادون قرمز فیلمبرداری شده است.

روش پیشنهادی توسط مستطیل صلب با رنگ قرمز، روش تطابق قالب توسط مستطیل سبز خط- نقطه، روش جابجایی میانگین با مستطیل صورتی

خط چین نمایش داده شده است.

Page 23: ردیابی شی در تصاویر ویدیویی

23

860 880 900 920 940 960 980 1000 1020 1040 10600

50

100

150

200

250

300

350

400

450

Frame Number

Euclid

ean D

ista

nce

Proposed

NCCMean Shift

نام روش میانگین خطا در طول ردیابی

)به پیکسل(روش پیشنهادی 10.01

تطابق قالب 10.06جابجایی میانگین

70.31

روش پیشنهادی توسط مستطیل صلب با رنگ قرمزروش تطابق قالب توسط مستطیل سبز خط- نقطه روش جابجایی میانگین با مستطیل صورتی خط چین

نمایش داده شده است.

نمایش دقت ردیابی روش پیشنهادی )خط صلب با رنگ قرمز(

روش تطابق قالب )خط- نقطه با رنگ سبز( جابجایی میانگین )خط چین صورتی(

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

تغییرات زمینه ی اطراف شی و پوشیدگی جزیی:

Page 24: ردیابی شی در تصاویر ویدیویی

24

130 140 150 160 170 180 190 200 210 220 2300

50

100

150

200

250

300

350

400

450

Frame Number

Euc

lidea

n D

ista

nce

Proposed

NCCMean Shift

نام روش میانگین خطا در طول ردیابی )به پیکسل(

روش پیشنهادی 8.00تطابق قالب 159.79جابجایی میانگین

21.15

روش پیشنهادی توسط مستطیل صلب با رنگ قرمزروش تطابق قالب توسط مستطیل سبز خط- نقطه روش جابجایی میانگین با مستطیل صورتی خط چین

نمایش داده شده است.

نمایش دقت ردیابی روش پیشنهادی )خط صلب با رنگ قرمز(

روش تطابق قالب )خط- نقطه با رنگ سبز( جابجایی میانگین )خط چین صورتی(

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

تغییرات در اندازه ی شی:

Page 25: ردیابی شی در تصاویر ویدیویی

25

نام روش میانگین خطا در طول ردیابی )به پیکسل(

روش پیشنهادی 11.84تطابق قالب 116.12جابجایی میانگین

98.34

روش پیشنهادی توسط مستطیل صلب با رنگ قرمزروش تطابق قالب توسط مستطیل سبز خط- نقطه روش جابجایی میانگین با مستطیل صورتی خط چین

نمایش داده شده است.

نمایش دقت ردیابی روش پیشنهادی )خط صلب با رنگ قرمز(

روش تطابق قالب )خط- نقطه با رنگ سبز( جابجایی میانگین )خط چین صورتی(

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

20 40 60 80 100 120 140 160 180 2000

50

100

150

200

250

300

350

400

450

Frame Number

Euclid

ean D

ista

nce

بروز رسانی مدل شی و زمینه:

Page 26: ردیابی شی در تصاویر ویدیویی

26

نام روش میانگین خطا در طول ردیابی )به پیکسل(

روش پیشنهادی 15.14تطابق قالب 107.07جابجایی میانگین

70.79

روش پیشنهادی توسط مستطیل صلب با رنگ قرمزروش تطابق قالب توسط مستطیل سبز خط- نقطه روش جابجایی میانگین با مستطیل صورتی خط چین

نمایش داده شده است.

نمایش دقت ردیابی روش پیشنهادی )خط صلب با رنگ قرمز(

روش تطابق قالب )خط- نقطه با رنگ سبز( جابجایی میانگین )خط چین صورتی(

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

شباهت زیاد رنگ شی و زمینه:

20 40 60 80 100 120 140 160 1800

50

100

150

200

250

300

350

400

Frame Number

Euc

lidea

n D

ista

nce

Proposed

NCCMean Shift

Page 27: ردیابی شی در تصاویر ویدیویی

27

نام روش میانگین خطا در طول ردیابی )به پیکسل(

روش پیشنهادی 5.92تطابق قالب 58.62جابجایی میانگین

3.65

روش پیشنهادی توسط مستطیل صلب با رنگ قرمزروش تطابق قالب توسط مستطیل سبز خط- نقطه روش جابجایی میانگین با مستطیل صورتی خط چین

نمایش داده شده است.

نمایش دقت ردیابی روش پیشنهادی )خط صلب با رنگ قرمز(

روش تطابق قالب )خط- نقطه با رنگ سبز( جابجایی میانگین )خط چین صورتی(

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

دوربین متحرک:

50 100 150 200 250 300 350 4000

20

40

60

80

100

120

140

160

180

200

Frame Number

Euc

lidea

n D

ista

nce

Proposed

NCC

Mean Shift

Page 28: ردیابی شی در تصاویر ویدیویی

28

نام روش میانگین خطا در طول ردیابی )به پیکسل(

روش پیشنهادی 4.94تطابق قالب 127.15جابجایی میانگین

38.04

روش پیشنهادی توسط مستطیل صلب با رنگ قرمزروش تطابق قالب توسط مستطیل سبز خط- نقطه روش جابجایی میانگین با مستطیل صورتی خط چین

نمایش داده شده است.

نمایش دقت ردیابی روش پیشنهادی )خط صلب با رنگ قرمز(

روش تطابق قالب )خط- نقطه با رنگ سبز( جابجایی میانگین )خط چین صورتی(

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

دوربین متحرک همراه با تغییرات روشنایی:

50 100 150 200 250 300 3500

50

100

150

200

250

300

350

400

Frame Number

Euclid

ean D

ista

nce

Proposed

NCCMean Shift

Page 29: ردیابی شی در تصاویر ویدیویی

29

نام روش میانگین خطا در طول ردیابی )به پیکسل(

روش پیشنهادی 7.21تطابق قالب 90.49جابجایی میانگین

95.48

روش پیشنهادی توسط مستطیل صلب با رنگ قرمزروش تطابق قالب توسط مستطیل سبز خط- نقطه روش جابجایی میانگین با مستطیل صورتی خط چین

نمایش داده شده است.

نمایش دقت ردیابی روش پیشنهادی )خط صلب با رنگ قرمز(

روش تطابق قالب )خط- نقطه با رنگ سبز( جابجایی میانگین )خط چین صورتی(

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

دوربین مادون قرمز متحرک همراه با تغییرات روشنایی:

50 100 150 200 250 300 3500

20

40

60

80

100

120

140

160

180

200

Frame Number

Euc

lidea

n D

ista

nce

Proposed

NCCMean Shift

Page 30: ردیابی شی در تصاویر ویدیویی

30

روش پیشنهادی توسط مستطیل صلب با رنگ قرمز، روش تطابق قالب توسط مستطیل سبز

خط- نقطه و روش جابجایی میانگین با مستطیل صورتی خط چین نمایش داده شده است.

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

ردیابی در دنباله تصاویر نویزی:

20 40 60 80 100 120 1400

50

100

150

200

250

300

350

400

Frame Number

Euc

lidea

n D

ista

nce

Proposed

NCCMean Shift

نام روش میانگین خطا برای نویز

گوسین

میانگین خطا برای نویز فلفل

نمکیروش پیشنهادی 6.89 6.44

تطابق قالب 10.21 24.37جابجایی میانگین

193.75 177.62

Page 31: ردیابی شی در تصاویر ویدیویی

31

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

Page 32: ردیابی شی در تصاویر ویدیویی

32

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

بررسی و مقایسه ی سرعت الگوریتم:

بخش های الگوریتم / فریم فریم اول )ثانیه(

فریم های بعدی )ثانیه(

استخراج ویژگی 0.32 0.32آموزش و آزمایش شبکه عصبی

اول )هر نرون(0.08 -

گسترش زمینه 0.64 -آموزش شبکه عصبی دوم )هر

نرون(0.10 -

آزمایش شبکه عصبی دوم )هر نرون(

- 0.07

نام روش زمان پردازش هر فریم )به ثانیه(

روش پیشنهادی 1.56تطابق قالب )بروش

NCC)0.52

جابجایی میانگین 0.61

سرعت الگوریتم بسیار وابسته به نحوه ی پیاده سازی الگوریتم

GHz 2 که آزمایشات توسط یک کامپیوتر با پردازشگر دو هسته ای 25* 40زمان الزم برای یک شی انتخاب شده با ابعاد انجام گرفت.b2008 MATLAB و تحت GB 1با حافظه

با فرض استفاده از ساختار موازی برای پیاده سازی شبکه عصبی زمان الزم برای تکرار برای جابجایی میانگین( برابر 4زمان الزم برای فریم های بعدی )با فرض ثانیه است.1.14پردازش فریم اول

ثانیه خواهد بود.1.56

زمان پردازش بدست آمده برای هر فریم برای روش پیشنهادی، روش تطابق قالب و جابجایی میانگین.

Page 33: ردیابی شی در تصاویر ویدیویی

33

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

ضعف ها:

بعQدی حQداقل فQریم در کQه دارد نیQاز قسQمتی از شQی درون ناحیQه ی اولیQه

باشدناتوانی در ردیQابی شQی در پوشQیدگی

های کلیمکQانی اطالعQات از اسQتفاده عدم

پیکسل های شیناتوانی در یQافتن ناحیQه ی دقیQق شQی

در حضور پس زمينه شلوغدارای حجم محاسQباتی نسQبتا بQاالتر و کنQدتر بQودن بعلت اسQتفاده از ویQژگی

های بافت

مزایا:

امکQان اسQتفاده از ویQژگی هQای متعQدد و کنQار گذاشQتن محQدودیت هQای روش

های براساس هیستوگرام هاجداسQازی شQی از زمینQه و مQدل کQردن دقیQق شQی و حQذف اطالعQات زمینQه از

مدل شیبQا شQی دقیQق نسQبتا ی ناحیQه یافتن وجQود متحQرک بQودن دوربین در زمينQه

های سادهیQQادگیری ی پروسQQه بQQه نیQQاز عدم

بصورت آفالینعدم نیQاز بQه جسQتجوی سراسQری کQل

تصویردر تغیQیرات سQازی جQبران توانQایی

اندازه ی شیدر تغیQیرات سQازی جQبران توانQایی زمینQه و شQی و تغیQیرات در روشQنایی

تصویرتوانQایی ردیQابی شQی بQا وجQود حرکQات

دوربینپوشQیدگی برابQر در عملکQرد مناسQب

های جزییعملکQرد مناسQب در دنبالQه ی تصQاویر

مادون قرمزعملکQرد مناسQب در دنبالQه ی تصQاویر

نویزی

Page 34: ردیابی شی در تصاویر ویدیویی

34

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

پیشنهادات:

یQا 1 کQالمن فیلQتر ماننQد بیQنی پیش یQک روش بQا پیشQنهادی تQرکیب روش .ردیQابی شQی در پوشQیدگی هQای کلی و حQذف فیلترهQای ذره ای بQرای توانQایی

اینکQه در فQریم بعQدی حQداقل قسQمتی از شQی درون ناحیQه ی اولیQه نیQاز بQه باشد.

. بکارگیری اطالعات مکانی پیکسل های شی2

. سQاخت شQبکه عصQبی کQه بسQته بQه انQدازه ی شQی ورودی و تعQداد و توزیQع 3رنQگ و بQافت هQای آن بطQور خودکQار تعQداد نQرون بهینQه را بQرای آن شQی تعQیین

کند.

. اسQتفاده از سQاختارهایی از شQبکه عصQبی بQا رویکQرد یQادگیری افزایشQی تQا 4مدل های مختلف شی را بصورت افزایشی در طول ردیابی بیاموزد.

Page 35: ردیابی شی در تصاویر ویدیویی

35

2. A. Asvadi, M. Karami-Mollaie, Y. Baleghi, “Object Tracking Using Adaptive Object Color Modeling,” in: Proceedings of 4th conference on information and knowledge technology )IKT2012(, May 2012.

3. A. Asvadi, M. Karami-Mollaie, Y. Baleghi, H. Seyyedi-Andi, “Improved Object Tracking Using Radial Basis Function Neural Networks,” in: Proceedings of 7th Iranian Machine Vision and Image Processing )MVIP2011(, November 2011, IEEE indexed. (Selected as a top 16 English papers of MVIP2011)

1. A. Asvadi, M. Karami-Mollaie, Y. Baleghi, “Efficient Object Tracking Using Optimized K-means Segmentation and Radial Basis Function Neural Networks,” International Journal of Information and Communication Technology )IJICT Journal(, June 2012.

:مقاالت استخراج شده از پایان نامه

:مقاالت مجله

:مقاالت کنفرانسی

Page 36: ردیابی شی در تصاویر ویدیویی

با تشکر از توجه شما

Page 37: ردیابی شی در تصاویر ویدیویی

37

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

پارامتر های شبکه عصبی توابع اساسی شعاعی اول:

وزن های بین الیه ی میانی و الیه ی خروجی•نوع تابع فعالساز•مراکز توابع فعالساز•شعاع مراکز توابع فعالساز•تعداد نرون های الیه ی میانی•

0

5

10

15 05

1015

20

0.65

0.7

0.75

0.8

0.85

Number of NeuronsWindow Size

Det

ectio

n R

ate

0.64

0.66

0.68

0.7

0.72

0.74

0.76

0.78

0.8

0.82

0.84

نرون/پنجره

3 *3 5 *5 7 *7 9 *9 11 *11

13 *13

15 *15

2 0.8168

0.7954

0.7707

0.7648

0.7727

0.7317

0.6997

3 0.8183

0.7892

0.8037

0.7905

0.7646

0.7476

0.7366

4 0.8291

0.8148

0.8065

0.7856

0.7818

0.7577

0.7495

5 0.8467

0.8254

0.8119

0.7959

0.7799

0.7652

0.7517

6 0.8433

0.8274

0.8160

0.8005

0.7845

0.7668

0.7580

7 0.8446

0.8259

0.8168

0.8007

0.7832

0.7698

0.7588

8 0.8414

0.8283

0.8152

0.8012

0.7841

0.7726

0.7596

9 0.8398

0.8265

0.8155

0.7997

0.7844

0.7743

0.7596

10 0.8333

0.8255

0.8137

0.7985

0.7824

0.7710

0.7587

Page 38: ردیابی شی در تصاویر ویدیویی

38

00.2

0.40.6

0.81

0

0.5

10

0.2

0.4

0.6

0.8

1

HueSaturation

Val

ue

ویژگی ها و تابع هدف بکار رفته در آموزش شبکه عصبی:

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

بQQا متنQQاظر هQQای ویQQژگی مقQادیر یQک در تQابع هQدف بQا هQای ویQژگی و سQبز رنQگ متنQاظر بQا مقQادیر صQفر در قرمQز رنQگ بQا هQدف تQابع

نمایش داده شده اند.

Page 39: ردیابی شی در تصاویر ویدیویی

39

00.2

0.40.6

0.81

0

0.5

10

0.2

0.4

0.6

0.8

1

HueSaturation

Val

ue

نتیجه ی بدست آمده ازآزمایش شبکه عصبی:

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

بQQا متنQQاظر هQQای ویQQژگی مقQادیر یQک در تQابع هQدف بQا هQای ویQژگی و سQبز رنQگ متنQاظر بQا مقQادیر صQفر در قرمQز رنQگ بQا هQدف تQابع

نمایش داده شده اند.

Page 40: ردیابی شی در تصاویر ویدیویی

40

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

پارامتر های شبکه عصبی توابع اساسی شعاعی دوم:

وزن های بین الیه ی میانی و الیه ی •خروجی

نوع تابع فعالساز•مراکز توابع فعالساز•شعاع مراکز توابع فعالساز•تعداد نرون های الیه ی میانی•

05

1015

20

0

5

10

15

200.72

0.74

0.76

0.78

0.8

0.82

Background NeuronsObject Neurons

Det

ectio

n R

ate

0.74

0.75

0.76

0.77

0.78

0.79

0.8

0.81

شی/زمینه

2 4 6 8 10 12 14 16 18

2 0.7451

0.7621

0.7744

0.7874

0.7972

0.7982

0.8002

0.8028

0.8049

4 0.7581

0.7702

0.7770

0.7891

0.8027

0.8048

0.8067

0.8063

0.8067

6 0.7852

0.7910

0.7958

0.7976

0.8078

0.8085

0.8083

0.8092

0.8085

8 0.7974

0.7992

0.8012

0.8012

0.8081

0.8082

0.8087

0.8096

0.8105

10 0.8010

0.8016

0.8035

0.8058

0.8077

0.8096

0.8094

0.8119

0.8114

12 0.8029

0.8048

0.8047

0.8094

0.8106

0.8118

0.8116

0.8121

0.8137

14 0.8063

0.8074

0.8070

0.8100

0.8123

0.8131

0.8146

0.8129

0.8135

16 0.8078

0.8101

0.8094

0.8123

0.8136

0.8136

0.8139

0.8154

0.8160

18 0.8102

0.8120

0.8116

0.8132

0.8132

0.8145

0.8147

0.8154

0.8152

Page 41: ردیابی شی در تصاویر ویدیویی

41

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

00.2

0.40.6

0.81

0

0.5

10

0.2

0.4

0.6

0.8

1

HueSaturation

Valu

e

00.2

0.40.6

0.81

0

0.5

10

0.2

0.4

0.6

0.8

1

HueSaturation

Val

ue

00.2

0.40.6

0.81

0

0.5

10

0.2

0.4

0.6

0.8

1

HueSaturation

Val

ue

. نقطQه غQیر تکQراری از فضQای ویQژگی را بعنQوان مراکQز اولیQه بQرای خوشQه 1بQQQQQQQا ویQQQQQQQژگی )نقQQQQQQQاط کن. انتخQQQQQQQاب

بعد است(6 بیان شده اند که هر نقطه دارای } { ( را بQا هQر مرکQز خوشQه ) . فاصQله ی تمQام نقQاط ) 2

آن مرکQز خوشQه بQه را بQه هQر مرکQز نقQاط نزدیکQترین و ( محاسQبه کن تخصیص بده.

به بیQان اگQر آنگQاه نقطQه ی را بQه خوشQه ی ام اختصQاص بQده کQه در عبQارت بQاال مرکQز خوشQه ی ام و

مرکز خوشه ی ام است.

. از نقQاط متعلQق بQه هQر خوشQه میQانگین گQیری کن و آنQرا بعنQوان مرکQز خوشQه ی 3جدید در نظر بگیر.

به بیان دیگر هر مرکز خوشه ی جدید از رابطه ی زیر بدست می آید:

در عبQارت بQاال نقQاط مربQوط بQه خوشQه ی ام اسQت و تعQداد نقQاط ام اسQت و مرکQز خوشQه ی ام جدیQد اسQت و متعلQق بQه خوشQه ی

تعداد خوشه ها یا مراکز خوشه ها است. اگQر بQرای آن مرکQز عضQوی پیQدا نکQردی یQا اگQر مرکQزی در بین مراکQز

تکراری بود یک نقطه از فضای ویژگی را بطور تصادفی انتخاب کن و جایگزین آن مرکز کن.

. اگر مراکز تغییر نکرد متوقف شو در غیر اینصورت به گام دوم برو.4

k

k

1 2 nx , x , , x

ix ,i 1,2, , n jz , j 1,2, , k

i j i px z x z ,p 1,2, , k, j p ixj

jzjpzp

jn*j l j

j 1j

1z x , j 1,2, , k, l 1,2, , n

n

lx

jjn j

*jz

j

k

Page 42: ردیابی شی در تصاویر ویدیویی

42

نتایج و پیشنهاداتروش پیشنهادیپیشینه ی تحقیقمقدمه

موارد ردیابی اشتباه:

تاثیر انتخاب اندازه پنجره برای ردیابی شی

استفاده از تنها چهارچوب شی )و نه چهارچوب زمینه( برای محاسبه ی مرکز

ثقل شی در ترکیب با روش های پیش بینی مکان شی.

استفاده از هسته ی فاصله ای