تصوير ويديويي چهرهاحساس از روي شناسايي سيستم خبره

کبيراحسان اله، چرکري مقدملهرا، نص محرم منصوري زاده{mansoorm,charkari,kabir}@modares.ac.ir

، ايرانتهران، ۱۴۱۱۵ -۱۴۳. پ. ص،دانشگاه تربيت مدرسبخش مهندسي برق،

چکيده سيستم اينورودي. مي شودارائهي شناسايي احساس از روي تصوير ويديويي حاالت چهره در اين مقاله، سيستم خبره اي برا

اين .است فريمها يکنواخت و روشنايي که سر حرکت محسوسي نداردفرض مي شود . نماي تمام رخ چهره استفريمهاي متوالي اين و چهره مي شناسد واحدهاي حركتر قالب ، اعضاي صورت را در فريمهاي متوالي دنبال كرده و تغييرات آنها را دسيستم

شدت ظهور ، براي هر واحد حركت و احساسسيستمدر اين . مجموعه اي از احساسهاي اوليه تفسير مي كند شكلتغييرات را به ايننجاييکهآاز .مي شود استفاده ادغام حركات مشابه و حذف حركات ضعيف تميز برخي حركات ، براي مي شودكهتعريف

ظهور و رفع تناقضهاي شدت از يک احساس را از تغيير حاالت نتيجه بگيرد، تمهيداتي براي درجه بندي بيشستم ممکن است سي دانش سيستم به مديريتزيادي انعطاف استفاده از آن، نزديك استفرايند ادراک انسانبه سيستم خبره شده استهممکن انديشيد

. درصد شناسايي درست احساس همراه بوده است۸۰ ا تصوير ويديويي ب رشته۱۰۵ نتايج شناسايي روي . داده است تصوير ويديويي، رديابي، حاالت چهره، سيستم خبره، شناسايي احساس: واژگان کليدي

مقدمه .۱

از اين نظر . مهمترين ابزار ارتباط غير کالمي است، چهرهن متخصصان کامپيوتر همواره سعي کرده اند بنحوي از اي

با انجام چنين . طريق نيز ارتباط انسان و ماشين را برقرار کنندکاري، ضمن تسهيل ارتباط انسان و ماشين بويژه براي افراد ناتوان جسمي، افقهاي جديدي براي کاربرد کامپيوتر نيز

اتوماسيون فرايند آموزش، گرافيک . گشوده مي شودماريهاي کامپيوتري، بينايي روباتها، تشخيص و معالجه بي

يکي از اصول اوليه ماشيني کردن .رواني از اين جمله اندگرچه . يک فرايند، بيان کّمي نحوه انجام آن است

روانشناسان مطالعات زيادي روي نحوه ادراک انسان از حاالت چهر اشخاص انجام داده اند، تحقيقات کمي در

ن در اين ميا .زمينه بيان کّمي حرکات چهره انجام شده است براي تعريف سيستم کدگذاري٢فريزن و ١کار اکمن

1 Paul Ekman 2 Friesen

آنها با . ]۱[حرکات چهره بسيارمشهور و مورد توجه استپيچيده به يکسري حرکات اوليه، مجموعه تقسيم هر حرکت

در اين مجموعه، هر واحد . ندا هواحد حرکتها را تعريف کرد با ارائه شده، سيستم .استحرکت مستقل و غير قابل تقسيم

رديابي اتوماتيک اعضاي چهره، تغييرات آنها را کشف به و دسته بندي ١ FACSکرده و در قالب کدهاي

اين سيستم . احساسهايي با شدت ظهور معين تفسير مي کندضمن کشف چند احساس همزمان، تناقض هاي احتمالي

. پيش آمده را نيز حذف مي کنداستفاده از ، پژوهشهدف از بکارگيري سيستم خبره در اين

مدلي مناسب براي بيان نحوه ادراک انسان از حاالت چهره همچنين استقالل کنترل از دانش در سيستم خبره، . است

بعالوه مي توان با ساختار . انعطاف زيادي به آن ميدهدقوانيني مشابه قوانين استفاده شده براي شناسايي، موتور

االيش دانش را پو فرايند آموزش واستنتاج را کنترل کرده .بصورت اتوماتيک انجام داد

نگاهي کلي به ۲در بخش : ساختار بقيه مقاله چنين استآنگاه دو نمونه از . پيش زمينه موضوع خواهيم داشت

کارهايي را که از سيستم خبره براي شناسايي استفاده سيستم پيشنهادي ۳ بخشدر . اند، بررسي مي کنيم کرده

نتايج حاصل از آزمايشهاي ۴ بخش .توضيح داده مي شود . جمع بندي و نتيجه گيري را در بر دارد۵بخشو انجام شده

بررسي پيشينه. ۲شناسايي حاالت چهره، از ديرباز مورد توجه روانشناسان

يکسان بودن نحوه بروز ۱۸۷۸داروين در سال . بوده است قرن ۱حدود . احساس در چهره افراد مختلف را بررسي کرد

اکمن، مطالعه مشابهي روي افراد بدوي ۱۹۷۸ در سال ، بعد، را FACSاو در ادامه کارهايش ]. ۱[در گينه نو انجام داد

تدوين کرد و طي تحقيقات ديگري، الگوهايي براي نحوه ، FACS در ] . ۱[تغيير چهره هنگام بروز احساس تهيه کرد

هر واحد حرکت به تغييري در صورت اطالق مي شود که

1 Facial Action Coding System

مثال . ال بتنهايي قابل اجرا باشد و ثانيا قابل تقسيم نباشداوگرچه " باز کردن دهان همراه با باال انداختن ابروها"حرکت

و " باال انداختن ابرو" يکباره انجام مي گيرد، به دو حرکت تقسيم مي شود که مستقل از هم مي توانند " باز کردن دهان"

ب کارهاي شناسايي اين سيستم مبناي اغل. انجام گيرنداتوماتيک يا نيمه اتوماتيک حاالت چهره و احساس بوده

واحد حرکت را تعريف کرده FACS ۴۲ ۱ نسخه .است . مي بينيد۱ تعدادي از اين مجموعه را در جدول كه

FACS واحدهاي حرکت چهره در – ۱جدول توصيف كد .ابرو باال رفته استروني دانتهاي ۱ .ابرو باال رفته استخارجي انتهاي ۲ .ابرو پايين تر آمده است ۴ .پلک بااليي، باالتر رفته است ۵ .گونه باالتر رفته است ۶ .پلک، تنگتر شده است ۷ .بيني، چروک شده است ۹

.لب باال، باالتر رفته است ۱۰ .بيني فشرده تر شده است ۱۱ .طول لب بزرگتر شده است ۱۲ .ه استلب پايين منقبض شد ۱۶ . آمده استباالچانه ۱۷ .لبها جمع و گرد شده اند ۱۸ .طول دهان بزرگتر شده است ۲۰ . شده اندلبها بهم فشرده ۲۳ . باالتر رفته استهاگوشه لب ۲۴ .لبها از هم جدا شده اند ۲۵ .فک پايينتر آمده است ۲۶ .دهان کامال باز شده است ۲۷ .لبها مکيده شده اند ۲۸ . کمي افتاده استپلک باال ۴۱ .پلک باال افتاده است ۴۲ . بسته است كامالچشم ۴۳ . بسته است ظاهراچشم ۴۴ هنگام بروز طي تحقيقاتي دريافت ۱۹۸۸ در سال ٢رِرشِي

مشابه افراد ، تغيير حالت چهر نابينايان مادرزادي،احساس

2 Scherer

ز شناسايي اتوماتيک حاالت چهره ا ].۲[بيناي عادي است به بعد مورد توجه بوده و اغلب کارهاي انجام ۱۹۹۵سال

تحقيقاتي که در اوايل . است۹۸ تا ۹۵شده مربوط به سالهاي اين دوره انجام شده اند، سعي در اثبات يا نفي عقايد

احساس داشته شكل بروز بودنمشابه روانشناسان مبني بر ] ۴[و ] ۳[مرور مناسبي بر اين تحقيقات را مي توان در . اند

اين مقاله با موضوعنزديكتر ارتباط به دليلدر اينجا . يافتدو نمونه از کارهايي را که با استفاده از سيستمهاي خبره به

. شناسايي حاالت پرداخته اند، بررسي مي کنيم )تصاوير ثابت( ١ سيستم پانتيک.۲-۱

، ابتـدا بـا اســتفاده از نماهـاي تمـام رخ و نــيم رخ ]۵[پانتيـک محل اعضاي صورت را تشخيص داده و سپس با مقايسه آنهـا بــا حالــت عــادي شــخص، تغييــرات ايجــاد شــده را در قالــب

مـثال، احسـاس تنفـر در . شناسايي مـي کنـد FACSکدهاي و ۱۷ و ۹(يـا )۲۶و ۱۷ و ۱۰( نتيجه ظهور واحدهاي حرکت

واحـدهاي ايـن سيسـتم . ) ۱جـدول (گزارش مي شود ) ۲۶داراي ســهم مســاوي در توليــد احســاس فــرض را حرکــت

ــي ــد م ــثال، .کن ــدهاي م ــره اي ، ک ــوير چه ــر در تص و ۹ اگدر ايـن نمونـه " تنفـر " آنگاه شـدت ظهـور ،دنشناسايي شو ۲۶

و بر اساس ترکيب دوم % ۳۳ يا ۳/۱براساس ترکيب اول برابر را نتيجه بزرگتر سيستم درنهايت اين .است % ۶۶ يا ۳/۲برابر

بـدين . كنـد ميـزان ظهـور احسـاس تنفـر گـزارش مـي بعنوان ترتيب، خروجي سيستم تعـدادي احسـاس اسـت كـه واحـد

ــد . هــاي حركــت شناســايي شــده در توليــد آنهــا نقــش دارنــاره رفــع تناقضــهاي احتمــالي پانتيــك ــين احساســهاي درب ب

.است توضيحي نداده شناخته شده، )تصاوير ويديويي( ٣ و ياکوب٢ سيستم بلک۲-۲

ــاکوب ــک و ي ــاس از تصــاوير ] ۶[ بل ــايي احس بــراي شناسويــديويي، حرکــت چهــره را در نــواحي مختلــف بصــورت

مثال با استفاده از مدل نواري شکلي کـه . محلي مدل مي کنند

1 Maja Pantic 2 Black 3 Yaccoub

تنها مي تواند انحنـاي عمـودي داشـته باشـد، حرکـت لبهـا را مدلهاي يك آرايه از براي شناسايي احساس، . مدل مي کنند

هرگونـه . چهره استفاده مـي کننـد نمايش تغييرات راي تغيير ب حرکت و تغيير حاالت چهـره يـا سـر در هـر فـريم در قالـب

پـس از اسـتخراج تغييـرات . پارامترهاي مدل ظاهر مـي شـود پارامترها در هر فريم، بر اساس حـدودي کـه از چنـد نمونـه آزمايشي تهيه شده، تغييرات ناچيز و قابل اغماض حذف مـي

شـامل ميـاني سطح تغييرات در قالب تغييرات باقيمانده .شوند .شــروع، ادامــه يــا خاتمــه يــک احســاس شــناخته مــي شــوند

شناسايي احساس بر اساس ترتيب خاص ايـن تغييـرات انجـام شـروع "بايـد " شـادي "مثال براي شناسايي احساس . مي گيرد

در فريمهاي متـوالي صـعودي، "پايان خنده "و " ادامه"، " خندهبــراي تشــخيص هــر کــدام از ايــن مراحــل، . اســايي شــوندشن

حرکــات تشــکيل دهنــده آن مرحلــه بايــد همپوشــاني قابــل سيسـتم تنهـا يكـي از ايـن خروجي . مالحظه اي داشته باشند

.است % ۷۰ آن شناسايي درستدقت وبوده احساسهاي پايه پيشنهاديسيستم . ۳

] ۵[ه کـار پانتيـک سيستم پيشنهادي در اين مقاله، روشي مشـاب را بــراي شناســايي احســاس از روي تصــوير ويــديويي بکــار

در اين سيستم، ابتدا تغييـرات صـورت در فريمهـاي . گيرد ميمتوالي استخراج شده و سپس اين تغييرات در مرحلـه اول بـه

و در مرحلـه بعـد بـه احسـاس تفسـير مـي واحدهاي حركـت .دنشو استخراج تغييرات صورت.۳-۱

:نيمفرض مي ك

روشنايي فريمها يكنواخت است .۱

چرخشي نداردانتقالي يا سر حرکت .۲

در دو فريم متوالي اندک استهتغيير مکان نقط .۳

تغيير مکان نقاط دريک ناحيـه کوچـک، گروهـي .۴ است

نظير ايـن نقطـه در Pi+1 و i نقطه اي در فريم Piفرض كنيد ايي ، روشـن Pi+1آنگاه براي يافتن ). ۱شكل ( باشد i+1فريم

مقايسه كـرده و شـبيه تـرين پنجره جستجوآن را با تمام نقاط لگــوريتم هــر مجموعــه ايــن ا . نقطــه را انتخــاب مــي كنــيم

دلخواهي از نقاط يک فريم را در فريمهاي بعـدي دنبـال مـي براي استخراج تغييرات صورت ، ابتدا موقعيت هر عضو . کند

رت دستي و بـا در فريم اول بصو) ابروها، چشمها، بيني، لبها ( ماوس تعيين مـي شـود و سـپس بـا اسـتفاده از ايـن از استفاده

تغييـرات آن و الگوريتم، نقاط مربـوط بـه هـر عضـو رديـابي روش تعيين ايـن تغييـرات بـراي هـر . شود استخراج مي عضو

هاي ابـرو از مثال براي ابرو، فاصله گوشه . عضو متفاوت است عرض آنها محاسـبه هاي نظير چشم و براي لب، طول و گوشه

. مي توان ديد۱ نمونه اي از رديابي لب را در شکل .مي شود

Pi )سمت راست(و محدوده جابجايي آن ) سمت چپ(

فريم متوالي۸رديابي نقطه به نقطه لب در

)پايين(رديابي لبو ) باال(رديابي يك نقطه -۱شکل چهرهيمدلهايي براي اعضا. ۳-۲

ت نقطه اي از اعضـاي چهـره بـه اشـتباه از آنجا که ممکن اس رديابي شود و همچنين بررسي تغييرات يک عضـو در قالـب يک مدل هندسي شناخته شده آسانتر و قابل فهمتـر اسـت، از مدلهاي سهمي براي نمـايش ابروهـا، حاشـيه بـااليي و پـايين

. چشمها و لبهاي باال و پايين استفاده شده است کتشناسايي واحدهاي حر. ۳-۳

از ســه دســته ويژگــي واحــدهاي حركــتبــراي اســتخراج ويژگيهـايي از )الـف -۲شکل (دسته اول . استفاده شده است ويژگيهـايي از )ب-۲شـکل (دسـته دوم . جنس طول هستند

بيانگر تعداد نقاط لبه در بخشهاي خاصـي از وجنس فراواني

ويژگيهايي از جـنس )ج-۲شكل(آخر و دستههستندصورت .يي هستندروشنا

ــاط، ــي نق ــتخراج فراوان ــراي اس ــوريتم ب ــتفاده از الگ ــا اس بسـپس . را پيدا مي کنيم ب -۲ي نواحي شكل لبه ها ] ۷[١كَني

۳*۳افقي، عمودي يا مورب را با استفاده از فيلترهاي لبه هايچينهاي نامنظم چانه و ناحيه بـين دو چشـم . ]۸[جدا مي کنيم

اين ۴و۳و۲جدولهاي . تاج مي کنيمرا مستقيما از لبه ها استن .مشخصات را تعريف مي کنند

]۴[مشخصات طولي) الف

نواحي حاوي مشخصات فراواني) ب

نواحي حاوي مشخصات روشنايي)ج

مشخصات مختلف استفاده شده-۳شكل

1 Canny

و۴و۳ ، ۲بـر اسـاس ويژگيهـاي ذکـر شـده در جـدول هــاي ــين ــيحات همچن ــدهاي، FACS توض ــت را مــي واح حرک و f7 در نتيجه بزرگتر شدن ويژگيهـاي ۱مثال واحد . شناسيم

f8 واحدهاي تعدادي از فهرست ۵در جدول . رخ مي دهد بررسي شده در اين مقاله و ارتبـاط آنهـا بـا ايـن ويژگيهـاي

.آمده استتعريف شده

)۳شکل ( مشخصات طولي مورد استفاده – ۲جدول توضيح مشخصه کدf1 ل پاره خط طوAB از ديد ناظر(طول چشم چپ( f2 طول پاره خطFG عرض چشم چپ f3 طول پاره خطA1B1 از ديد ناظر(طول چشم راست( f4 طول پاره خطF1G1 عرض چشم راست f5 طول پاره خطAE ارتفاع گوشه خارجي ابروي چپ f6 طول پاره خطA1E1 ارتفاع گوشه خارجي ابروي راست f7 ره خط طول پاDB ارتفاع گوشه داخلي ابروي چپ f8 طول پاره خطD1B1 ارتفاع گوشه داخلي ابروي راست f9 W1 ارتفاع ابروي چپ

f10 W2 ارتفاع ابروي راست f11 طول پاره خطKL عرض دهان f12 طول پاره خطIJ طول دهان f13 طول پاره خط HH1 پهناي بيني f14 طول پاره خطKC ناحيه بين لب و بيني(االپهناي لب ب( f15 فاصلهK از IJ ارتفاع لب باال f16 فاصلهL از IJ ارتفاع لب پايين f17 طول پاره خطLM ارتفاع چانه

۴ فراواني نقاط لبه در نواحي شکل – ۳جدول

توضيح مشخصه کدf18 چينهاي افقي پيشاني ۱ميانگين نقاط لبه ستونهاي ناحيه f19 چينهاي پا کالغي بين چشمها ۲نقاط لبه در ناحيه تعداد f20 چين مورب در گونه چپ ۳تعداد نقاط لبه در ناحيه f21 چين مورب در گونه راست ۴تعداد نقاط لبه در ناحيه f22 چينهاي نا منظم چانه ۵تعداد نقاط لبه در ناحيه f23 چينهاي افقي چانه ۵ميانگين نقاط لبه ستونهاي ناحيه

۵ ميانگين روشنايي نواحي شکل ۴جدول توضيح مشخصه کد

f24 برآمدن گونه چپ ۱ناحيه f25 چپ باز يا بسته بودن چشم ۲ناحيه f26 راست باز يا بسته بودن چشم ۳ناحيه f27 برآمدن گونه راست ۴ناحيه f28 باز يا بسته شدن گوشه چپ لب ۵ناحيه f29 گوشه راست لبباز يا بسته شدن ۶ناحيه f30 باز يا بسته شدن دهان ۷ناحيه

نحوه تغيير واحدها با ويژگيها- ۵جدول

تغيير ويژگيها کد۱ f7 و f8بزرگتر مي شوند . ۲ f5 و f6بزرگتر مي شوند . ۴ )f5 , f7 ( يا)f6 , f8 (کوچکتر شده است. ۵ )f2 , f5, f7 ( يا)f4 , f6, f8 (بزرگتر شده اند. ۶ f24 يا f27 کوچکتر شده است . ۷ f2 و f4 کوچکتر شده اند . ۹ f19بزرگتر شده است . ۱۰ f14کوچکتر شده است . ۱۱ f13 کوچکتر شده است . ۱۲ f12 بزرگتر شده است و f11 کوچکتر شده است . ۱۶ f17کوچکتر شده است . ۱۷ f17کوچکتر نشده است .f22بزرگتر شده است . ۱۸ f11 ايش نيافته و افزf12 کاهش يافته است . ۲۰ f12بزرگتر شده است . ۲۳ f12 کوچکتر شده و f15 و f16بزرگتر شده اند . ۲۴ f15 و f16کوچکتر شده اند .f17کوچکتر نشده است . ۲۵ f11 بزرگتر از حد آستانه t0 و کوچکتر از t1 ١. شده است ۲۶ f11 بزرگتر از حد آستانه t1 ر از و کوچکتt2 شده است .

۲۷ f11 بزرگتر از حد آستانه t2 شده است . ۲۸ f11 کوچکتر از حد t0است .f12کوچکتر نشده است . ۴۱ f9 يا f10٢. بزرگتر شده اند ۴۲ f9 يا f10بزرگتر شده اند .f2 >0 و f4>0. ۴۳ f2=0 و f4=0

. يزان باز شدن دهان است در م۲۷ و۲۶ و ۲۵ تفاوت واحد حرکتهاي 1 . در ميزان باز بودن چشم است۴۴ تا ۴۱تفاوت واحد حرکتهاي 2

شناسايي واحدهاي حرکت۳-۲ تعريـف مـي ظهوري ، شدت در اينجا براي هر واحد حرکت

براي تفکيـک . شود که حاکي از ميزان وقوع آن واحد است ) ۱جـدول (۲۷ و ۲۶ و ۲۵برخي از واحدهاي حرکـت نظيـر

براي چشم پوشي از همچنين. استازهم به چنين معياري نياز حرکات اندک، از اين معيار بعنـوان حـد آسـتانه اي مناسـب

شواهد متعدد ظهور يك همچنين در ادغام . شوداستفاده مي بـراي اينکـه بتـوانيم از .شـود مي احساس از اين معيار استفاده

توليد قوانين استفاده مناسبي داشته هاين شدت ظهور در مرحل ) ۱(مطـابق فرمـول باشيم، شدت ظهور هـر واحـد حرکـت را

V2 شدت ظهور يـک واحـد ، Iکه در آن تعريف مي كنيم آن ين ويژگـي توليـد کننـده مقـدار پيشـ V1مقدار جديد و

. واحد است)۱( I = Min(1 , abs(V2 – V1 )/ V1 )

برخي از واحدهاي حرکت ممکن اسـت از دو منبـع مختلـف مي تواند در نتيجه حرکـت ۱مثال واحد حرکت . ايجاد شوند

در اينجا با استفاده تئوري اسـتنتاج . ابروي چپ يا راست باشد يعنـي اگـر . يمه را تقويت مي کنـ کد شناخته شد ، ]۸[احتمالي

و I1 در نتيجه حرکت ابروي چپ با شـدت ۱واحد حرکت ظاهر شده باشـد، I2در نتيجه حرکت ابروي راست با شدت

و I1 و كرده محاسبه ۲ از فرمول را ) I ( ۱شدت کلي واحد I2 كنيمحذف مي را: )۲( I= I1 + I2 – I1 * I2

ش از دو مـورد باشـد، فرمـول در مواردي که منابع ياد شده بي باال ابتدا براي دو منبع اعمال مي شود و سپس نتيجه حاصل بـا

با تکرار ايـن مرحلـه برآينـد تمـام . منبع سوم ادغام مي گردد .منابع محاسبه مي شود

در . ممکن است واحدي با شدت خيلي کم ظاهر شـده باشـد لـف اين صورت، ابتدا واحدهاي تکراري را که از منـابع مخت

ظاهر شده اند، با استفاده از روشي که در باال توضيح داديـم، آنگـاه واحـدهايي را کـه شـدت آنهـا . در هم ادغام مي کنيم

. باشد، حذف مـي کنـيم ) ۱۰/۱مثال (کمتر از يک حد خاص

ــراي شناســايي واحــد حرکــت ــانگر ۱بعنــوان نمونــه ب کــه بيانوني حرکت رو به باالي گوشه داخلي ابروهاست، از چنين ق

: استفاده مي کنيم- f7i+1 بزرگتر از f7iاست .

با شدت۱در اينصورت واحد حرکت min (1 , ( f7i+1 - f7i) / f7i )ظاهر شده است .

، ارتفاعهاي گوشه داخلي ابروي f7i+1 و f7iدر اين قانون واحـدهاي ديگـر . هسـتند i+1 و iچپ بترتيب در فريمهاي

.نين مشابهي شناخته مي شوندحرکت نيز با قوا شناسايي احساس.۳-۳

واحدهاي شناسايي شده در قسـمت قبـل را بـه در اين بخش خوشحالي، تعجب، بي ( زير مجموعه اي از احساسهاي اوليه

دراينجـا .تفسـير مـي کنـيم ) اعتنايي، تنفر، غم، خشم و ترس بـراي آمـوزش توان از برداشت اشخاص مختلف اسـتفاده ميهمچنين بـا تكيـه بـر تشـابه احساسـهاي پايـه بـين افـراد . كرد

ــه ــابق مجموع ــراي تط ــه ب ــام يافت ــات انج ــف از تحقيق مختلــا اســتفاده از .]۳[واحــدهاي حركــت و احســاس بهــره بــرد ب

ماننـد هريک از اين روشها يـا تلفيـق آنهـا مـي تـوان جـدول . را براي شناسايي احساس تدوين کرد۶ جدول

ا و واحدهاي حرکت رابطه احساس ه۶جدول

بي اعتنايي غم تعجب شادي احساس ۱+۲+۲۷ ۴+۷+۱۷ ۱+۲+۲۷ ۶+۱۲+۲۵ مثال

ترس تنفر خشم احساس ۲+۲۰+۲۵ ۴+۷+۹ ۴+۵+۳۸ مثال

بـدين معنـي کـه ابتـدا . ما از تلفيـق دو روش اسـتفاده کـرديم مجموعه اي از تصاوير را به چند نفر نشان داده و احساسي را

در . داشت مي کردنـد، جمـع آوري کـرديم که از تصوير بر عقايد افراد مختلف در مورد احساس ظاهر شـده كه مواردي

ــيلي ــار باس ــايج ک ــود، از نت ــاوت ب ــتفاده ١در تصــوير متف اساحساسهاي مختلف موجود در يک فريم بر اساس . ]۳[کرديم

1 Basili

واحدهاي حرکت موجود در آن فريم با قوانيني به شکل زير :شناسايي مي شوند

از آنجا که هر احساس مي تواند در نتيجه ظهور بيش از يـک ــد، ــا رخ داده باش ــته از ويژگيه ــدهاي دس ــام واح ــابه ادغ مش

در قالـب ر هـم ادغـام شـده و د احساسهاي تکراري ،حرکت همچنـين در .يک احساس با شـدت قـويتر ظـاهر مـي شـوند

شرايط معدودي ممکـن اسـت احساسـهاي متنـاقض در يـک قوانيني تعريـف شـده اسـت کـه در چنـين .فريم ظاهر شوند

حاالتي، احساس با شدت کمتر را حذف کـرده و تنـاقض را ، احساســهاي دانــش اوليــه مثــالي از بعنــوان .از بــين مــي بــرد

:متناقض به شکل زير تعريف شده اندContradict (Happy, Sad)

و " خوشــحال "تايــن گــزاره بــدين معنــي هســت كــه حــاال قـانوني بـه شـکل زيـر ،آنگـاه .بـا هـم ناسـازگارند " غمگـين "

. تناقضهاي احتمالي را حذف مي کند . ظاهر شده استI1 با شدت e1 احساس n در فريم - . ظاهر شده استI2 با شدت e2 احساس n در فريم -

- e1 و e2متناقض هستند . - I1 > I2

. را حذف کن e2: آنگاه نتايج آزمايش.۴

بـراي آزمــون سيســتم از مجموعـه تصــاوير ويــديويي پايگــاه Cohn-Kanade ــت ــده اس ــتفاده ش ــاه .]۱۰[ اس ــن پايگ اي

هــر بـا انــدازه خاکســتري رشـته تصــوير ۵۰۰ بــيش از شـامل اسـت کـه بصـورت دسـتي واحـدهاي نقطه ۶۴۰*۴۹۰فريم،

پايگاه دربردارنده اشـخاص بـا اين . آنها استخراج شده است هـر رشـته تصـوير . مليت، نژاد،جنس و سنهاي مختلف است

مربـوط بـه ۶ جـدول ي از احساس هاي اين پايگاه بيانگر يک بـراي پيـاده .سر شخص حرکت چنداني نـدارد . استيکنفر ــاز ــزار ســ ــرم افــ ــي از نــ ــتخراج ويژگــ ــابي و اســ ي رديــ

MATLAB6.5 و براي پياده سـازي سيسـتم خبـره ازابـزارCLIPS سخت افزار مـورد اسـتفاده، يـک . استفاده کرديم

و Intel PIV 1.6 GHZکـامپيوتر شخصـي بـا پردازنـده 256 MB حافظـــه RAM مجهـــز بـــه Microsoft

Windows XP Professionalــود ــه . بـ در مرحلـبـراي % ۱۰حد آستانه ، رشته تصوير۱۰موزش، با استفاده از آ

رشـته غيـر از ۱۰۵آنگـاه . ظهور هر واحد حرکت تعيين شـد پـردازش هـر .اب شـد انتخـ آزمـايش براي آموزشمجموعه

رشته بدون کاهش اندازه تصوير در حالتي که سيستم مراحل ثانيـه طـول ۱۰ بـه کار را روي هر فريم نشان مي داد، نزديک

۳بدون نشان دادن اين مراحل، زمـان پـردازش بـه . ي کشيد م در مرحلـه شناسـايي واحـد هـا، نتـايج .ثانيه کاهش مي يافت

در اين جـدول سـطر اول و سـتون اول . بدست آمد ۸جدول قطر اصـلي . واحدهاي حرکت بررسي شده را نشان مي دهند

ديگر اعضاي ايـن .اين جدول شناسايي درست را در بردارد در ۳مـثال عـدد . دنـ ل، شناسايي نـا درسـت را در بـر دار جدو

مـورد از ۳ بيـانگر ايـن اسـت کـه سيسـتم ۳ و ستون۲رديف . شناسايي کرده است۱ را به اشتباه واحد ۲واحدهاي حرکت

تعداد نمونه هايي از واحد ها را نشان مـي دهـد کـه Mستون تعـداد واحـدهايي را Oسـتون . سيستم آنها را نشـناخته اسـت

نشان مي دهد که بدليل داشتن شـدت ظهـوري کمتـر از حـد سـتون آخـر نيـز نـرخ .آستانه تعيـين شـده، حـذف شـده انـد

. بيان مي کنددشناسايي درست را برحسب درص بـر (۱۷بررسي اين جدول نشان مي دهد که واحـد حرکـت

. کمترين نرخ شناسـايي را دارد )آمدن و چين دار شدن چانه كَنـي اي ناحيه چانه از الگوريتم لبه يـابي براي استخراج لبه ه

ــت ــده اس ــتفاده ش ــک اس ــورت اتوماتي ــت . بص ــن حال در ايالگوريتم حدود آستانه الزم براي تشخيص لبه را بـا توجـه بـه

بـه . ناحيه تحت پردازش بصورت اتوماتيک انتخاب مي کنـد

. ظاهر شده استI1 با شدت ۱۲واحد حرکت - . ظاهر شده استI2 با شدت ۲۵واحد حرکت -

: آنگاه . ظاهر شده است 2/ (I1 + I2)با شدت " شادي "

که درصورتي که از حدود آستانه اي کـه بـراي نظر مي رسد ،براي فريمهاي بعدي استفاده کنيم، ته استفريم اول بکار رف

ميزان شناسـايي احسـاس ۹جدول . نتايج بهتري حاصل شود . رشته را نشـان مـي دهـد ۱۰۵از روي واحدهاي حركت اين

دوم تعداد کل نمونه هاي موجود از در اين جدول، در ستونيي کـه ادر ستون سوم تعداد نمونه هـ . هر احساس آمده است

شده اند، آمده اسـت و در سـتون آخـر نيـز درست شناسايي .نرخ شناسايي درست بر حسب درصد آمده است

شناسايي واحدهاي حرکتنتايج -۸جدول % O M 4x 27 25 23 20 17 16 12 10 9 7 6 5 4 2 1 79 0 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 2 1 84 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 21 2 91 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 50 1 4 89 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 17 1 0 5 61 0 10 0 0 0 0 0 0 0 0 0 0 0 0 16 0 0 0 6 90 0 0 0 0 0 0 0 0 0 0 0 0 0 27 0 0 3 0 7 61 0 7 0 0 0 0 0 0 0 0 0 0 11 0 0 0 0 0 9 80 0 0 0 0 0 0 0 0 0 0 1 4 0 0 0 0 0 0 10 73 0 1 0 0 0 0 0 1 0 0 16 4 0 0 0 0 0 0 12 86 0 1 0 0 0 0 0 0 0 6 0 0 0 0 0 0 0 0 16 91 0 0 0 0 0 0 0 0 40 0 0 0 0 0 0 0 0 0 17 53 0 0 0 0 0 0 0 8 0 0 7 0 0 0 0 0 0 0 20 67 0 6 0 0 0 0 12 0 0 0 0 0 0 0 0 0 0 0 23 76 0 8 0 0 0 28 0 0 0 0 0 0 0 0 0 0 0 0 25 74 0 0 0 0 14 0 0 0 0 0 0 0 0 0 0 0 0 0 27 75 0 3 0 9 0 0 0 0 0 0 0 0 0 0 0 0 0 0 4x

شناسايي احساسهاي مختلف– ۹جدول

درصد درست نمونه احساس %۸۹ ۱۷ ۱۹ شادي %۱۰۰ ۱۹ ۱۹ تعجب

%۷۷ ۱۰ ۱۳ غم %۷۱ ۱۰ ۱۴ بي اعتنايي

%۷۵ ۳ ۴ خشم %۷۵ ۲۵ ۳۳ تنفر %۸۰ ۴ ۵ ترس %۸۰ ۸۶ ۱۰۷ کل

باعـث عـدم عمـده عامـل دو، دريـافتيم کـه اخطاهبا بررسي نخست، عدم شناسايي يک واحد . شناسايي احساس مي شود

ايـن . حرکت خاص که در توليـد ايـن احسـاس مـوثر اسـت عامل بـه نوبـه خـود ريشـه در عـدم رديـابي درسـت اعضـاي

ل مثال يکي از مواردي که رديابي دچـار مشـک . صورت دارد عامل .افتادن موهاي سر روي ابروها و پيشاني است مي شود،

دوم ، حــذف احســاس شــناخته شــده در نتيجــه تضــاد بــا . احساسهاي ديگر است

نتيجه گيري.۵

در اين مقاله سيستمي براي شناسايي احساس از روي تصاوير . سيستمهاي خبـره ارائـه کـرديم ويديويي چهره، با استفاده از

تم خبــره بــراي شناســايي احســاس از روي بکـار گيــري سيســ همچنـين ارائـه . تصاوير ويديويي در نوع خـود جديـد اسـت

ــور واحــدهاي ــبه شــدت ظه ــراي محاس مکانيســمي واحــد ب، تقويت نتايجي که از منابع مختلف بدست مي آينـد حرکت

و رفع اتوماتيک تناقض در شناسايي احساس، از نقـاط قـوت ره براي شناسايي واحـدها بهره گيري سيستم خب . است سيستم

بنحـوي . دهد و احساسها، انعطاف زيادي به دانش سيستم مي اصـالح دانـش موجـود وکه آموزش سيستم و حتي پااليش

مشابه قوانين بکـار استفاده از قوانيني بابه صورت اتوماتيک و شناسايي احساس در حد . قابل انجام است رفته براي شناسايي

عمده خطـاي .مها قابل مقايسه است درصد با ديگر سيست ۸۰ درشناسـايي واحـدهاي حرکـت ، ) درصد ۵۰بيش از (سيستم

برخي نقاط اعضاي چهره پيش مي آيـد بخاطر رديابي اشتباه

و بکار گيري روشي قويتر براي رديـابي، مـي توانـد مفيـد و از نقاط ضعف سيسـتم مـي تـوان بـه دسـتي بـودن .موثر باشد

نـد آن وهمچنـين پـردازش نسـبتا کُ يافتن چهره و اعضاي آن .اشاره کرد

سپاسگزاري

دانشـگاه پيتسـبورگ استاد، ١ آمبادار صميمانه مايليم از آقاي را در اختيار ما قرار دادنـد، ]Cohn-Kanade] ۹که پايگاه

.سپاسگزاري کنيم

مراجع1. P. Ekman, W.V. Friesen, Facial Action Coding

System (FACS). Palo Alto, Consulting Psychologists Press. 1978.

2. D. Galati, K.R. Scherer, P.R.Bitti,. Voluntary facial expression of emotion: Comparing congenitally blind to normal sighted encoders. J. of Personality and Social Psychology, 73, 1363-1380. 1997

3. M. Panic, L.J.M Rothkrantz Automatic Analysis of Facial Expressions: The State of the Art IEEE TPAMI, VOL. 22, NO. 12, DEC 2000

4. B. Fasela;., J. Luettinb Automatic facial expression analysis: a survey Pattern Recognition VOL. 36 (2003)

5. M. Pantic and L.J.M. Rothkrantz, An Expert System for Automatic Analysis of Facial Expression Image and Vision Computing J., vol. 18, no. 11, pp. 881-905, 2000

6. M.J.Black , Y. Yaccob, Recognizing Facial Expressions in Image Sequences Using Local Parameterized Models of Image Motion Intl. J. of Computer Vision 25 ,1997

7. C. John. A Computational Approach to Edge Detection IEEE TPAMI, Vol. 8, No. 6, pp. 679-698. 1986

8. J. Durkin Expert Systems Prentice Hall, 1994 9. T. Kanade, J. F. Cohn and Y. Tian

Comprehensive database for facial expression analysis Proceedings of the 4th IEEE Intl. Conf. on Automatic Face and Gesture Recognition (FG'00), March, 2000, pp. 46 - 53.

1 Zara Ambadar