Upload
happy
View
50
Download
4
Embed Size (px)
DESCRIPTION
KFB - Gives eyes to the Blind. מהנדסי פרוייקט: גל דלל צחי שימקין מנחה פרוייקט: קובי כוחי טכניון, מכון טכנולוגי לישראל הפקולטה להנדסת חשמל. Quick Overview. פרויקט זה מציג את ה- KFB ( Kinect For the Blind ). מכשיר המתכונן ומיועד לסייע לעיוורים להליכה בחיי היומיום. - PowerPoint PPT Presentation
Citation preview
KFB - Gives eyes to the Blind
: פרוייקט מהנדסידלל • גלשימקין • צחי
: פרוייקט מנחהכוחי • קובי
לישראל, טכנולוגי מכון טכניוןחשמל להנדסת הפקולטה
Quick Overview
• - ה את מציג זה מכשיר. KFB (Kinect For the Blind)פרויקט. היומיום בחיי להליכה לעיוורים לסייע ומיועד המתכונן
הינו • ידי standaloneהמוצר על מכשולים שיזהה כך ומיועד. הקינקט ממכשיר המתקבלת עומק תמונת סריקת
• " של המותנים אזור על שמולבשת רצועה י ע נישא המכשירלגבי אינדיקציה לעיוור נותן ופשוטה קלה ובהפעלה המשתמש
. ' מולו ' הנמצא מכשול כל
Why they need us
ישנם • לבדה של 23בישראל לקהילה המצטרפים עיוורים אלף. העולם ברחבי עיוורים מיליוני
טכנולוגיים • פתרונות ליצירת וגוברים הולכים וצורך דרישה ישעצמאי באופן דרכו את לנווט עיוור של לצורך מענה ייתנו אשר
. מוכרת לא בסביבהזה • צורך מספקים אינם בשוק היום הקיימים הפתרונות
במלואו.
Project Objectives
אוטונומי )• מוצר עיוור( standaloneתכנן אדם להכווין יוכל אשר. ברחוב והן מבנים בתוך הן הליכה במהלך
• ( , אחיזה מצריך אינו לנשיאה קל זול שיהיה כך המוצר בנית. ) עצמאי לתפעול ופשוט ביד ממושכת
ובעלי • מספיק יעילים יהיו אשר רובוסטים אלגוריתמים בנייתהביטחון תחושת את למשתמש לתת מספקת מהימנות
. במוצר הנדרשת
Similar Projects
: לעיוורים לסייע שמטרתם קודמים פרויקטים מספר נעשורטט + RGBמצלמות 2• חגורת כחיישנים
בין מידע העיוור 2הצלבת והכוונת עומק מימד לקבלת מצלמות. המותניים באזור הממוקמת רטט חגורת בעזרת
• Eadept – מבוסס רחובות GPSרישותהתקן בעזרת וניווט הרחובות GPSמיפוי
רטט + + • מנועי חגורת מחשב כחיישן קינקט מצלמת
• + + - יד כף מחשב בקר למיקרו מחוברים סונר חיישנירטט חגורת
Device Components Overview
קינקט • כוח + מצלמת ספקחיישני ושני אדום אינפרא ממקרן מורכב – 30בקצב CMOSהקינקט הראשון הרץ
- ה להחזר כמצלמת IR uמקלט מתפקד מיקרופונים. RGBוהשני מערך קיים בנוסףשל דגימה .16בקצב קילוהרץ
הפתיחה ) בזווית מוגבל הקינקט , 57מכשיר לרוחב ( 43מעלות העצמים ובטווח לגובהבמדוייק לחזות יכול הוא מרחקם את אשר
נייד • הפעלה pc2מחשב מערכת .windowsמותקןבשנת לראשונה הושק מחשבים של זה חדש " 2007דור חברת י ע CompuLabומיוצר
הישראלית.
הפעלה smartphoneמכשיר • מערכת .androidמותקן . , המערכת לב המרכזי העיבוד ככוח לשמש תפקידו האנדרואיד מכשיר
אוזניות•
So how does it work ?
So how does it work ? Data transfer : Kinect to PC2
Raw Data
Running client
application
Captures image
So how does it work ? Client application
Process raw data, generate depth
matrix
Input:Run navigation
algorithmsraw data
Generate strings from algorithm
results
So how does it work ? Data transfer : PC2 to Android machine
String output
Server application
Client application
So how does it work ? Server Application
Process string
Input: Determine instruction
according to stringstring
Generate sound instructions
So how does it work ? Data transfer : Android Machine to Ears
Sound output
Play sound to user
Generate guiding instructions from
string
So how does it work ? Full Path
The System’s Heart – Navigation Algorithms
הנווט • אלגוריתמי עומדים המערכת של .בבסיסהשל • העומק תמונת של גולמי מידע מקבלים אלו אלגוריתמים
" , . ניתוחים י ע מטרתם למשתמש הקרובה הסביבה , סיגנלים ולשלוח זה מידע לעבד היא מתימטיים אלגוריתמים
. תנועה הנחיות מהם לייצר שניתןתהיה • המערכת כך יותר טובים יהיו שהאלגוריתמים ככל
יותר ושימושית יותר מהימנה•: הבאים האלגוריתמים את תכננו הראשון הפרוייקט במסגרת
Navigation by Shortest Distance – Stereo Beeps
חלקים • לשני המטריצה את מחלקחלק • כל של המינימלי הערך את מחשב מקבילי באופןהשניה • באוזן תלוי ובלתי נפרד שמע אות אוזן לכל מייצרצפצוף • בעזרת נעשת ההכוונהותדירותו • הצפצוף עוצמת את קובע המועבר הערך
Hallway Navigation
חלקים • לשלושה המטריצה את מחלקחלק • כל של הממוצע הערך את מחשב מקבילי באופןביותר • הגדול המרחק לכוון ללכת המשתמש את מכווין•. " קוליות פקודות י ע נעשת ההכוונה
Android GUI
• - ה אפליקציית :serverממשק האנדרואיד מכשיר על
Summary 1
הצגנו • זה לכדי אבטיפוסבפרוייקט אלמנטים מספר המשלבפוטנציאל בעל שהינו עיוורים ניווט לצרכי אינטגרלי מוצר
. השוק בדרישות לעמודשהוא • הינם הסופי המוצר של יחסית, יתרונותיו קל נייד
שלו, לחלופות יחסית וזול לתפעול פשוט . לנשיאה , : מחשב קינקט מצלמת במוצר המשולבים , pc2האלמנטים
רבים בבתים נפוצים מוצרים הינם ואוזניות אנדרואיד מכשיר. סבירים במחירים הרחב בשוק לקניה וזמינים
Summary 2 – What did we learn?
• : חדשות טכנולוגיה סביבות עם בעבודה התנסינו הפרוייקט במהלך.1OpenNI for Kinect פונקציות 2. עם ה matlabבסביבת mexהתנסות פרוייקט תחת נכתבו . open NIאשר
) , אחרת) פיתוח סביבת עם לעבודה לעבור הוחלט ונבחנה נלמדה זו שאופציה לאחרJava Development:
של 3. הסיפריות המידע Javaעבור openNIלמידת את קוראת אשר אפליקציה וכתיבת- מה . Kinectהגולמי איתה לעבוד שנוח עומק למטריצת אותו וממירה
ה 4. סיפריות אפליקצית Javaעבור TCP-IPלמידת בין תקשורת מודול על Javaוכתיבתלבין ברשת . Smartphoneמחשב ה בין החיבוריות אנדרואיד smartphoneבסביבת
. אלחוטית רשת דרך גם להתבצע יכולה למחשבשל 5. הפיתוח סביבת אפליקציה Androidלמידת במכשיר Multi-threadedויצירת
למשתמש Androidה- אודיו מעבירה גם אשר
Future Development
של • מתקדם עיבוד לבצע המסוגלים יותר חזקים אלגוריתמים בנייתאינפורמציה יותר ולהעביר הקינקט ממצלמת המתקבל המידע
למשתמש.• : הקינקט מצלמת מתוך נוספים מידע בערוצי שימוש תוך מידע עיבוד
. בחיישני לשימוש אפשרות כן כמו קול ועיבוד צבע תמונות עיבודה במכשירי המתוחכמים קוליות Androidהתנועה פקודות וזיהוי
במכשיר• . למשתמש האידיאלית האינפורמציה העברת צורת ומימוש בחינת
. לאוזניות פרט נוספות אינפורמציה העברת דרכי של בחינהל • ישירות הקינקט מצלמת לחיבור האפשרות smartphoneבחינת
ה מחשב הוצאת . pc2תוך כאשר יתאפשר זה תהליך מהמערכת . מתאימים דרייברים יתוכנתו
Questions?