זיהוי דיבור והמרתו לכתוביות בשפה העברית

זיהוי דיבור והמרתו לכתוביות בשפה העברית - פרויקט גמר 2015
שם הסטודנט: ניראל בן שבת 
מחלקה: הנדסת חשמל
תחום:עיבוד אותות
הנחייה: זוהר דביר

מטרת הפרויקט הינה תכנון אב טיפוס להוכחת היתכנות למערכת לשיפור תנאי החיים של אנשים כבדי שמיעה. המערכת תאפשר זיהוי חמש מילים ו/או ביטויים ו/או משפטים בשפה העברית באמצעות שימוש בטכנולוגיית זיהוי דיבור, הפיכתם לטקסט והצגת הטקסט על גבי תצוגה עילית לעין ו/או סמארטפון. התוצאה הינה מתן אפשרות לקיום שיחה לכבדי שמיעה, בתנאים נוחים: בזמן אמת ובכל מקום.

אופן פעולת המערכת 

זיהוי המשפטים בפרויקט מתבצע ע"י מעבד ייעודי לזיהוי דיבור של חברת Sensory מדגם RSC-4128. המעבד משולב בלוח הפיתוח SmartVR של חברת VeeaR. זיהוי הדיבור מתבצע בזמן אמת כאשר המעבד משתמש במודל סטטיסטי מסוג HMM על מנת לזהות את המשפט שנאמר עפ"י מודל אקוסטי מתאים הנבנה מ'פונמות'.

המרת המשפטים לטקסט והצגת הטקסט יעשו באמצעות אפליקציה הממומשת על גבי Smartphone מדגם Samsung Galaxy S2 שפותחה בסביבת עבודה Android Studio בשפת Javaבשלב זיהוי הדיבור, כל משפט קיבל ייצוג ע"י מחרוזת תווים (string) כך שבאפליקציה ניתן יהיה להמיר כל משפט שזוהה לכתוביות באמצעות הייצוג שקיבל ולבסוף להציגו על המסך. 

כיצד נולד הרעיון?

במהלך שנה ג' נחשפתי בקורסי ההתמחות לתחום 'עיבוד וזיהוי דיבור' ונמשכתי אליו באופן מיידי. ברגע בחירת הפרויקט ידעתי שארצה לפתח דגם/אב-טיפוס שישלב טכנולוגיית זיהוי דיבור ויוכל לשמש כעזר לפתרון בעיה רפואית כלשהי או לשפר את תנאי החיים של אנשים בעלי מוגבלויות. לאחר כמה רעיונות, הגיע הרעיון של ניצול חוש הראייה של אנשים כבדי שמיעה. 

המשקפיים המיוחדים, מתרגמים את הדיבור לכיתוב