כולנו נחשפים מדי ערב למתרגמים לשפת הסימנים בתחתית המסך של מהדורות החדשות ובצדי הבמה בטקסים ממלכתיים. בחוג להנדסת חשמל ומחשבים בבית הספר להנדסה ולמדעי המחשב באוניברסיטה העברית, פיתחו לאחרונה תוכנה שקוראת שפתיים בקטעי וידיאו אילמים, וממירה את הטקסט באופן מיידי לכתוביות באנגלית.
נכון להיום, תרגום לשפת הסימנים הוא הדרך המהירה ביותר לתרגם טקסט שנאמר בעל פה לקהל לקויי השמיעה, שצופה בנאמר בשידור חי או באופן בלתי אמצעי. קריאת שפתיים היא האפשרות השנייה של כבדי שמיעה להבין את הדובר, אך לא רבים הם האנשים שמיומנים דיים לקיים שיחה רציפה באמצעות קריאת שפתיים, וגם אם כן, לא תמיד הם נמצאים בקרבה מספקת לדובר.
את תוכנת זיהוי השפתיים החדשה פיתחו אורי גורדון ואוריה פרומר, סטודנטים בחוג להנדסת חשמל ומחשבים בבית הספר להנדסה ולמדעי המחשב באוניברסיטה העברית. התרגום שלהם מתבצע על ידי עיבוד תמונה מתקדם ולמידה עמוקה של התמונה, ובתוך כך ייחוד המאפיינים הויזואליים החשובים להבנת הנאמר. בין המאפיינים הנוספים - מיקום השפתיים לכל צליל, אופן תנועת השפתיים ומהירות הדיבור.
המערכת, שפותחה במסגרת פרויקט סיום התואר של השניים, תאפשר בעתיד תרגום מיידי של קטעים מצולמים בשיחה במצלמת רשת ללא קול, במצלמות אבטחה, בסרטים אילמים, בשימושים מודיעיניים שונים או בתקשורת בין אנשים במקומות שאינם מאפשרים תקשורת מילולית, על ידי שימוש במצלמות ראש.
"בנינו מערכת שמתבססת על רשת נוירונים, שאחרי למידה מסוגלת להבין ולתרגם תנועות שפתיים לטקסט", מספרים גורדון ופרומר, מובילי הפרויקט, "למעשה, לקחנו אלפי סרטונים של אנשים שונים שבהם הם אומרים את אותן המילים, התאמנו קובצי טקסט לסרטונים ואימנו את המערכת במשך כמה ימים כך שתוכל להתאים את תנועות השפתיים השונות של האנשים לתמלול שהתאמנו להן. היום, התוכנה מנחשת איזו אות נאמרת בכל פריים, לפי טווח ההבעות שלימדנו אותה קודם לכן". לדבריהם, המערכת יודעת לתרגם מילים בודדות שנאמרות במבטא בריטי או ישראלי, אך היד עוד נטויה.