"המטרה היא להראות לעולם את עוצמת הבינה המלאכותית במכשיר הקטן הזה שאנשים משתמשים בו בכל יום". כך תיארו בחברת וואווי (Huawei) הסינית את החזון מאחורי פרויקט "צלילי האור", שהציג לראשונה מערכת בינה מלאכותית בסדרת הסמארטפונים Huawei Mate 20, שיודעת לתרגם תמונות למרכיבים מוזיקליים, במקרה זה - סרטון של הזוהר הצפוני בשמי נורווגיה.
את היצירה המוזיקלית שנוצרה משיתוף הפעולה בין המלחין האנושי והבינה המלאכותית, הציגה החברה בקונצרט מיוחד שנערך באולם ברהמס ההיסטורי שבווינה, אוסטריה. מטרת האירוע הייתה להמחיש את כוח המעבד (קירין 980) בסדרת הדגל של Huawei שהושקה רק לפני כחודשיים, אך בפועל, השפעת האירוע הייתה למעשה פתיחת דלת לעולם חדש של אפשרויות, בהן לימוד בינה מלאכותית ומונחים מופשטים מעולם האומנות כמו הרמוניה ויופי.
העבודה על הפרויקט ארכה כשלושה חודשים. בשלב הראשון צולם סרטון וידיאו של "הזוהר הצפוני" שנלכד על ידי הצלם קייטי סקוגלי בשמי הלילה במרחבים הפתוחים של טרומסו, נורווגיה. לאחר מכן נשלח הסרט למעבדות הסאונד, שם עבד המלחין עטור הפרסים מארק סייפריץ עם מערכת הבינה המלאכותית על יצירת סימפוניה שתתבסס על התמונות כפי שהן מוצגות ב־Huawei Mate 20.
המהנדסים הרכיבו על הטלפון הנייד מערכת בינה מלאכותית ייחודית ולימדו אותה לנתח את מאפייני האור השונים וליצור מתאם בין מרכיבים מוזיקליים לסרט הווידיאו. "חילקנו את הצורות של הזוהר הצפוני לעשר קטגוריות, ולכל אחת מהן הולחן קטע מוזיקלי מסוים", הסבירו הוגי הפרויקט. בשלב הבא, הצוות לימד את המערכת לזהות לאיזו קטגוריה שייכת התמונה ולהתאים עבורה את המנגינה ממאגר הנתונים הקיים. נוסף על כך, הבינה המלאכותית לומדת את השינויים הוויזואליים מפריים לפריים, בקצב ובעוצמת הבהירות, מעבירה את המידע למלחין ומסייעת לו בהפקת היצירה.
"השילוב של בינה מלאכותית במוזיקה פתח בפני מנעד חדש וגדול של אפשרויות יצירתיות", אמר מלחין היצירה סייפריץ, "כעת, אני יכול להזין סרטים שצילמתי של הזוהר הצפוני למערכת בינה מלאכותית, שתנתח דברים כגון צבע, ממדים, צורה ומהירות. בשלב הבא, המערכת מסוגלת לחולל ואריאציות של המשפטים המוזיקליים שלי על סמך מה שהיא רואה. כאשר ה־AI מזהה תצוגת אורות דרמטית במיוחד, היא מסוגלת לאפנן את הצלילים כדי שישקפו את האינטנסיביות שבקומפוזיציה. או אז, אני יכול לשלב את כל המרכיבים לסימפוניה".
בחברה מדגישים כי כל התהליך נעשה בשיתוף פעולה מלא עם מלחין היצירה. "לפעמים הבינה המלאכותית החזירה הצעות שהמלחין דחה. אנחנו עדיין לא בשלב שאפשר להפריד בין השניים", הם מסבירים, "אנחנו מספקים לבינה המלאכותית בטלפון הנייד מספיק עוצמה כדי שתוכל לקטלג אור וללמוד מלודיה, ואז מגיע המלחין שמלמד אותה אומנות. התפקיד שלה הוא לסייע לו, והוא לוקח את הבסיס שהיא מחזירה ובונה עליו את היצירה הסופית, במקרה זה 'צלילי האור', שעליה ניצח ג'יימס שירמן".
מפתחי המערכת החדשה מדגישים כי בכוחה לפתוח פתח למגוון אפשרויות לשימושים עתידיים עבור הצרכן הביתי, וכי בתיאוריה, כעת יתאפשר פיתוח אפליקציה שתלמד סרטון ותתרגם אותו למנגינה. זוהי בשורה של ממש הן עבור היוצרים ביוטיוב, שכעת הם יוכלו להעלות פסקול מקורי לעבודותיהם, והן לשאר מיליוני הגולשים שמעלים סרטונים ברשתות החברתיות. אין ספק כי שימוש אופטימלי במערכת ידרוש מאגר נתונים מוזיקלי גדול ואינטראקציה אנושית, שתלמד את המכונה להתאים רגשות מסוימים לתמונה.
השוק הפוטנציאלי הרחב של המשתמשים הוא אחת הסיבות שוואווי מתמקדת בתחום הבינה המלאכותית. "היא מאפשרת לנו להרחיק לכת אל מעבר למגבלותינו ולנחול הישגים אשר חשבנו שהם מעבר ליכולותינו. צלילי האור מגלמים את הרעיון הזה במדויק", הסביר פיטר גאודן, מנהל גלובלי בכיר לשיווק מוצרים בחטיבת המובייל של החברה.
הכותב היה אורח באירוע מטעם חברת וואווי