שיפור בתוצאות הלמידה העמוקה

כמו בטיפוס על הר בנתיב הקצר ביותר האפשרי, ניתן להגיע לשיפור במשימות סיווג באמצעות בחירה בנתיב המשפיע ביותר על התוצאה ולא רק דרך למידה ברשתות עמוקות יותר. מאמר שכתבו פרופ' עידו קנטר ושותפיו מהמחלקה לפיזיקה והמרכז הרב-תחומי לחקר המוח באוניברסיטת בר-אילן מסביר את התפיסה החדשנית.  

למידה עמוקה מבצעת משימות סיווג בעזרת שימוש בסדרה של שכבות. כל שכבה מייצגת שלב של קבלת החלטות בדרך לשכבה הבאה, הצרה יותר והמתקדמת יותר. השכבות בנויות כפירמידה (או הר) שבראשה המחודד נמצאת התוצאה. כדי למלא את משימות הסיווג ביעילות, מתקבלות החלטות מקומיות לאורך הדרך, בצמתים. האם נוכל לקבל החלטה מקיפה אחת על ידי בחירה בנתיב המשמעותי ביותר לתוצאה, במקום לקבל החלטות מקומיות?

במאמר שפורסם לאחרונה בכתב העת המדעי  Scientific Reports,  החוקרים מבר-אילן עונים על השאלה בחיוב. ארכיטקטורות עמוקות קודמות כבר שופרו באמצעות עדכון הנתיבים המשפיעים ביותר אל התוצאה. "אפשר לחשוב על זה כעל שני ילדים שרוצים לטפס על הר עם הרבה פיתולים ופניות. אחד מהם בוחר בנתיב המקומי המהיר ביותר בכל צומת שאליו הוא מגיע, בעוד שהילד השני משתמש במשקפת כדי לצפות בנתיב כולו מראש ובוחר בנתיב הקצר והמשמעותי ביותר, ממש כמו מפות גוגל או ווייז. ייתכן שלילד הראשון יהיה יתרון בהתחלה, אבל בסופו של דבר השני ינצח." כך מסביר פרופ' קנטר. "הגילוי הזה עשוי לסלול את הדרך ללמידת בינה מלאכותית טובה יותר, באמצעות בחירת המסלול המשמעותי ביותר לפסגה," הוסיף ירדן צח, דוקטורנט ואחד ממחבריה המרכזיים של העבודה.

הבנה זאת של מערכות הבינה המלאכותית שפיתחו פרופ' קנטר וצוות המחקר שלו, בהובלת ד"ר רוני ורדי, נועדה לגשר בין העולם הביולוגי ובין למידת מכונה ובכך ליצור מערכת בינה מלאכותית משופרת ומתקדמת יותר. עד כה הם גילו הוכחות להתאמה דנדריטית מתקדמת באמצעות תרביות עצביות: דנדריטים הם זרועות דמויות עצים מסועפים היוצאים מגוף תא העצב, קולטים גירויים ומעבירים אותם אליו. אם מצטבר גירוי חזק דיו, גוף התא מעביר את המידע הלאה לאקסון, זרוע המוליכה את האות החשמלי לתאי עצב אחרים. הם גילו גם דרכים להטמעת הממצאים האלה בלמידת מכונה, המדגימות כיצד רשתות רדודות ומועטות שכבות, יכולות להתחרות ברשתות עמוקות, וכן מצאו את המנגנון האחראי ללמידה עמוקה מוצלחת. החוקרים סבורים שחיזוק ארכיטקטורות קיימות באמצעות החלטות גלובליות עשוי לסלול את הדרך לבינה מלאכותית משופרת, שתוכל לבצע טוב יותר את משימות הסיווג.

לתוכניות הלימוד במחלקה לפיזיקה 

לתוכניות הלימוד המשלבות מדעי המוח