שאולי רבפוגל

הכירו את שאולי רבפוגל, דוקטורנט במחלקה למדעי המחשב באוניברסיטת בר-אילן, שנבחר באחרונה כאחד מארבעה זוכי מלגה שנתית יוקרתית שמעניקה חברת הענק בלומברג, לחוקרים בתחום מדעי הנתונים. רבפוגל, שנמצא בשנה השנייה (2022) לדוקטורט שלו במעבדה לעיבוד שפה טבעית באוניברסיטה, הוא הישראלי היחיד מקרב מקבלי המלגה, שחולקה השנה בפעם החמישית.

"המחקר שלי, שנערך בהנחייתו של פרופ' יואב גולדברג, מתמקד באנליזת רשתות נוירונים ובפיתוח שיטות, שיאפשרו שליטה רבה יותר בחיזויים של מודלים אלה", אומר רבפוגל.

בשנים האחרונות, שיטות למידה עמוקה לעיבוד שפה טבעית נעשו פופולאריות מאוד. עם זאת, מודלים מבוססי למידה עמוקה, לומדים כיום בלי הנחיה ישירה לייצג טקסטים באופן שתופס אספקטים שונים, החל ממבנה תחבירי ועד למשמעות הטקסט. "המודלים הללו", מסביר רבפוגל, "נסמכים על ייצוגים רב-ממדיים, שנלמדים ממשימות פשוטות כגון חיזוי המילה הבאה בקורפוס גדול של טקסט. למרות הצלחתם, יש מגבלה משמעותית בשימוש במודלים אלה - מכיוון שהייצוגים נלמדים ללא הנחייה אנושית, הם נתפסים כ'קופסה שחורה', שאופן פעולתה אינו ידוע. בנוסף, המודלים עלולים להסתמך על מאפיינים שאמנם מובעים בטקסט, אבל לא היינו רוצים שיילקחו בחשבון כאשר המודל מופעל ב'עולם האמיתי'. לדוגמה, מודל שמאומן לסנן קורות-חיים של מועמדים לעבודה, עשוי לקחת בחשבון את המגדר של המועמדים בהחלטתו".

במהלך הדוקטורט, פיתח רבפוגל שיטות המאפשרות למשתמשי קצה להשפיע על תוכן הייצוגים שהמודלים משתמשים בהם. "שיטות אלה מאפשרות למשתמש לערוך את ייצוג המודל ולמחוק ממנו מידע מסוים, לדוגמה, את המגדר של המועמדים. באופן כזה, המודל נעשה עיוור למידע הזה בלבד, תוך שמירה רבה ככל האפשר על סוגי מידע אחרים שמיוצגים על-ידי המודל. במספר עבודות במסגרת הקו המחקרי הזה, הראינו ששיטות אלה יכולות להשפיע על הוגנות המודל במשימות שרגישות למידע דמוגרפי".

ומה התוכניות של רבפוגל לעתיד? "בהמשך הדוקטורט, אני מקווה להמשיך קו מחקרי זה ולהגיע להבנה תיאורטית של מגבלות שיטות קיימות להסרת מידע מרשתות נוירונים, וכן להבין כיצד הייצוגים שנלמדים על ידי המודל מתרגמים לבסוף לחיזוי במשימה נתונה", הוא משתף.

רוצים לדעת עוד על המחלקה למדעי המחשב? היכנסו