אמל״ק

בשנים האחרונות יש שני תחומים עיקריים שמעסיקים אותי (אינטלקטואלית)- מדיניות כלכלית ותחום הבינה המלאכותית (מכאן והלאה ML). לאחרונה יצא לי לתהות אם אי פעם נראה שמדיניות ממשלתית תתבסס לחלוטין על מודל ML.

כלומר אני תוהה אם יבוא היום והכנסת תחוקק חוק שיגיד משהו בסגנון "אדם שהמודל ML נותן לו תוצאה של 0.7 ומעלה יהיה זכאי לזכויות כאלו" וכמובן שהשאלה המעניינת (שלדעתי יכולה להיות אחלה נושא למחקר אקדמי) היא מהם התנאים המינימאליים ההכרחיים על מנת לאפשר קיום של מודל כזה כחלק מהליך החקיקה.  

פוסט בלי מסקנות, רק שאלות פתוחות.

באריכות:

מבוא

בואו נשים רגע את הציניות והפרקטיקה הפוליטית בצד ונדבר בתיאוריה. כשקובעים מדיניות ממשלתית אנחנו מנסים למקסם ערך כלשהו תחת מגבלות כלשהן, לרוב אלו יהיו מגבלות תקציב בעיקר. לצורך הפשטות בואו נדבר על דמי אבטלה. מצד אחד אנחנו רוצים לתת דמי אבטלה כדי לאפשר למובטלים לחפש עבודה בנחת ולמצוא את העבודה האופטימלית עבורם. מצד שני אנחנו לא רוצים לתת צ'ק פתוח לכל המובטלים לזמן בלתי מוגבל. למה? בעיקר משיקולים תקציביים וכדי למנוע ניצול לרעה של המדיניות.

אז איך מחליטים למי לתת, לכמה זמן לתת וכמה לתת? מסובך! בואו שניה בשביל הפשטות נתעלם משני המימדים האחרונים ונניח שהם קבועים. ננסה לקבוע למי אנחנו רוצים לשלם דמי אבטלה.

במקרה הטוב (ושוב מזכיר לכם- ציניות וריאל פוליטיק בצד) מתבססים על מחקרים מהעולם ו/או אוספים נתונים בעצמנו ומנתחים אותם. נניח לצורך הדוגמא שחוקר כלשהו בדק בשנות ה-50 ומצא שמתן דמי אבטלה לגברים מתחת לגיל 30 ולנשים מתחת לגיל 28 אינו אפקטיבי. האם ניתן להתקדם לחקיקה? כמעט.

עכשיו נכנס האילוץ התקציבי- רפרנט באגף תקציבים בדק שאם נשלם לפי התנאים הללו העלות התקציבית היא 100 כאשר יש לנו תקציב רק של 80. לפיכך מכניסים עוד שני כללים: 1) רק מי שפוטר מעבודתו (ולא התפטר) יהיה זכאי לדמי אבטלה ו2) רק מי שעבד לפחות שנה ברציפות יהיה זכאי לדמי אבטלה. ביחד עם הכללים הללו אנחנו מתכנסים למסגרת התקציב ובא לציון גואל. מתקבל אם כך עץ החלטה סופר פשוט (שאין לי כוח לצייר אותו) שקובע מי זכאי לדמי אבטלה. 

האם אפשר לעשות יותר טוב מזה? בוודאי!

בעולם האידיאלי שאני מצייר מתכנסים מיטב הכלכלנים כל 5 שנים ובוחנים מחדש את הנתונים. הם עושים, ללא שום בעיה פוליטית, שינויים בכללים בצורה שכל הזמן משפרת את התועלת החברתית בהינתן מגבלת התקציב. אבל עדיין אפשר לשפר, והרבה. 

מודל UPLIFT

בעולם ה-ML יש תת תחום מאוד מעניין (לפחות אותי) שנקרא uplift modeling. ממש בקצרה ומבלי להיכנס לשום דבר טכני המודלים הללו מנסים לנבא מי יראה תוצאה חיובית אם ורק אם ניתן לו את הטיפול שלנו. כלומר בניגוד למודל ״קלאסי״ ששואל האם התוצאה (ה-label) של ההתערבות היא חיובית או שלילית, המודלים הללו חוזים את הקשר הסיבתי בין הטיפול לתוצאה.

בואו ננסה לתת דוגמא פשטנית כדי שהנושא יהיה יותר ברור. 

נניח שמטרת הטיפול שלנו (דמי האבטלה) היא לאפשר לעובד למצוא ״משרה איכותית״ (שוב בלי להיכנס לדקויות של מה זה אומר- נניח שזה מוגדר היטב). יש לנו 3 סוגי עובדים:

1. אלו שימצאו משרה איכותית בכל מקרה.
2. אלו שבהינתן דמי אבטלה ימצאו משרה איכותית וללא דמי אבטלה לא ימצאו משרה איכותית.
3. אלו שבכל מקרה לא ימצאו משרה איכותית.

קל לראות שאנחנו מעוניינים לתת דמי אבטלה רק לעובדים מהקבוצה השניה. עובדים מהקבוצה הראשונה בכל מקרה ימצאו משרה איכותית ולכן לתת להם דמי אבטלה זה בזבוז משאבים. עובדים מהקבוצה השלישית הם ״מקרה אבוד״ במובן שהטיפול המוצע לא יסייע להם (ושוב מדובר על בזבוז משאבים). עובדים אלו זקוקים לטיפול מסוג אחר שחורג ממגבלות הדיון פה.

אז מסתבר שלמשל בעולמות ה-ML בכל מה שנוגע לקמפיינים פרסומיים יש הרבה עבודה (והצלחות) בתחום הזה. המודלים מדרגים אנשים לפי ההסתברות שהטיפול (לרוב פרסום כלשהו אבל במקרה שלנו מתן דמי אבטלה) ישפיע סיבתית לטובה על התוצאה (לרוב מכירה, אבל במקרה שלנו- מציאת משרה איכותית) ובאופן הזה מנצלים בצורה טובה יותר את התקציב הקיים.

כעת אפשר לקבוע כללים יותר מתוחכמים מאלו שהחוקר המדופלם מצא בשנות ה-50. אז למה זה לא קורה? או במילים אחרות- איפה הבעיות?

ראשית כמו תמיד אין מה להשוות התקדמויות טכנולוגיות של השנים האחרונות לאופן כתיבת החקיקה בישראל או בעולם. אבל אפילו אם נשלח לכנסת רק מדעני נתונים הם יגלו שלא כ״כ קל ליישם מודל כזה בחקיקה. מדוע?

א׳ נדרשת כמות גדולה של דאטה וחשוב שהוא יהיה עדכני. לא בהכרח ניתן לקבל החלטות (טובות) בזמן אמת אם חלק מהפיצ׳רים של המודל שלך הם לדוגמא אשכול חברתי כלכלי שהלמ״ס מחשב באיחור של כמה שנים, או אפילו מדד מחירים לצרכן שמתעדכן ״רק״ בעיכוב של שבועיים. שנית על מנת להפעיל מודל כזה נדרש ניסוי עם קבוצת ביקורת וזה לא תמיד אפשרי.

לבסוף, כללים אלו יכולים בהחלט להיות מאוד מסובכים להבנה, הן למחוקק והן לעובד מה שאגב יכול להכניס אפליה בדלת האחורית. וכמובן שהסיבוכיות תקשה על מציאת באגים במודל למשל. אבל יותר מזה- יהיה מאוד קשה להסביר מדוע עובד אלמוני קיבל ציון 0.9 ולכן הוא זכאי לדמי אבטלה בעוד עובד פלוני קיבל ציון 0.3 ולכן לא יהיה זכאי.

העתיד כבר כאן

בעבודת דוקטורט של חברי הטוב, טל וולפסון, נעשה שימוש בכלי מהסוג הזה כדי להראות את התועלות הפוטנציאליות של כלי מדיניות מסוים. בעוד שאותו כלי מדיניות נותן בממוצע השפעה חיובית רק ב-5% עד 10% מהמקרים, מודל ML הצליח לסווג אוכלוסיה שבתוכה ה-uplift הגיע ל-30%. כלומר אפשר להגיע לאותו סדר גודל של תועלת חברתית בשבריר מהתקציב הנדרש. המחקר גם שיחק מעט עם הפיצ׳רים (מתוך הנחה שלא ניתן לייצר עצי החלטה מסובכים מדי) וכאשר ניתן למודל מספר נמוך של פיצ׳רים עדיין הוא הצליח להראות שיפור בתוצאות.

השאלות הפתוחות

אין לי ספק שבעתיד, שעשוי להיות רחוק מאוד, נראה דברים מהסוג הזה גם בחקיקה ולא רק בעולמות ההייטק. וכאן מגיע החלק המעניין של הפוסט. נשאלת השאלה מהן ההתפתחויות הטכנולוגיות, החברתיות והמשפטיות הנדרשות על מנת לאפשר לכנסת להרגיש בנוח עם מודל ״קופסה שחורה״ (black box) שכזה.

ברור למשל שהמודל יצטרך להיות מאוד מדויק בתחזיות שלו. כמו כן הוא כמובן יצטרך לעמוד בסטנדרטים מאוד מאוד גבוהים של יכולת הסבר (XAI- explainable AI). כמו כן ברור שכל עולם איסוף הנתונים של הממשלה יצטרך לעבור מהפכה ושהמודל לא יוכל לכלול פיצ׳רים בעייתים משפטית כמו גזע. אבל מה עוד? מה עוד מפריד ביננו לבין העולם הבדיוני שאני מתאר?

מזמין אתכם לדון בזה (בפייסבוק או בטוויטר שלי) או ללכת עם זה יותר רחוק ולחשוב על מחקר אקדמי שניתן לקדם בתחום. נראה לי סופר מעניין ואשמח לסייע כמיטב יכולתי.