חוקר בכיר התפטר והזהיר: "בינה מלאכותית עלולה להרוג את כולנו"

חוקר בינה מלאכותית בכיר התפטר הלילה מתפקידו באנתרופיק, ובחר לעשות את זה בדרך הכי לא שקטה שיש: שרשור מטלטל ברשת החברתית X. תוך שעתיים בלבד הציוץ שלו כבר צבר שישה מיליון צפיות. לא רע בשביל התפטרות.

מדובר ביעקב קוקסון, מתמטיקאי בריטי בן 27, שהיה מעורב בעבר בפיתוח GPT-4o של אופן-איי, ולאחר מכן עבר לאנתרופיק. לדבריו הוא בחר דווקא בחברה הזו כי חשב שהיא מייחסת חשיבות מיוחדת לבטיחות. עכשיו הוא לא רק עוזב את החברה, אלא את התעשייה כולה.

"התפטרתי היום מאנתרופיק", כתב. "ביליתי את שלוש השנים האחרונות במחקר של אימון מקדים, גם באופן-איי וגם באנתרופיק. אף אחת מהחברות אינה פועלת באחריות. הן דוהרות היישר לעבר בינת-על שמשפרת את עצמה, ומהמרות על החיים של כולנו".

קוקסון לא מדבר על עתיד רחוק. לדבריו, בקרוב יהיו לנו מערכות שיכולות לפרוץ לכל דבר, לחולל מהפכה בכל תחום בן-לילה, ולצבור כוח ומשאבים אמיתיים. "כולנו ראינו את ההתקדמות בכל אחד מהתחומים האלה, והיא לא מאטה", הוא כותב.

הקטע שממש מטריד בציוץ שלו הוא מה שהוא אומר ששומע מאחורי הקלעים. לדבריו, האנשים שבונים את המערכות החזקות בעולם מאמינים בכנות שהן עלולות להרוג את כולנו עד סוף העשור. "זה לא תרגיל שיווקי", הוא מדגיש. מנהלים וחוקרים בכירים, לדבריו, נזהרים מאוד בניסוח שלהם בציבור כדי להישמע שקולים, אבל בשיחות פרטיות אותם אנשים ממש מפחדים.

אז למה הם ממשיכים לבנות את זה בכל זאת? קוקסון עונה גם על השאלה הזו, שהוא אומר שהוא שומע כל הזמן. לטענתו, באופן-איי רבים עדיין לא הפנימו לעומק את גודל ההשלכות על האנושות. באנתרופיק לעומת זאת, מבינים היטב את הסיכון, אבל הם לכודים במרוץ להגיע ראשונים. הם מאמינים שאם הם לא יעשו את זה, מישהו אחר יעשה את זה בלי אחריות בכלל, כך שעדיף שלפחות הם יגיעו לשם ראשונים.

קוקסון מתאר גם את השפה שרווחת בתוך התעשייה, מונחים כמו "שעת האמת" ו"משחק הסיום", שמתארים בדיוק את התרחיש שמדאיג אותו: מערכת שמתחילה לעזור לפתח את הגרסה הבאה של עצמה, מה שמאיץ עוד יותר את הפיתוח הבא, עד שהקצב נהיה מהיר מכדי שבני אדם יוכלו בכלל להבין מה קורה, לפקח על זה או לעצור את זה. "האם אתם רוצים להריץ אימון של מערכת על-אנושית בלי הבנה קפדנית של מה שקורה בתוך המוח שלה?" הוא שואל את עמיתיו לשעבר.

חשוב לשים את הדברים בפרופורציה: מדובר בעדות אישית של קוקסון על שיחות פרטיות, לא בהצהרה רשמית של אנתרופיק או קונצנזוס מדעי מוסכם. עם זאת, גם המנכ"ל של אנתרופיק, דריו אמודיי, הזהיר בעצמו בעבר מהסיכונים האפשריים של מערכות בינה מלאכותית חזקות מדי, וקרא להיערך לתרחישים שבהם יהיה קשה לשלוט בהן.

קוקסון גם לא הראשון שעוזב חברת בינה מלאכותית מובילה מסיבות של בטיחות. בשנים האחרונות היו כמה חוקרים ובכירים שפרשו מחברות דומות והזהירו מפני קצב פיתוח מהיר מדי, לעומת יכולת מוגבלת של ממשלות להבין ולפקח על מה שקורה בפועל. הבעיה, לדעתו, היא לא רק שהמערכות מתחזקות, אלא שהחברות ממשיכות להתחרות זו בזו כמעט בכל מחיר, כי כל אחת חוששת שאם היא תאט, המתחרה תגיע קודם לפריצת הדרך הבאה.

יש בשרשור גם משפט שממחיש יפה את תחושת האבסורד שהוא מרגיש: "זה די מטורף שזה חייב לקרות על המקלדות של כמה מהנדסים שגרים בסן פרנסיסקו, במקום בבונקר במדבר, כמו במקום שבו עשו את פרויקט מנהטן". קוקסון לא טוען שאסון בטוח לקרות, אלא שהאנשים שמפתחים את הטכנולוגיה החזקה ביותר שנוצרה אי פעם, לא יודעים בוודאות איך לשלוט במה שהם בונים, ובכל זאת ממשיכים ללחוץ על הגז.

לפי דיווחי חוץ, גם ה-Wall Street Journal מתייחס לעזיבתו של חוקר מאנתרופיק על רקע חששות מבינה מלאכותית שיוצאת משליטה, אבל בלי לפרט שמות או לקבל אישור רשמי מהחברה. בינתיים אין תגובה רשמית מאנתרופיק, ולא ידוע מי יחליף את קוקסון בתפקידו.