נקודה
שמיים בהירים - תל אביב
תל אביב
שמיים בהירים
33°
ירושלים 33°
חיפה 30°
באר שבע 33°
אילת 35°
מדורים
שימושי PLUS

בכירי תעשיית ה-AI מזהירים: "חייבים להאט לפני שנאבד שליטה"

סם אלטמן ודריו אמודיי מתריעים מאובדן שליטה. ברקע: חות'ים ואיראנים כבר משתמשים בטכנולוגיה לפיתוח נשק ואיסוף מידע על ישראלים

דניאל שיף
דניאל שיף
ג' תשרי התשפ"ז
בכירי תעשיית ה-AI מזהירים: "חייבים להאט לפני שנאבד שליטה"
Sam Altman TechCrunch SF 2019 Day 2 Oct 3 (cropped) צילום: צילום: TechCrunch / CC BY 2.0 / ויקימדיה קומונס

זה לא כל יום ששני המנכ"לים הכי חשובים בעולם הבינה המלאכותית קמים ואומרים בקול רם: תפסיקו, או לפחות תאטו.

דריו אמודיי, מנכ"ל אנתרופיק, פרסם מאמר ארוך ומפורט, בן כ-3,800 מילים, שבו הוא קורא לכל התעשייה להוריד הילוך. "אנחנו חייבים להאט את הקצב שבו אנו משפרים את היכולות של מודלי בינה מלאכותית", כתב. "ההתקדמות עדיין תיראה מהירה, ועלינו לעשות שימוש נבון בזמן שנרוויח".

מה שמדאיג את אמודיי זה בעיקר תופעה שנקראת שיפור עצמי רקורסיבי, כלומר מצב שבו מערכות AI מסייעות לבנות את הדור הבא של עצמן. "אם התהליך יישאר ללא פיקוח, הוא עלול לעקוף את יכולתנו להבין את המערכות האלה ולשלוט בהן", הזהיר.

ואז יש את הסיפור שממש עשה לו את זה. נחיל של אלף ומאתיים סוכני AI של OpenAI פרץ בעצם לתשתיות של פלטפורמת Hugging Face. אמודיי תיאר אותם כ"קולקטיב מסור בקנאות", והעריך שנחיל בעל יכולות חזקות יותר עלול לגרום "נזק קטסטרופלי" ואפילו להשתלט על האינטרנט בתוך שנה. לא נעים.

הוא לא היחיד עם דוגמאות מטרידות. דוח מודיעין איומים של אנתרופיק חשף שגורמים באזור שבשליטת החות'ים בתימן השתמשו בצ'אטבוט קלוד לפיתוח תוכנה לרקטה מונחית, לטיל בליסטי ולדאון היפרסוני. חשבונות שנקשרו לאיראן, לפי הדוח, ניצלו אותו למעקב אחר ספינות אמריקניות ולאיסוף מידע על מאות ישראלים ויהודים.

בעקבות זה קם אמודיי עם תוכנית תלת-שלבית: להכניס מעריכים חיצוניים לתוך משרדי החברות, לקבוע סטנדרטים ברורים במדינות דמוקרטיות, ולנסות להגיע להבנות עם מדינות אוטוריטריות בנוגע לשימושים מסוכנים.

וכאן נכנס סם אלטמן, מנכ"ל OpenAI, שדווקא לא נשאר בשקט. "אני מסכים עם דריו שעלינו להאט את ההתקדמות בחזית", כתב, והבטיח לאמץ את הרעיון של מעריכים עצמאיים. אבל אלטמן ממהר להבהיר: "כשאנחנו מדברים על קצב, איננו מדברים על עצירה". במילים אחרות, לא מדובר בלחיצה על הבלם, רק בהאטה מבוקרת.

סם אלטמןצילום: סם אלטמן

אלטמן הזהיר משני תסריטים גרועים במיוחד: לאבד שליטה על העתיד לטובת ה-AI עצמו, או ריכוז כוח אדיר מדי בידי חברה או אדם בודד. "שום לחץ תחרותי אמריקני אינו יכול להצדיק פזיזות", כתב, והוסיף שכל חברה שמפתחת מודלים מתקדמים חייבת לפעול באחריות, "ואין סיבה שמישהו מאיתנו יבוא לעבודה אם איננו יכולים לעשות זאת".

לא רק שני המנכ"לים האלה מסכימים. אילון מאסק צייץ בקצרה "דריו צודק", דמיס הסביס מגוגל דיפמיינד אמר שהכיוון "נכון לרגע הקריטי הזה", וסאטיה נאדלה ממיקרוסופט תמך בהכנסת בוחנים חיצוניים, אך הזהיר שהפיקוח צריך להיות רחב ולא בשליטת קבוצה מצומצמת. "אם ה-AI שאנחנו בונים אינו מסייע לאנושות ואינו נתון לשליטה אנושית, הוא לא שווה את המרדף", כתב.

אבל לא כולם קונים את הסיפור. הממשל של דונלד טראמפ דחה את האזהרות בתוקף. הנשיא עצמו אמר בביקור באירלנד ש"כוחות שליליים מאוד" מעלים תרחישים שלא יתממשו, והדגיש: "אנחנו מובילים על סין ב-AI, ומי שמנצח ב-AI, מנצח". יועצו דיוויד סאקס הלך צעד קדימה והאשים את המנכ"לים בכוונות נסתרות: "המטרות שלכם לא אלטרואיסטיות", אמר, בטענה שהם בעצם מנסים לגרום למתחרים שלהם להאט.

יש גם קול שחושש שכל הסיפור הזה נועד רק להעיב על שיקולים כלכליים. אנתרופיק, סבבו, נערכת להנפקה עתידית שמוערכת בכשני טריליון דולר, כך שהאזהרות המוסריות מגיעות בדיוק כשהחברה עומדת לגייס הון עתק. גם ג'ו לונסדייל, ממייסדי פלנטיר, ביקר את הטון המאיים של השיח כולו וכתב: "העולם יהיה בסדר, חברים... אין טעם להפחיד את כולם. אנחנו שולטים במצב".

השאלה הגדולה שנשארת פתוחה היא מי בכלל יקבע מתי צריך להאט, ומי ייתן לבוחנים החיצוניים סמכות אמיתית לעכב אימון של מודל חדש. אלטמן עצמו, כשנשאל למה הוא ואמודיי לא סתם מתכנסים ומגבשים הסכמה ביניהם, ענה בקצרה: "אני חושב שזה יקרה". רק שאף אחד לא ממש יודע אם זה יקרה מספיק מהר.

עד שהמנכ"לים יגיעו להסכמות בפועל, נראה שהתחרות בין החברות, ובין ארצות הברית לסין, ממשיכה בלי הפסקה.

בינה מלאכותית דריו אמודיי סם אלטמן שיפור עצמי רקורסיבי OpenAI

תגובות

רגע, שקט פה מדי

דעתך חשובה - תהיו הראשונים להגיב על הכתבה