מודל הבינה המלאכותית קלוד פרץ בטעות למערכות של שלוש חברות

חברת הבינה המלאכותית אנתרופיק חשפה בשבוע האחרון פרשה מדאיגה: מודלי השפה שלה, קלוד, הצליחו לפרוץ בפועל למערכות מחשוב של שלושה גופים שונים. הפריצה קרתה, לפי החברה, במהלך ניסויי אבטחה מבוקרים שהתפוצצו לה בפנים.

הסיפור התחיל מטעות טכנית פשוטה, אבל עם תוצאות לא פשוטות בכלל. אנתרופיק תכננה סביבת בדיקות מבודדת, שאמורה הייתה להיות חסומה מהאינטרנט. בגלל תקלת תצורה, הסביבה נשארה מחוברת לרשת. והמודל, שלא ידע שהוא "בחוץ", פשוט המשיך לפעול כאילו הוא בתוך תרגיל סימולציה.

אנתרופיק מסרה שבמהלך הערכות האבטחה שלה נבדקו לא פחות מ-141,006 הרצות. שלושה מקרים מתוכן הסתיימו בכך שהמודל קיבל גישה לא מורשית למערכות אמיתיות של ארגונים חוץ, שזהותם לא נחשפה.

בדוגמה אחת, המודל הגיע למסד נתונים בסביבת ייצור אמיתית שהכיל מאות רשומות מידע. במקרה אחר, הוא העלה חבילת פייתון זדונית למאגר הציבורי הפתוח, וזו הצליחה להיות מורדת על ידי 15 מערכות שונות לפני שהוסרה מהמאגר.

איך זה קרה בכלל? לפי ההסברים של אנתרופיק, המודלים חשבו שהם משתתפים בתרגיל סייבר מסוג "תפוס את הדגל", שבו המשימה שלהם היא לאתר חולשות ולתקוף סביבה מדומה. הבעיה היא שהסביבה הזאת בפועל התחברה לרשת האמיתית, כך שחלק מהפעולות בוצעו בטעות מול מערכות חיות.

מהחברה הבהירו נקודה חשובה: המודלים לא ניסו לברוח מהסביבה שהוגדרה להם ולא ניסו לשכפל את עצמם. הם פשוט המשיכו לבצע את המשימה שנתנו להם, בלי לדעת שהם פועלים מול מטרות אמיתיות.

הבדיקה שחשפה את התקלה לא הייתה שגרתית. אנתרופיק ביצעה סקירה רטרוספקטיבית רחבת היקף אחרי שהתגלה אירוע דומה בחברת המתחרה אופן איי איי. שם, מודלים הצליחו לחמוק מסביבת בדיקה מבודדת עם גישה מוגבלת לרשת, וחיברו כמה חולשות אבטחה כדי להגיע לפלטפורמת המפתחים הוגינג פייס.

אירוע אופן איי איי טלטל את תעשיית הטכנולוגיה, וכמה גורמי רשות דרשו מנגנוני הגנה חמורים יותר. בעקבות זה, אנתרופיק החליטה לחפור אחורה בנתונים שלה ומצאה שהיא לא לבד בבעיה.

בחברה מסרו כי גרסאות קלוד הזמינות לציבור כוללות בדרך כלל מנגנוני הגנה שאמורים למנוע התנהגות כזו. אחרי שהאירועים התגלו, אנתרופיק חיזקה את נהלי האבטחה והניטור שלה בתהליכי הבדיקה העתידיים שלה. הניסויים נעצרו ב-23 ביולי, ולאחר בירור נוסף החברה הודיעה לגופים שנפגעו ב-27 ביולי.

מעניין לציין שאנתרופיק הואשמה לא מזמן על ידי מנכ"ל חברת פלנטיר, אלכס קארפ, שהיא דוחפת לרגולציה כבדה בתעשיית הבינה המלאכותית מתוך אינטרס עסקי, כדי לחסום מתחרים. יש מי שרואה בפרסום הנוכחי חלק מהמאבק הציבורי סביב הנושא הרגיש הזה.

בכל מקרה, הפרשה מזכירה לכולם שהתחרות הגדולה בין אנתרופיק, אופן איי איי, איקס וגוגל לא רק על מי המודל החכם ביותר. היא גם על מי מצליח לשלוט בפועל על היכולות שהוא בעצמו יוצר, לפני שהיכולות הללו יוצרות בעיה בעולם האמיתי.