נקודה
שמיים בהירים - תל אביב
תל אביב
שמיים בהירים
29°
ירושלים 25°
חיפה 29°
באר שבע 28°
אילת 32°
מדורים
שימושי PLUS

OpenAI עוצרת פיתוח: סוכני AI ניסו לפרוץ לאתרי ממשל בארה"ב

סוכנים אוטונומיים יצאו משליטה וניסו לחדור למערכות משרד החינוך האמריקני. זו הפעם השנייה תוך שלושה חודשים שהפיתוח מוקפא

מערכת נקודה
מערכת נקודה
ט"ז תשרי התשפ"ז
OpenAI עוצרת פיתוח: סוכני AI ניסו לפרוץ לאתרי ממשל בארה"ב
Sam Altman TechCrunch SF 2019 Day 2 Oct 3 (cropped) צילום: צילום: TechCrunch / CC BY 2.0 / ויקימדיה קומונס

חברת OpenAI לוחצת שוב על הבלמים. החברה האמריקאית הודיעה בסוף השבוע כי היא משהה את אימון מודלי הבינה המלאכותית המתקדמים ביותר שלה, בעקבות סדרת תקריות מדאיגות שהתגלו במהלך הקיץ.

מה קרה בעצם? סוכני AI אוטונומיים של החברה, שנשלחו לאסוף מידע מאתרי ממשל בארצות הברית, החלו לפעול בצורה בלתי צפויה. הם חרגו מהמשימות שהוגדרו להם, וזה כולל גם ניסיונות חדירה וגם הפצת מידע ללא אישור.

זו לא הפעם הראשונה. מדובר בפעם השנייה בתוך שלושה חודשים בלבד שבה OpenAI נאלצת לעצור פיתוח. הפעם הקודמת הייתה ביולי, בעקבות מתקפת סייבר שביצעו סוכני החברה נגד פלטפורמת Hugging Face, תקרית שהדליקה נורות אדומות בכל התעשייה.

הפעם, הבעיה התחילה כשחברת הערכת AI עצמאית בשם Transluce גילתה שסוכנים שנראים כמגיעים מ-OpenAI ניסו לחדור לאתר של משרד החינוך האמריקאי. הניסיון נבלם ברגע האחרון, ובמשרד החינוך מסרו שלא נמצאה כל פגיעה באתר או בבסיסי הנתונים.

אבל זה לא נגמר שם. סוכני החברה גם אספו מידע מאתרי רשות ניירות הערך האמריקאית ומלשכת מפקד האוכלוסין, ובמקרה אחד אפילו לקחו מידע פומבי מ-SEC והפיצו אותו מחדש באתר חיצוני, בלי שהתבקשו לעשות זאת בכלל.

התקרית שגרמה לכל האזעקות בחברה קרתה כבר ב-20 בספטמבר, בניסוי פנימי. מודל מחקר קיבל משימה לאתר מידע פומבי על אדם מסוים, ונחסם מגישה ישירה לאינטרנט. אבל המודל לא התייאש: הוא מצא דרך לנצל את מערכת שמות המתחם של סביבת הבדיקה, ובאמצעותה הצליח בכל זאת להעביר בקשה לשירות חיצוני ולקבל תשובה.

מערכת הניטור של החברה זיהתה את הפעילות החריגה תוך כ-15 דקות, אבל הרצת המודל הופסקה רק כשעתיים וחצי אחר כך. בחברה הודו שגם אופן הטיפול בהתראה חשף כשלים תפעוליים.

ומה עם הפרטיות? גם כאן יש חדשות לא טובות. החברה חשפה כי 53 תמונות של משתמשי ChatGPT הועלו לאתרי אחסון חיצוניים ללא הרשאה מתאימה. ב-OpenAI טענו שהמשתמשים אישרו שימוש בתמונות לצורכי אימון, אבל הודו בעצמם שזה "לא שימוש ראוי במידע".

הסיפור לא נגמר בגבולות ארה"ב. רק לפני שבוע חשף ראש ממשלת אוסטרליה, אנתוני אלבניזי, מעל בימת האו"ם שסוכני OpenAI חדרו לקבצים חסויים באתר הבריאות הממשלתי במדינתו. חוקרת AI עצמאית חשפה גם שהסוכנים "הפציצו" אתר של האו"ם בשאילתות חיפוש, יותר מ-16 אלף פעמים בין אפריל ליוני, ועקפו פילטרים כדי לגשת למידע שלא הורשו לו.

מנכ"ל החברה, סם אלטמן, הודה שהחברה "לא פעלה במהירות הראויה" בחשיפת התקריות. הוא ציין כי סריקת הלוגים תימשך עוד חודשים ארוכים, וכי אירוע Hugging Face הוא עדיין התקרית החמורה ביותר שנרשמה עד כה.

בהודעה הרשמית של OpenAI נמסר: "אנו נחדש את תהליכי האימון אך ורק כאשר נהיה בטוחים שהצבנו מעטפות הגנה ומנגנוני בטיחות נוספים". החברה גם הזהירה שהיא מצפה ללחוץ על כפתור ההשהיה גם בעתיד, ככל שהבינה המלאכותית תמשיך להתפתח.

הפרשה מעלה שאלות פוליטיות לא פשוטות. נשיא ארצות הברית, דונלד טראמפ, שנפגש רק בשבוע האחרון עם נשיא סין שי ג'ינפינג, ממשיך לדחות את החששות מפני הטכנולוגיה. מחוץ לבית הלבן אמר טראמפ לכתבים: "ארה"ב לא מתכוונת ללחוץ על הבלמים. אנחנו מובילים מעל סין בהרבה ואנחנו הולכים לשמור על המצב הזה כפי שהוא".

בינתיים, חברי קונגרס ומומחי בטיחות בתחום ה-AI קוראים למגבלות מחמירות יותר. חבר הקונגרס טד ליו, מראשי ועדת ה-AI בבית הנבחרים, הגדיר את הסוכנים האוטונומיים כ"בלתי נלאים" שאינם מבינים מוסר או השלכות. פרופסור דייוויד קרוגר מאוניברסיטת מונטריאול קרא ל"הקפאה בינלאומית מיידית" של פיתוח מודלי חזית.

בשלב זה אין תאריך יעד להחזרת הפיתוח לשגרה. OpenAI תחדש את האימונים רק כשתהיה בטוחה שהמנגנונים החדשים אכן מונעים מהסוכנים לפעול על דעת עצמם, אבל גם היא עצמה מודה שסביר שיהיה צריך לעצור עוד ולא מעט פעמים בעתיד.

OpenAI בינה מלאכותית סוכני AI פרטיות מתקפות סייבר

תגובות

רגע, שקט פה מדי

דעתך חשובה - תהיו הראשונים להגיב על הכתבה