קובץ תמים בתיקיית ההורדות עלול להפוך סוכן AI לכלי בידי האקרים

המחקר, שפורסם ב-22 באוקטובר על ידי חוקרי החברה גל ויצמן ועומר סמת, התבסס על ניסיון תקיפה אמיתי שזוהה בסביבת לקוח של Forever Security. במקרה הזה, התוקפים ניסו לנצל את מנגנון ההוראות של Codex, סוכן פיתוח התוכנה של OpenAI, כדי לגרום לו להתקין חבילת תוכנה זדונית. ניסיון התקיפה נבלם לפני שהקוד הזדוני הופעל, אך בעקבותיו החליטו החוקרים לבחון עד כמה השיטה אפקטיבית גם בתנאי מעבדה, והאם ניתן להשתמש בה נגד סוכנים נוספים.

כשהמכונה קוראת הוראות של התוקף

המתקפה מבוססת על מנגנון לגיטימי המשמש סוכני AI לצורכי פיתוח תוכנה. סוכנים כמו Codex ו-Claude Code של Anthropic יכולים לקרוא קובצי הוראות בפורמט Markdown, כגון AGENTS.md ו-CLAUDE.md, כדי להבין את סביבת העבודה, את מבנה הפרויקט ואת כללי הפעולה שעליהם לפעול לפיהם.

אלא שהמנגנון הזה יוצר גם נקודת תורפה. כאשר קובץ הוראות זדוני מגיע לתיקייה שבה פועל הסוכן, הוא עלול להתייחס לתוכנו כאל הנחיות לגיטימיות, גם אם מקורן בתוקף חיצוני.

בתרחיש שהציגו החוקרים, התוקף גורם להורדת קובץ כזה באמצעות אתר אינטרנט זדוני. הקובץ נשמר בתיקיית Downloads, וכאשר סוכן AI מופעל מתוך התיקייה וקורא את ההוראות, הוא עלול לבצע את הפעולות שהתוקף הכתיב לו.

בניגוד לתוכנות זדוניות מסורתיות, הקובץ עצמו אינו מכיל בהכרח קוד שניתן להרצה. הוא מכיל הוראות בשפה טבעית, והסוכן הוא שמתרגם אותן לפעולות ממשיות במחשב. מדובר בסוג של מתקפת הזרקת הוראות (Prompt Injection), שבה מידע ממקור חיצוני ולא מהימן מצליח להשפיע על התנהגותה של מערכת AI.

שינוי הגדרות וגניבת פרטי גישה

בניסויים שביצעו החוקרים נגד Codex, הקובץ הזדוני גרם לסוכן לשנות את הגדרותיו ולהתקין חבילת npm בשם function-color, שנקשרה לפעילות זדונית. לפי החברה, שיעור ההצלחה בניסויים עלה על 90%. אחת הבעיות המשמעותיות הייתה שהשינויים בוצעו בהגדרות גלובליות, ולכן השפעתם עלולה הייתה להימשך גם לאחר שהסוכן עבר לעבוד בפרויקט אחר.

החוקרים בחנו גם מתקפה דומה נגד Claude Code. במקרה הזה, ההוראות הזדוניות גרמו לסוכן לשנות את כתובת שרת ה-API שאליו הוא מתחבר, כך שהתקשורת נותבה לשרת בשליטת התוקף. בדרך זו הדגימו החוקרים אפשרות לגניבת אסימון הזדהות מסוג OAuth, ובתרחישים מסוימים גם להרצת קוד באמצעות תגובות מזויפות מהשרת. שיעור ההצלחה בניסויים הללו עמד על כ-50%.

חשוב להדגיש כי בעוד שניסיון התקיפה נגד Codex התגלה בסביבה אמיתית, התרחיש נגד Claude Code נבנה והודגם בידי החוקרים.

המחקר ממחיש שינוי מהותי במודל האיומים של סביבת המחשוב. בעבר, קובץ טקסט שהורד מהאינטרנט נחשב בדרך כלל לפחות מסוכן מקובץ הרצה. אולם כאשר סוכן אוטונומי מסוגל לקרוא הוראות, לשנות הגדרות ולהפעיל תוכנות, גם טקסט פשוט עלול להפוך לאמצעי תקיפה.

החוקרים ממליצים להימנע מהפעלת סוכני קוד מתוך תיקיית ההורדות, לבדוק קובצי הוראות ממקורות לא מוכרים ולהגביל את יכולתם של סוכנים לשנות הגדרות רגישות ללא אישור. המקרה מדגיש כי ככל שסוכני AI מקבלים יותר עצמאות והרשאות, כך גוברת החשיבות של הפרדה בין מידע שהם קוראים לבין הוראות שהם רשאים לבצע.

[מקור תמונה: Forever Security]