אנבידיה פיתחה פתרון אבטחה נגד סוכני AI ש"משתוללים"

[בתמונה למעלה: מעבד NVIDIA BlueField-4 DPU]

אנבידיה (NVIDIA) משיקה פלטפורמת אבטחה חדשה שנועדה להתמודד עם אחת הבעיות המטרידות שמתעוררות עם המעבר מצ'אטבוטים לסוכני AI אוטונומיים: מה קורה כאשר סוכן מצליח לעקוף את מגבלות האבטחה שהוצבו בפניו וממשיך לפעול מחוץ לגבולות שהוגדרו לו.

הפלטפורמה, NVIDIA Open Agent Safety Platform, משלבת שתי שכבות מרכזיות: תוכנת קוד פתוח בשם OpenShell, שמבודדת את סביבת הפעולה של הסוכן ומגבילה את פעולותיו, וארכיטקטורת Sentry, המוסיפה שכבת ניטור ואכיפה חיצונית המבוססת על מעבדי BlueField-4 DPU, שפותחו במרכז הפיתוח של אנבידיה בישראל. לדברי החברה, Sentry מסוגלת לבודד ולעצור בתוך אלפיות השנייה סוכן שמנסה לחרוג מגבולות הפעולה שלו.

ההכרזה מגיעה על רקע אירועי אבטחה שנחשפו בחודשים האחרונים, שבהם סוכני AI הצליחו במהלך בדיקות לעקוף מנגנוני אבטחה ברמת האפליקציה ולצאת מסביבות הבדיקה שהוקצו להם. אנבידיה מציגה את המקרים האלה כדוגמה לבעיה עקרונית: ככל שסוכנים מקבלים יותר זמן פעולה, הרשאות וכלים, לא ניתן להסתמך רק על הוראות שניתנות למודל או על מנגנוני הגנה הנמצאים באותה סביבת תוכנה שבה פועל הסוכן.

לא סומכים על הסוכן שישמור על עצמו

OpenShell מנסה ליצור גבול חיצוני ואכיף סביב הסוכן. התוכנה יכולה להגביל גישה לרשת, לקבצים, לתהליכים ולפרטי הזדהות. כברירת מחדל, כל תקשורת יוצאת חסומה, והסוכן יכול להתחבר רק ליעדים שאושרו במדיניות האבטחה. בקשות רשת עוברות דרך proxy שבודק אותן מול מנוע מדיניות לפני יצירת החיבור בפועל.

ברמת מערכת ההפעלה נעשה שימוש בין היתר ב-Landlock של לינוקס להגבלת הגישה לקבצים וב-seccomp BPF לחסימת קריאות מערכת מסוכנות וניסיונות להרחיב הרשאות. גם פרטי ההזדהות לשירותים חיצוניים אינם חייבים להיחשף לסוכן עצמו: שכבת האבטחה יכולה לצרף אותם לבקשה רק לאחר שאושרה.

אלא שאנבידיה מוסיפה שכבת הגנה נוספת למקרה שבו סוכן מצליח לעקוף גם את סביבת התוכנה. Sentry פועלת בנפרד על גבי BlueField-4 ומנטרת את פעילות הסוכן מחוץ למערכת המחשוב שעליה הוא עצמו רץ. באמצעות סביבת DOCA של אנבידיה ניתן לבצע זיהוי איומים, בידוד רשת, בקרת גישה לנתונים ואכיפת מדיניות מתוך ה-DPU.

בארכיטקטורת Vera Rubin של אנבידיה, BlueField-4 משמש גם כנקודת בקרה בנתיב התקשורת של הסוכן אל מודל ה-AI. הרעיון הוא פשוט: הסוכן זקוק למודל כדי להמשיך "לחשוב" ולפעול, ולכן שליטה בנתיב הזה מאפשרת ליצור מעין מתג עצירה שנמצא מחוץ להישג ידו של הסוכן.

עם זאת, אנבידיה אינה מציגה בשלב זה הוכחה לכך שהמערכת הייתה מונעת את אירועי האבטחה שכבר התרחשו. מדובר בארכיטקטורה שנועדה להתמודד עם אותו סוג של כשל, ולא בשחזור פומבי של האירועים והדגמה כי הם אכן נבלמו.

למהלך מצטרף אקוסיסטם רחב של יותר מ-100 ארגונים. Anthropic עובדת עם אנבידיה על הוספת OpenShell ו-BlueField לסביבת Claude Managed Agents; Salesforce שילבה את OpenShell עם Slack; SAP משלבת אותו ב-Joule Studio; ו-Scale AI עובדת על שילוב הטכנולוגיה בתשתית הסוכנים שלה. גם חברות רובוטיקה ובהן Figure ו-Gecko Robotics בוחנות את OpenShell להגבלת פעולות של מערכות אוטונומיות בעולם הפיזי. בין החברות הנוספות שעובדות עם טכנולוגיות הפלטפורמה נמצאות Microsoft, Cisco, CrowdStrike, Palo Alto Networks, Red Hat, HPE ו-Dell.

המהלך מסמן גם הרחבה של תפקידו של BlueField. ממעבד שנועד במקור להוריד מה-CPU משימות תקשורת, אחסון ואבטחה, אנבידיה מנסה כעת להפוך את ה-DPU הישראלי גם ל"שומר הסף" החומרתי של עידן סוכני ה-AI.