ניוריאליטי הטמיעה את המודלים הגדולים בשרת ההיסק שלה

1 יולי, 2025

השרת יכלול מבאופן מובנה את ה-LLMs ויאפשר פריסה מהירה יותר של תשתיות היסק. שרת החברה מאפשר יצירה של פי 6.5 יותר "אסימונים" לעומת פתרונות מובססי x86

ניוריאליטי הטמיעה את המודלים הגדולים בשרת ההיסק שלה

[מייסד משותף ומנכ"ל ניוריאליטי, משה תנך. צילום: יוסי זליגר]

חברת ניוריאליטי (NeuReality), המפתחת ארכיטקטורת היסק (Inference) ייעודית לבינה מלאכותית, הודיעה כי שרת ההיסק של החברה, NR1 Inference Appliance, יכלול מעתה, באופן מובנה, את מודלי השפה הגדולים (LLMs) הפופולריים, כדוגמת Qwen, Mistral, Llama ו-Granite. לדברי החברה, ההטמעה תאפשר להאיץ פריסת מודלים של בינה מלאכותית יוצרת (GenAI) וסוכני בינה מלאכותית (agentic AI) גם בענן פרטי וגם באתר הלקוח.

השרת מבוסס על שבב ה-NR1, מעבד ייעודי שפיתחה החברה לביצוע משימות היסק. היסק הינו הפעולה שבה המודל מפיק תשובה במענה לשאילתא (prompt) של משתמשים. כיום, ככל שאימוץ יישומי AI הולך ומתרחב, יותר ויותר משאבי עיבוד מוקצים למשימות היסק, וזאת לעומת תחילת מהפכת ה-AI, שבה עיקר עומס העיבוד היה קשור לתהליכי אימון המודלים.

בשרת של ניוריאליטי, שבב ה-NR-1 משולב בתוך מערכת חומרה מלאה הכוללת תקשורת רשת, ממשקי ניהול, תמיכה בפריסה בענן או ב-Edge. ה-Appliance נועד לארגונים שזקוקים לעיבוד מהיר של כמויות גדולות של בקשות AI – בתחומים כמו שירות לקוחות, בריאות, פיננסים ותחבורה. הוא מותאם לשימוש ישיר, ללא צורך באינטגרציה מורכבת, וכולל כלים לניהול, ניטור ואוטומציה של עומסי עבודה מבוססי AI. השרת ניתן להפעלה בתוך פחות מ-30 דקות.

לדברי ניוריאליטי, מבחני ביצועים אחרונים חושפים שיפור דרמטי: עד פי 6.5 יותר יחידות מידע (Tokens) בהשוואה לפתרונות מבוססי מעבדי x86 – וכל זאת באותה עלות ובצריכת אנרגיה זהה. בניסוי השוואתי מול שרתי x86, מערכת NR1 Inference Appliance השיגה חיסכון ניכר בעלות לכל מיליון טוקנים בעת הרצת מודל Llama 3.3B-70B על אותו מאיץ גרפי.

משה תנך, מייסד משותף ומנכ"ל NeuReality: "הפוטנציאל של בינה מלאכותית ברור לכולם – האתגר האמיתי הוא להפוך אותה לכלכלית ונגישה מספיק כדי לאפשר הטמעה פשוטה ושימוש רחב בשירותי ההיסק (inference) בתוך ארגונים". לדברי תנך, "המערכת שלנו מספקת את תוספת הביצועים הדרושה כדי למצות את מלוא הפוטנציאל של המעבדים הגרפיים, תוך ניהול חכם של שאילתות ופלט. כך אנו מאפשרים לחברות להפיק את המירב מהשקעותיהן במערכות AI יקרות בדטה סנטרים".

הפתרון של ניוריאליטי כבר נמצא בשימוש אצל לקוחות בענן ובענף הפיננסים. לחברה שיתוף פעולה עם קוואלקום, המאפשר שילוב עם מאיצי Qualcomm Cloud AI 100 Ultra.

פורסם בקטגוריות: בינה מלאכותית , חדשות

פורסם בתגיות: היסק , ניוריאלטי