חברת Cerebras Systems מסן פרנסיסקו הכריזה על השבב הגדול ביותר בעולם – מעבד הבינה המלאכותית (AI) מדגם CS-3, אשר מיוצר בתהליך 5 ננומטר של TSMC ומיוצר על-גבי פרוסת סיליקון שלמה (Wafer). הרכיב הבלתי-שגרתי הזה מיועד לאימון בינה מלאכותית גדולים מאוד. שטח הסיליקון שלו הוא 46,225 ממ"ר (פי 57 ממעבד H100 של אנבידיהׂ). הוא כולל 4 טריליון טרנזיסטורים, 900,000 ליבות עיבוד, זיכרון על השבב בנפח 44 ג'יגה-בייט וגישה לזיכרון בקצב של 21 פטה-בייט לשנייה.
המגה-שבב מיועד להתמודד לאמן רשתות נוירוניות גדולות, הכוללות עד 4 טריליון פרמטרים. הארכיטקטורה של המערכת מאפשרת לקשר מספר רב של רכבים ליצירת מחשב גדול יותר. כך למשל, שימוש במארג התקשורת SwarmX interconnect, לקשר עד2048 רכיבי CS-3 כדי לייצר מחשב-על בעוצמת עיבוד של רבע zettaflops (כלומר, 10 בחזקת 21). כל רכיב יכול להתחבר אל זכרון חיצוני בנפח של 1,200 טרה-בייט המאפשרים למערכת יחידה לאמן מודלים הכוללים 24 טריליון פרמטרים – יכולת המאפשרת לבנות מודלי עיבוד שפה (LLM) גדולים פי 10 ממודל GPT-4 הנוכחי.
החברה מסרה שכיום היא בונה מחשב על מבוסס CS-3 בשיתוף עם חברת G42 מאבו-דאבי, אשר יתחיל לפעול ברבעון השני 2024. המחשב החדש, Condor Galaxy 3, יתבסס על 64 מערכות (או שבבים – קשה להחליט איך לקרוא להם) מסוג CS-3 וגיע לעוצמת עיבוד של 8exaFLOPs. עד היום בנתה G42 שני מחשבי על המבוססים על הדורות הקודמים של Cerebras, שכל אחד מהם הוא בעוצמת עיבוד של 4exaFLOPs. המחשב החדש יקושר למחשבים הקודמים ויכפיל את עוצמת האימון שלו, ל-16exaFLOPs. חברת G42 היא אחת מהמשקיעות ובעלת מניות ב-Cerebras.
בחודש שעבר הכריזה החברה על שיתוף פעולה עם חברת קואלקום, בבניית מחשב בניה מלאכותית לאימון רשתות נוירונמיות אשר יופעל באמצעות Qualcomm Cloud AI 100. הוא יתבסס על מערכת הדור השני, Cerebras CS-2 וישמש לעיבוד מודלי שפה גם בפורמט Mx החדש, אשר פותח בשנת 2023 באמצעות פרוייקט משותף של אינטל, AMD, קואלקום, אנבידיה, Arm ו-Meta. חברת Cerebras הוקמה בשנת 2015 על-ידי חמישה מייסדים אשר מכרו ל-AMD יצרנית שרתים תמורת כ-334 מיליון דולר. החברה לקחה על עצמה את המשימה לייצר שבבי ענק עבור תשתיות ענן ובינה מלאכותית. מאז הקמתה היא גייבה כ-720 מיליון דולר, כאשר בגיוס הון האחרון, בנובמבר 2021, היא גייסה 250 מיליון דולר לפי שווי חברה של כ-4 מיליארד דולר.
