תחזית: זיכרון HBM יוביל את מהפיכת הבינה המלאכותית

18 יוני, 2025

מכון KAIST הקוריאני פרס את מפת הדרכים של טכנולוגיית הזיכרון לדורות הבאים של שרתי בינה מלאכותית, והגיע למסקנה שאננו נמצאים בפני מהפיכה בקנה מידה של מהפיכת המעבדים בעשורים הקודמים

בתמונה למעלה: חתך רוחב של זכרון HBM מבוסס Interposer. מקור: KAIST

המכון הקוריאני למדע ולטכנולוגיה (KAIST) פירסם מסמך בן מאות עמודים שבו נפרשת מפת דרכים עתידית לטכנולוגיית הזיכרון High Bandwidth Memory – HBM, אשר חוזה שינוי עמוק במעמדו של הזיכרון במערכות מחשוב – ממעמד של משאב תומך למעמד של מרכיב קריטי חכם הנמצא בליבת מערכות העיבוד. המכון חוזה עלייה מסחררת בביצועים עד לשנת 2038, המזכירה את תחזית ביצועי המעבדים שקיבלה את הכינוי "חוק מור".

HBM היא טכנולוגיית זיכרון שתוכננה מראשית דרכה לשבור את מגבלות הפס וההשהייה המגבילה את ביצועי הזיכרונות המהירים היום, כמו DDR ו-GDDR. במקום שורות של שבבים הממוקמים על לוח אם וניגשים למעבד דרך ערוצי תקשורת, זיכרון HBM בנוי כמתכונת של ערימות זיכרון אנכיות (Stack) שבהן שבבי DRAM מוערמים זה על גבי זה ומקושרים באמצעות ערוצים אנכיים (TSV). הערימה כולה יושבת על-גבי המעבד או על-גבי Interposer – גשר סיליקוני המחבר את הזיכרון ישירות לשבב המעבד. בכך מושגת העברה מהירה של נתונים תוך צריכת חשמל נמוכה במיוחד.

בעשור האחרון הפכה HBM לטכנולוגיה מועדפת במאיצי בינה מלאכותית, מחשבי־על וכרטיסים גרפיים עתירי ביצועים. הדור הנוכחי, HBM3e, כבר מגיע למהירויות של 1.2–1.5 טרה־בייט לשנייה ולקיבולות של 24–36 גיגה־בייט למודול יחיד.

מ-2 ל-64 טרה־בייט לשנייה: מפת הדרכים להאצת הזיכרון

הדו"ח של KAIST מתאר חמישה דורות עתידיים של זכרונות HBM, החל מ-HBM4 אשר צפוי להגיע לשוק בשנת 2026, ועד HBM8 אשר צפוי להגיע לשוק ב־2038. זכרון HBM4 יגיע לקיבולת של 48 גיגה־בייט ורוחב פס של 2 טרה־בייט לשנייה. זכרון HBM5 צפוי להגיע לשוק ב-2029 ולספק נפח של 80 גיגה־בייט וקצב העברת נתונים של עד 4TB/s. הוא יכיל בקרים פנימיים, זיכרון מטמון L3, וחיבורי CXL/LPDDR בתוך האריזה.

בשנת 2032 צפויה לצאת טכנולוגיית HBM6, שעל פי התחזית תספק נפח זכרון של 120 ג'יגה־בייט ורוחב פס של 8TB/s. היא כבר תתבסס על מארזים המכילים מספר "מגדלי זיכרון" אשר יספקו פיזור חום יעיל יותר. הקפיצה הגדולה ביותר צפויה על-פי KAIST להתרחש בשנת 2038, עם הופעת טכנולוגיית HBM8. לפי התחזית, כל מארז כזה יגיע לנפח זכרון של 240 ג'יגה־בייט ולקצב העברת נתונים של עד 64 טרה־ביט לשנייה. אך עם עוצמה כזו באה גם דרישה חסרת תקדים לחשמל – עד 180 ואט למודול זיכרון בודד. בשילוב עם מעבד גרפי עתידי, מערך אחד של עיבוד־AI יכול לצרוך עד 15 קילוואט. זוהי רמת הספק שממקמת את שבבי העתיד באותה ליגה של מזגנים תעשייתיים או ציוד רפואי כבד.

הקירור יהיה בתוך המארז

מפלצות הביצועים האלה כבר לא יכולות להסתמך על טכניקות הקירור ההמקובלות היום, כמו צלעות קירור, מאווררים, וקירור נוזלים על גב השבב. התחזית של KAIST מעריכה שכבר ב-HBM5 יהיה צורך להתבסס על קירור באמצעות טבילת המארז כולו בנוזל מוליך חום (Immersion). בדור HBM6 יוטמעו תעלות קירור מיקרוסקופיות בתוך המארז עצמו, ובדורות HBM7 ו־HBM8, החוקרים צופים שימוש באריזות תלת־מימדיות, שבהן הזיכרון יושב ישירות מעל המעבד, עם קישוריות חשמלית ותרמית צפופה, שמחייבת טכנולוגיות קירור מהדור הבא, כמו מוליכים נוזליים פנימיים, הדבקות תרמיות דו-צדדיות, וחיישני טמפרטורה מובנים.

כשהזיכרון הוא גם אחסון

אחת ההצעות החדשניות ביותר בדו"ח היא לשלב שבבי NAND בתוך מארז ה-HBM – לא כתחליף, אלא כהשלמה. כך ייווצר מודול היברידי המכונה HBF: זיכרון פלאש מהיר במיוחד, עד טרה־בייט לנפח, שיושב בצמוד לערימת ה-DRAM. הקשר בין השניים יהיה כה מהיר, עד שניתן יהיה לשמור במודול נתונים "קרים" ב־NAND ולהעביר אותם מיידית ל־HBM בעת הצורך – קונספט שמיועד במיוחד למודלים גדולים של בינה מלאכותית, הדורשים זיכרון אדיר.

כך, כל מאיץ AI יוכל להחזיק לא רק מאות גיגה־בייט של זיכרון עבודה מהיר, אלא גם טרה־בייטים של אחסון ביניים, מבלי לצאת מהאריזה. המעבר בין DRAM ל-NAND יתבצע דרך ממשק ישיר במהירות של כ־128 גיגה־בייט לשנייה – מה שמקרב את הפלאש לביצועי זיכרון רגיל.

האם המהפכה תיעצר בחשמל?

מחברי הדו"ח מזהירים שהאיום הגדול ביותר על החזון הזה הוא לא היכולת הטכנית – אלא מגבלות התשתית. מרכזי נתונים כיום אינם ערוכים להתמודד עם הספקים של עשרות אלפי ואטים לשרת יחיד. מגבלות חשמל, קירור ופיזור חום עלולות להפוך לצוואר הבקבוק החדש. לפי KAIST, עתיד הבינה המלאכותית תלוי ביכולת לבנות לא רק שבבים מהירים – אלא גם סביבות הפעלה יעילות, חסכוניות, ומבוקרות תרמית.

ממרכיב תומך ללב המערכת

מפת הדרכים של KAIST היא קריאת כיוון לעשור הקרוב: הזיכרון לא יהיה עוד רכיב פסיבי בצד המעבד, אלא חלק אינטגרלי, חכם ודינמי בלב הארכיטקטורה של שרתי הבינה המלאכותית. כל מי שמתכנן את הדור הבא של מאיצי AI – צריך לחשוב על הזיכרון כעל מרכיב מרכזי בעיצוב השרת, ולא כמנגנון תמיכה. הוא אולי אפילו הכוכב הראשי המגדיר את ביצועיו.

פורסם בקטגוריות: חדשות