חברת היילו (Hailo) התל-אביבית הכריזה על כרטיס ההאצה Hailo-8 M.2 וכרטיס האצה המופיע בפורמט Mini PCIe אשר מיועדים להאיץ את פעילות ההסקה של רשתות לימוד עומק נוירוניות (Deep Learning) במכשירי קצה. המודולים מבוססים על מעבד הבינה המלאכותית Hailo-8 שהחברה פיתחה. המודולים מותאמים לתשתיות התוכנה הסטנדרטיות בתחום הרשתות הנוירוניות, דוגמת TensorFlow ו-ONNX, הנתמכות על-ידי ה-Dataflow Compiler של Hailo.

המודולים מספקים עוצמת עיבוד של 26 טריליון פעולות בשנייה (TOPS) ביעילות הספק של 3TOPS/W. המודול מופיע בגודל של 22 על 60 מ"מ ו-22 על 80 מ"מ ונתמך על-ידי מערכת ההפעלה לינוקס. בקרוב החברה תוסיף גם תמיכה של מערכת ההפעלה חלונות. החברה דיווחה שבמבחן השוואתי שנעשה בין המודול שלה לבין מודול Myriad-X של אינטל ומודול Edge TPU של גוגל, הוא היה מהיר יותר בשיעור גבוה: מספר התמונות ממבחן סטנדרטי שהוא ביצע להן עיבוד בשנייה אחת, היה גבוה פי 26 מהמודול של אינטל ופי 13 מהמודול של גוגל.

הכרטיס מיועד לשוק חדש ומתפתח של בינה מלאכותית במתכונת plug in, אשר מיועד לענות לדרישה באבזרי קצה עתירי ביצועים וחסכוניים באנרגיה ובמחיר. הדבר מתבטאר בביקוש גובר לאבזרי קצה מבוססי AI ללא מאוורר, המאפשרים לחבר מספר רב של מצלמות למכשיר קצה בודד המספק עיבוד וידאו חכם.

חברת אינטל וקבוצת חוקרים מאוניברסיטת NUS בסינגפור פיתחו יכולת מישוש עדינה לרובוטים, המבוססת על שימוש בעור מלאכותי (e-skin) מסוג חדש ועל המעבד הנוירומורפי Loihi של אינטל. במסגרת הניסוי, הם השתמשו ביד רובוטית המצויידת בעור מלאכותי על-מנת לקרוא כתב ברייל ולאחר מכן להעביר דרך הענן את נתוני החישה לשבב Loihi, שעיבד את המידע והפיק ממנו משמעות סמנטית. Loihi השיג דיוק של יותר מ-92% בזיהוי אותיות כתב ברייל, ונדרש להספק קטן פי 20 מזה שנדרש למעבד סטנדרטי (Von Neumann) כדי לבצע את אותה המשימה.

במקביל, נבחנה טכניקה לשיפור יכולת התפיסה הרובוטית באמצעות שילוב של נתונים מהעור המלאכותי וממצלמה מבוססת אירועים (בתמונה למטה). עיבוד המידע איפשר לרובוט לזהות תופעות כמו החלקה סיבובית, החשובה לאחיזה יציבה, וסיווג קטגוריות שונות מיכלים אטומים מסוגים שונים, שהכילו כמויות שונות של נוזלים (היו בעלי משקל שונה). התוצאה: שילוב של ראייה מבוססת-אירועים ומגע באמצעות רשת עצבית מגיעים לדיוק גדול יותר ב-10% בסיווג אובייקטים בהשוואה למערכת ראייה בלבד. מעבד Loihi עיבד את המידע במהירות גבוהה ב-21% מאשר שבבי עיבוד גרפי, ובהספק נמוך פי 45.

חיישני העור המלאכותי מחקים את מערכת העצבים הביולוגית

ליבת הניסוי היא עור מלאכותי שפותח בפקולטה להנדסה באוניברסיטה הלאומית של סינגפור (NUS). הוא מבוסס על פיתוח ארכיטקטורת עיבוד ותקשורת חדשה, המחקה את מבנה מערכת העצבים הביולוגית, בדומה לאופן שבו רשתות בינה מלאכותית נוירוניות מחקות את מבנה הנוירונים במוח. הארכיטקטורה החדשה, ACES – Asynchronously Coded Electronic Skin, מאפשרת לשלב מערכים של עד 10,000 חיישני מגע ביריעת פלסטיק גמישה, ולשדר את המידע אל מערכת עיבוד מרכזית במהירות גדולה יותר מזו של מערכת העצבים האנושית.

הרעיון של עור מלאכותי הכולל חיישני מגע אינו חדש, אולם יישומו נתקל בקשיים רבים. כדי לקבל חישה אפקטיבית יש צורך בחיישנים רבים מאוד, ביכולת עמידה בחבלות ותקלות בחיישנים בודדים מבלי שהדבר ישבש את כל המערך, במהירות תגובה גדולה ובהספק נמוך מאוד. התפישה המקובלת היא פריסת מטריצה של חיישני מגע (pressure sensors) המתחברת אל מעבד באמצעות פרוטוקול חלוקת זמן (Time-Divisional Multiple Access).

ה-TDMA נועד לצמצם את מספר המוליכים בעור המלאכותי, שכן הוא מעניק חלון שידור נפרד לכל חיישן. אלא שבגישה הזאת, ככל שגדל מספר החיישנים, יורד זמן התגובה הכולל של המערכת. כדי להתגבר על הבעיה יש צורך במהירות דגימה גדולה יותר, אולם הדבר דורש שימוש במעגלי דגימה מהירים ומעגלי דחיסת מידע חכמים. אולם הפתרון הזה מוגבל מאוד: העלות גבוהה, המעגלים דורשים הספק גבוה, ודגימה ודחיסה חכמים תלויים בידע מוקדם על סוג המגע הצפוי. בשורה התחתונה, גם הפתרון הזה מוגבל מבחינת מספר החיישנים שניתן לשלב בעור המלאכותי.

תפישת ACES שפותחה ב-NUS מבוססת על חיקוי מערכת העצבים: החיישנים מקושרים באמצעות מוליך אל ערוץ מרכזי המעביר את המידע המקובץ אל יחידת העיבוד – מעין מוח המיושם באמצעות רשת לימוד עומק נוירונית (Deep Learning Neural Network). ליבת המערכת היא ארכיטקטורת תקשורת א-סינכרונית המאפשרת תמיכה באלפי חיישנים בו-זמנית.

כל חיישן משדר פולס מידע רק כאשר רמת הגרוי שלו חוצה סף מוגדר מראש (threshold). הפולס מפוזר על-פני טווח תדרים רחב מאוד באמצעות טכניקת spread spectrum. הדבר מאפשר לשדר מיידית את כל האותות ולספק להם עמידות ברעשים גם בהספקים נמוכים מאוד. אותות החיווי של כל חיישן משוחזרים במעבד הנוירוני בהתאם לחתימת התדר שלו ולמיקומו הידוע מראש.

מוח אלקטרוני בתוך שבב

המוח המרכז את כל המידע הוא מחשב המבוסס על המעבד הנוירומורפי של אינטל. מעבד נוירומופרי הוא יישום ברמת החומרה של המבנה של רשתות נוירוניות, אשר מיושמות בדרך-כלל ברמת התוכנה בלבד. כל מעבד מיוצר בתהליך של 14 ננומטר ומכיל 128 ליבות המיישמות 130,000 נוירונים. להערכת אינטל, במשימות ספציפיות, מסוגל המעבד Loihi לעבד מידע במהירות גדולה פי 1,000 וביעילות גדולה פי 10,000 מאשר מעבד סטנדרטי (CPU).

בחודש יולי 2019 הכריזה אינטל על מערכת עיבוד נוירומורפית הכוללת 8 מיליון נוירונים אשר ממומשים באמצעות 64 מעבדי Loihi. החברה מסרה שמדובר בשלב הראשון של תוכנית פיתוח שאפתנית, המיועדת להרחיב את הארכיטקטורה להיקף של כ-100 מיליון נוירונים. על-פי ההערכה המקובלת כיום, במוח האנושי יש כ-84 מיליארד נוירונים. כאשר אינטל מדברת על 100 מיליון נוירונים במערכת אחת, ואולי מיליארד נוירונים בתוך מספר שנים – מדובר במוח אלקטרוני זעיר המשתווה לזה של בעלי חיים רבים…

פרופ' שחר קוטינסקי מהפקולטה להנדסת חשמל בטכניון (בתמונה למעלה), ביחד עם הדוקטורנט לואי דאניאל ועם חברת טאואר-ג'אז (TowerJazz), הצליחו לייצר ממריסטור זול מאוד ובטכנולוגיה מוכחת, המאפשר לבנות רשתות נוירוניות גדולות מאוד המבצעות עיבוד (לימוד והסקה) אנלוגי של המידע. החוקרים ייצרו התקן בעל שני הדקים (Two-terminal Floating-gate Transistor) באמצעות שינוי קל בתהליך של טאואר-ג'אז לייצור זכרונות פלאש בטכנולוגיית CMOS בגיאומטריה של 180 ננומטר.

התוצאה היא ממריסטור הזוכר 65 ערכי התנגדות שונים, בהתאם למתח המוטען עליו בשלב הכתיבה בהדק העליון, ומפיק בהדק התחתון 65 ערכי זרם שונים בשלב הקריאה. רעיון הממריסטור הועלה לראשונה בתחילת שנות ה-70 על-ידי פרופ' לאון צ'ואה היפני. במאמר תיאורטי שפירסם הוא טען שהמערכות האלקטרוניות הקיימות מבוססות על השילוש נגד-קבל-סליל. הוא הציע רכיב נוסף – נגד המסוגל לזכור מצבים – שהוא העניק לו את השם ממריסטור (Memory Resistor). כלומר, נגד שיכול לשנות את ההתנגדות שלו ולכן גם לשמש כבסיס לייצור זכרונות התנגדותיים בלתי-נדיפים.

הפלאש הפך למתג אנלוגי

מאז נעשו מאמצים רבים לייצר ממריסטורים וזכרונות התנגדותיים, אולם ברוב המקרים מדובר ברכיבים מעבדתיים או יקרים ובעלי מגבלות גודל. פריצת הדרך החשובה בפרוייקט של טאואר-גאז והטכניון היא ביכולת לייצר ממריסטור לומד בטכנולוגיה קיימת וזולה מאוד. במחקר תיאורטי של קוטינסקי שנערך בשנה שעברה, הוא הוכיח שרשתות לימוד עומק (Deep Learning) הבנויות על-פי העיקרון הזה, יכולות להיות מהירות פי 1,000 בהשוואה ליישום דיגיטלי שלהן המבוסס על שימוש במעבדי GPU.

התוצאה היא מעין מתג אנלוגי המתפקד כמו סינפסה ברשת נוירונית מהירה, אשר פועל במתחים נמוכים (בסביבות 1V). תהליך הלימוד (כתיבה) נעשה באמצעות שינויים במתח (דלתא) המאפשרים תהליך למידה עם כל מחזור, באמצעות תיקון של המשקל הקיים בכל מתג (המשקל הוא שווה ערך להתנגדות המתוקנת). תהליך ההסקה (קריאה) נעשה באמצעות מדידת הזרם המשותף של כל המתגים המצויים בעמודה מוגדרת (שווה ערך לכל המשקלים בשכבת עיבוד ברשת נוירונית).

חישוב מהיר המפיק תשובה במחזור שעון יחיד

בראיון ל-Techtime הסביר קוטינסקי שתהליך הייצור הוא זול מאוד וקל מאוד, מכיוון שהוא מבוסס על טכנולוגיה קיימת שהשינוי שבוצע בה אפילו לא דורש שינוי במסיכות. כלומר, הוא נעשה ללא תוספת עלות. "לקחנו טכנולוגיה קיימת של טאואר-ג'אז, ובאמצעות שינוי קל בהתקן שלהם קיבלנו ממריסטור שהוא בעל ביצועים טובים יותר מאשר הממריסטורים המעבדתיים הטהורים. זוהי גרסה של מחשב אנלוגי מהיר מאוד, מכיוון שקריאת המידע מכל עמודה נעשית במחזור שעון אחד בלבד". לרשת החדשה יש את כל התכונות של זיכרון בלתי נדיף אמין: חברת טאואר-ג'אז מתחייבת שהוא שומר את המידע לפחות 10 שנים.

במחקר השתתפו גם פרופ' יעקב רויזין וד"ר יבגני פיחאי מחברת טאואר-ג'אז ופרופ'-משנה ראמז דניאל מהפקולטה להנדסה ביו-רפואית בטכניון. לדברי רויזין, "הממריסטור יושב על הטרנזיסטורים הקיימים של טאואר-ג'אז, ומתממשק באופן מיידי עם כל ההתקנים שאיתם הם עובדים. הטכנולוגיה החדשה נבחנה בתנאי אמת והראתה כי אכן היא ניתנת להטמעה ברשתות עצביות בחומרה. בדומה למוח, המערכת המשופרת מצטיינת בשמירת מידע לטווח ארוך ובצריכת אנרגיה נמוכה מאוד".

הפרוייקט פורסם במאמר בכתב העת Natureelectronics. לקריאת המאמר הקליקו: כאן

חברת אינטל (Intel) חשפה מערכת עיבוד נוירומורפית (neuromorphic system) הכוללת 8 מיליון נוירונים אשר ממומשים באמצעות 64 מעבדי Loihi, אשר פותחו במעבדות אינטל (Intel Labs) במסגרת פרוייקט פיתוח ארכיטקטורת עיבוד חדשה. עיבוד נוירומופרי הוא יישום ברמת החומרה של המבנה של רשתות עצביות נוירוניות, אשר בתחום הבינה המלאכותית מיושמות כיום ברמת התוכנה בלבד. כל מעבד מיוצר בתהליך של 14 ננומטר ומכיל 128 ליבות המיישמות 130,000 נוירונים.

להערכת אינטל, במשימות ספציפיות, מסוגל המעבד Loihi לעבד מידע במהירות גבוהה 1,000 וביעילות גדולה פי 10,000 מאשר מעבד סטנדרטי (CPU). אינטל מסרה שהמערכת שהיא פיתחה בשם Pohoiki Beach, מוגדרת כמערכת מחקר ושהיא זמינה מהיום לרשות חוקרים. לדברי מנכ"ל אינטל לאבס, ריץ' יוליג, כ-60 שותפים מחקר של אינטל יקבלו את המערכת כדי לפתור בעיות מורכבות ועתירות עיבוד. בין השאר, הארכיטקטורה הזאת מאפשרת לייעל את השימוש באלגוריתמים שפותחו בהשראת המערכת העצבית, דוגמת אלגוריתם Sparse coding, איתור מיקום ומיפוי בו-זמניים (SLAM) ותכנון מסלולים המסוגלים ללמוד ולהסתגל.

השלב הבא: 100 מיליון נוירונים

מערכת Pohoiki Beach מהווה שלב ראשון בתוכנית פיתוח שאפתנית, שהשלב הבא שלה יהיה להרחיב את הארכיטקטורה להיקף של עד 100 מיליון נוירונים עוד השנה (מערכת Pohoiki Springs). לאחרונה הודגמה היכולת של השבב החדש באמצעות מתן יכולות הסתגלות לרגל תותבת, מעקב אחר עצמים באמצעות מצלמות מבוססות אירועים ומתן יכולת הסקת מסקנות לרובוט iCub. המכון להנדסה קוגניטיבית באוניברסיטת סידני מבצע כיום פרוייקט מפתיע: משחק שיתנהל באופן עצמאי בין שתי קבוצת בכדורגל שולחן, אשר יתבסס על קבלת מידע ממצלמות רגישות לאירועים, אשר יעובד וינוהל על-ידי מערך של מעבדי Lohini.

המכון לחקר המוח באוניברסיטת ווטרלו דיווח שבאמצעות השבב Loihi הוא הצליח להשיג ביצועים זהים של רשת לימוד עומק בהשוואה למעבדי CPU אולם בצריכת חשמל נמוכה פי 109. חברת אינטל נכנסה לתחום לפני מספר שנים, ובשנת 2017 היא הציגה את שבב המחקר הנוירומורפי הנסיוני הראשון. בחודש מרץ 2018 היא ייסדה את קהילת המחקר הנוירומורפית של אינטל (INRC), במטרה לקדם פיתוח של יישומים ואלגוריתמים נוירו-מורפיים. באמצעות ארגון INRC היא מעניקה גישה למעבדים באמצעות הענן.

מוח אלקטרוני במעגל מודפס

אינטל שיחררה לפני מספר חודשים גרסה ראשונית של כלי הפיתוח Nx SDK, המאפשר לחברי פורום INRC לפתח באמצעותה יישומים מחקריים, כדי להריץ אותם על הפלטפורמה באמצעות הענן. קבוצה קטנה יותר של חוקרים קיבלה את כרטיס החומרה עצמו, כדי שיוכלו לבצע מחקרים הדורשים גישה ישירה לחומרה, כמו למשל בתחום הרובוטיקה.

אומנם פרוייקט העיבוד הנוירומורפי מוגדר באינטל כתחום נוסף שבו היא מחדשת את ארכיטקטורות המיחשוב כדי להתמודד עם בלימת חוק מור, אולם בתחום הבינה המלאכותית מדובר במהפיכה של ממש. על-פי ההערכה המקובלת כיום, במוח האנושי יש כ-84 מיליארד נוירונים. כאשר אינטל מדברת על 100 מיליון נוירונים במערכת אחת כבר בשנת 2019, ואולי מיליארד נוירונים בתוך שנה או שנתיים, מדובר כבר במוח אלקטרוני זעיר המשתווה לזה של בעלי חיים רבים. כאשר הוא מוצמד למערכת לומדת או לרובוט, הוא מייצר קפיצת מדרגה טכנולוגית.