האם הבינה המלאכותית דווקא מפריעה למתכנת?
6 אוקטובר, 2024
ב-Github מבטיחים כי שימוש ב-Copilot עוזר למתכנת לקודד מהר וטוב יותר, אך מחקר של חברת Uplevel העלה תמונה אחרת: שום שיפור בתפוקה, יותר באגים ואותו מספר של שעות נוספות
התמונה למעלה יוצרה באמצעות תוכנת openart.ai
עוזרי AI כמו Github Copilot ו-ChatGPT הפכו בשנים האחרונות לחלק אינטגרלי מכלי העבודה של המתכנת. הם מסייעים למתכנת לבצע באופן אוטומטי משימות קוד טרחניות, שגוזלות ממנו שעות רבות, ומפנים את זמנו לעיסוק בליבת העשייה של פתרון בעיות – ובכך משפרים את הפרודוקטיביות שלו. זו, לכל הפחות, הטענה הרווחת.
"Copilot עוזר למתכנתים לכתוב קוד טוב יותר, מהר יותר ועם שמחת חיים", כך מבטיחים ב-Github ומציגים מחקרים לפיהם השימוש ב-Copilot מאיץ את מלאכת כתיבת הקוד ב-50%. 85% מהמתכנתים שעושים שימוש בכלי חשים ביטחון גדול יותר לגבי הקוד שיוצא תחת ידיהם, ומשימות בדיקת הקוד (code review) מתבצעות מהר יותר בשיעור של 15% בזכות השימוש בצ'ט-בוט. 88% דיווחו כי הם מרוכזים יותר, פחות מתוסכלים ונהנים יותר לקודד כאשר Copilot לצדם, כך לפי Github.
יותר באגים, אותן שעות נוספות
ואולם, Github היא מטבע הדברים "בעלת עניין" בהצגת נתונים חד-משמעיים שכאלה. חברת Uplevel Data Labs, המספקת שירותי ייעוץ לארגונים בתחום מדע הנתונים, ערכה באחרונה מחקר השוואתי שבחן את תרומת כלי ה-AI לתפוקת המתכנתים. המחקר נערך בקרב 800 מתכנתים: 350 מהם לא השתמשו בכלי ה-AI, ו-450 מהם עשו בהם שימוש. המחקר בחן את התפוקה שלהם לאורך תקופה של 4 חודשים, לפי אומדנים מקובלים כמו זמן השלמת המשימה (cycle time), מספר מיזוגים לקוד הראשי (PR Throughput), שיעור הבאגים ושעות עבודה מורחבות (כפרמטר הבוחן "שחיקה").
תוצאות המחקר של Uplevel העלו תמונה אחרת לגמרי מנתוני Github. לפי ממצאי המחקר, כאשר תפוקת המתכנתים נמדדה לפי זמני מחזור ומספר המיזוגים, לא נמצא כל שיפור משמעותי בפרודוקטיביות בין שתי הקבוצות. מנגד, מספר הבאגים שנתגלו בקוד בקרב המתכנתים שהשתמשו בעוזרי ה-AI היה גבוה ב-41%.
עם זאת, ב-Uplevel לא מוקיעים כליל את הכלים הללו. בחברה, שכאמור מספקת ייעוץ לארגונים כיצד לטייב את תהליכי הדאטה הארגוניים, מדגישים כי למרות תוצאות המחקר, "עוזרי התכנות" הם טכנולוגיה מתפתחת, אשר צפויה להמשיך ולהשתפר, ועל כן חשוב לשלב אותם בסביבת העבודה כדי שניתן יהיה לרתום אותם בצורה מושכלת והדגרתית לטובת יותר ויותר משימות, ככל שהם ישתפרו ויוכיחו את עצמם.
ב-Uplevel ממליצים להגדיר בצורה מדויקת מה רוצים להשיג באמצעות עוזרי ה-AI, באילו משימות כדאי ובאילו משימות לא כדאי להשתמש בהם, ולספק לעובדים הכשרה שתתווה את מסגרת השימוש בכלים הללו. ב-Uplecvel ממליצים לייצר "ידע ארגוני" סביב הכלים הללו ולשתף בין חברי הצוות מקרי בוחן שבהם הכלים הללו תורמים לעבודה.
פורסם בקטגוריות: בינה מלאכותית , חדשות
פורסם בתגיות: Github Copilot , Uplevel
כתבות נוספות העשויות לעניין אותך
