אחד האתגרים המרכזיים בפיתוח מערכות בינה מלאכותית מודרניות הוא הפחתת עלות החישוב של מודלים מורכבים בזמן ההרצה, תוך שמירה על דיוק ואמינות גבוהים. רשתות נוירונים עמוקות דורשות משאבי חישוב משמעותיים, זמן תגובה ואנרגיה, ולכן הצורך לצמצם את עלות ההפעלה שלהן הופך לחשוב במיוחד.
מחקרה של ד"ר יהודית אפרשטיין, שפורסם לאחרונה בכתב העת Electronics , מציג את CalexNet, רשת עמוקה יעילה המבוססת על מנגנון של יציאות מוקדמות. הרשת מתאימה את היקף החישוב למורכבות הדוגמה: דוגמאות שקל לסווג יכולות לצאת כבר בשלבים מוקדמים, בעוד דוגמאות מורכבות ממשיכות לעיבוד בשכבות העמוקות. כך מתקבל מודל שאינו מפעיל את מלוא עומק הרשת על כל קלט באופן אחיד, אלא מקצה חישוב בהתאם לקושי האמיתי של הדוגמה.
החידוש במחקר אינו עצם השימוש ביציאות מוקדמות, אלא ההתמודדות עם אתגר מרכזי שמופיעה כאשר מפעילים אותן בפועל: הפער בין תנאי האימון לבין תנאי ההרצה. ביציאות מוקדמות, השלבים המאוחרים אינם מקבלים את כלל הדוגמאות, אלא רק את הדוגמאות שלא סווגו בביטחון בשלבים הקודמים. לכן CalexNet מתאימה את האימון והכיול להתפלגות האמיתית של הדוגמאות שמגיעות לכל יציאה, ומשתמשת גם במלוא התפלגות ההסתברויות של המודל המלא, ולא רק בהחלטה הסופית שלו. התוצאה היא מנגנון יציאה מוקדמת מדויק ומכויל יותר, עם שליטה טובה יותר בפשרה בין דיוק לחיסכון חישובי.
הממצאים מרשימים: בתרחישי שימוש ריאליים, CalexNet מאפשרת חיסכון של עשרות אחוזים בפעולות החישוב, תוך ירידת דיוק מבוקרת ונמוכה יותר בהשוואה לשיטות קיימות. לדוגמה, כאשר נחסכות כ־30% עד 70% מפעולות החישוב, CalexNet שומרת טוב יותר על הדיוק בהשוואה לשיטות קיימות.
זהו מחקר שמציע כיוון חשוב בפיתוח מערכות מבוססות AI: לא רק לבנות מודלים גדולים וחזקים יותר, אלא לתכנן מודלים שיודעים להתאים את היקף החישוב לצורך האמיתי של כל קלט. CalexNet מדגימה כי יעילות חישובית יכולה להיות חלק מובנה מתכנון המערכת, ולא תיקון מאוחר או ויתור חד על דיוק. בכך היא מציעה צעד חשוב לקראת מערכות AI מהירות, חסכוניות ואמינות יותר.
למאמר המלא >>
בינה מלאכותית לניתוח הודעות מצוקה בים – מאמרה של ד"ר יהודית אפרשטיין
שתף לינק באמצעות:
https://www.afeka.ac.il/industry-and-community/research-in-afeka/researches/בינה-מלאכותית-לניתוח-הודעות-מצוקה-בים-מאמרה-של-דר-יהודית-אפרשטיין/WhatsApp
Facebook
Twitter
Email
https://www.afeka.ac.il/industry-and-community/research-in-afeka/researches/בינה-מלאכותית-לניתוח-הודעות-מצוקה-בים-מאמרה-של-דר-יהודית-אפרשטיין/