בשבוע שעבר פתח מועדון ה־AI הפועל תחת אופק - מרכזים לפיתוח מיומנויות באפקה את שנת הפעילות, בהרצאה ראשונה בסדרת מפגשים עם מומחים מהתחום בתעשייה. במפגש התארח לירן כהן, מהנדס וחוקר אבטחה וחולשות של סוכני בינה מלאכותית בחברת Alice, הנמצא לקראת סיום תואר שני במדעי המחשב בטכניון ומחבר שני מאמרים העוסקים בזיכרון ובשכחה של מודלים ובאתגרי אבטחה.

בהרצאתו שעסקה באבטחה, בסיכונים ובדרכים לעבוד ביעילות עם סוכני בינה מלאכותית בארגון גדול, הדגים לירן כיצד סוכן עלול לפרש תוכן חיצוני, כמו ביקורת על מלון או הודעת אימייל, כהוראה לביצוע ולפעול באופן שעלול לגרום נזק.כמו כן, הוצגו סביבות אימון אדברסריות (RL Gyms), וכיצד הן מסייעות לבחון ולשפר את עמידות המודלים. בנוסף, הוצגו עקרונות מרכזיים לפיתוח בטוח ויעיל דוגמת מתן הרשאות מינימליות, הגדרת בדיקות עצמיות לסוכן ושמירה על מעורבות אנושית בפעולות רגישות.

המסר המסכם למשתתפות ולמשתתפים היה לפעול תחת הנחת עבודה שתיתכן תקיפה ורק אז לפעול מול הלקוח.

אורית זנדברג-פאר, אחראית מועדוני הסטודנטים באפקה סיכמה: "ההרצאה של לירן כהן הייתה פתיחה מצוינת לשנת הפעילות של המועדון: הרצאה מעמיקה ומרתקת, שחיברה בין הידע האקדמי לאתגרים האמיתיים בתעשייה ונתנה לסטודנטיות ולסטודנטים הצצה לעשייה בתחום הבינה המלאכותית".