אחת הבעיות הגדולות עם מערכות הבינה המלאכותית החדשות היא שקשה לסמוך עליהן ויש לכך שתי סיבות עיקריות: הראשונה היא שאנחנו לא יודעים למה הן פועלות בדרך שבה הן פועלות, למה הן נתנו לנו תשובה א' ולא תשובה ב' והשנייה היא שלא רק שאנחנו לא יודעים מה קורה בתוכן, לפעמים הן מנפיצות תשובות, ממציאות תשובות שאין בינן ובין המציאות שום קשר.
אבל למה זה קורה? למה אנחנו לא מבינים מה קורה בתוך המערכות האלו ולמה הבוטים מתקשים לומר "אני לא יודע"? ובכן אפילו על השאלות האלו קשה לענות ובכל זאת זה מה שאני אנסה לעשות: אנסה גם להסביר את בעיית "אני לא יודע" וגם אספר על התקדמות מעניינת באחת הגזרות, התקדמות ששופכת אור על האופן שבו המערכות האלו פועלות מה שאולי יאפשר לנו קצת יותר לסמוך עליהן. אולי.
קישורים:
אנת'רופיק מסבירה מה קורה בתוך המודל שלה
https://www.anthropic.com/research/mapping-mind-language-model
בעיית ההזיות: הסבר
https://masterofcode.com/blog/hallucinations-in-llms-what-you-need-to-know-before-integration
הבלוג של קובוס גריילינג
https://cobusgreyling.medium.com
אני לא יודע
7.7.24