מודל יכול לייצר תשובה ברורה שהיא שגויה. הסרטון הזה מסביר למה זה קורה ומה אפשר לעשות עם זה. נסתכל על הזיות, על הידע שנלמד באימון, ועל המידע שמסופק בהקשר הנוכחי. נסתכל גם על נקודת החיתוך של הידע ועל שגיאות שהמגבלות האלה יכולות לגרום בקוד.
מתחת לכל זה, המודל הוא מנוע השלמה. נותנים לו טקסט, והוא מנבא איך הטקסט הזה ממשיך בצורה הסבירה ביותר. כאן אנחנו מזינים לו התחלה של משפט על רומן של הרוקי מורקמי משנת 2030.
המודל מסיים את המשפט בשם ספר מסוים. שימו לב כמה זה נשמע שוטף ובטוח. זה נשמע בדיוק כמו עובדה אמיתית.
שם הספר בדוגמה הזאת מומצא. הוא מוצג כשם של ספר שיצא לאור, למרות שהמשפט מציין את השנה העתידית 2030. שם הספר פשוט הומצא. זה נראה כמו עובדה, אבל שום דבר אמיתי לא עומד מאחוריו.
המודל מנבא המשכים שמתאימים לטקסט. שם ספר סביר יכול להתאים למשפט הזה גם כשהספר לא קיים. ניבוי המשך לא בודק, בפני עצמו, אם ההמשך הזה נכון. תחילת המשפט הזה מרמזת בבירור שאמור לבוא שם ספר. להגיד אני לא יודע זה אפשרי, אבל זה לא ממשיך את התבנית שהמשפט מכין. לכן מודל יכול לייצר ניחוש שוטף כשחסרה לו העובדה שאנחנו צריכים. טענה מומצאת או שגויה שמוצגת כעובדה נקראת הזיה.
יש עוד חלק לסיפור הזה. מנוע ההשלמה הגולמי הוא לא מה שאתם באמת מדברים איתו. לפני שמודל משוחרר, הוא עובר שלב מאוחר יותר של אימון שמעצב את ההתנהגות שלו, וחלק מהעבודה הזאת הוא ללמד אותו להגיד אני לא יודע, כשהידע שלו בנושא רעוע. זה יכול להקל על ביטוי אי-ודאות, אבל זה לא מבטל הזיות לגמרי. מאמר של קלעי ועמיתיו מצביע על סיבה אחת לכך שהן נמשכות. בנצ'מרק שמתגמל ניחוש מוצלח ולא נותן נקודות על הודאה באי-ודאות מעודד ניחושים. ולכן ציונים גבוהים יכולים להתקיים לצד שגיאות שנאמרות בביטחון מלא. נסתכל על שלב האימון המאוחר הזה בשבוע 3.
אז איפה הידע של המודל באמת נמצא? צריך להבחין בין שני מקורות: מה שהמודל למד באימון ומה שהבקשה הנוכחית מספקת. במרכז נמצא המודל עצמו.
הראשון הוא ידע ששמור במשקולות של המודל. אנחנו קוראים לזה כאן זיכרון, אבל זה שונה מקבצי ההוראות שהרתמה קוראת. המודל הוא רשת נוירונים, ואימון על כמויות גדולות של טקסט משנה את המשקולות שלה. בשבוע 3 יש סרטון שפותח את הרשת הזאת ואת האופן שבו היא מאומנת. המשקולות קולטות המון, אבל הן לא מסד נתונים של עובדות מדויקות. מודל יכול לשלוף עובדה נפוצה נכון ולבלבל שם נדיר, תאריך, או פרט.
המקור השני הוא ההקשר: המידע שמסופק בבקשה הנוכחית, כולל הפרומפט שלכם וכל מה שהרתמה מוסיפה. המודל יכול להתייחס לטקסט הזה בזמן שהוא מייצר את התשובה. כשיש מקור בהקשר, המודל יכול להשתמש בטקסט עצמו במקום לשחזר אותו מהמשקולות שלו. הוא עדיין יכול לפספס פרט או להבין אותו לא נכון, במיוחד בהקשר ארוך. תנו לו את המקור הרלוונטי, ואז תבדקו שהתשובה שלו תואמת את המקור הזה. במילים אחרות, אל תגרמו למודל לדקלם מהזיכרון משהו שפשוט יכולתם להראות לו ישירות.
נקודת החיתוך של הידע מסמנת עד כמה עדכני המידע שהמודל אומן עליו, ומסומנת כאן בסימן הכתום על ציר הזמן. הצד השמאלי מראה מידע שיכול היה להיכלל באימון. לגבי אירועים שקרו אחרי נקודת החיתוך צריך מקור אחר.
גם לפני נקודת החיתוך, מה שהמודל למד לא אחיד. המודל אולי למד חלק מהעובדות מהתקופה הזאת, פספס אחרות, או למד גרסאות סותרות.
כשמדובר במשהו חדש יותר מנקודת החיתוך, אל תסתמכו על ידע מהאימון לבד. ייתכן שבספרייה שיצאה בחודש שעבר יש פונקציות שונות מהגרסה שהמודל למד עליה. תספקו את התיעוד לגרסה שאתם באמת משתמשים בה.
התגובה המעשית היא להכניס את המידע החדש יותר להקשר. אפשר לספק מקור בעצמכם או לתת לסוכן להביא אותו עם כלי. זה שם את המקור מול המודל, כך שהוא יכול לקרוא את המידע החדש במקום לנחש מתוך ידע אימון ישן יותר. אותו דבר חל על הקוד שלכם. סביר שהוא אף פעם לא היה בנתוני האימון של הסוכן, ולכן צריך להכניס אותו להקשר כדי שהסוכן יוכל לעבוד איתו.
המגבלות האלה מופיעות גם בקוד. נניח שאנחנו מבקשים קוד שמשנה צורה של DataFrame ב-pandas ומבקשים המלצה על פונקציית עזר לקריאת קבצי CSV.
הוא עונה בביטחון, עם מתודה בשם unpivot וחבילה בשם kewl-utils. במבט ראשון, שניהם נראים סבירים לגמרי.
אף אחד מהשמות לא עובד. unpivot הוא השם בספריות DataFrame אחרות, אבל ב-pandas הפעולה הזאת נקראת melt. שם החבילה מומצא. הכלים הרגילים שלכם תופסים את שניהם. הסקריפט נכשל כבר בהרצה הראשונה, וההתקנה של החבילה נכשלת. אבל התקנה נקייה לבדה לא מוכיחה שזאת החבילה שהתכוונתם אליה.
זאת אותה בעיית שליפה כמו בשם הספר המומצא, רק עם שמות מתוך ספרייה. תנו לסוכן את התיעוד ואת הטיפוסים לגרסה שאתם משתמשים בה, ואז תבדקו את הקוד עם הכלים שלכם. איך לבנות היטב את לולאות הבדיקה האלה הוא נושא שנחזור אליו בהמשך הקורס. במחקר של ספרקלן ועמיתיו, בערך אחת מכל חמש חבילות שהוצעו לא הייתה קיימת, על פני המודלים והמשימות שהם בדקו.
בואו נסכם. ראשית, יש הזיה. המשך סביר יכול להכיל טענה שקרית. אימון יכול לעודד את המודל להודות באי-ודאות, אבל ניסוח שוטף עדיין לא מוכיח שזה נכון.
שנית, יש ההבדל בין זיכרון להקשר. כשנותנים למודל את הטקסט הרלוונטי, הוא צריך פחות להסתמך על שליפה לא ודאית. עדיין צריך לבדוק איך המודל משתמש בו.
שלישית, יש נקודת החיתוך של הידע. האימון לבדו לא מתעדכן באירועים חדשים או בגרסאות חדשות של ספריות. תכניסו מידע עדכני להקשר.
בקוד כל זה מופיע כ-APIs מומצאים וחבילות שלא קיימות.
שימו לב שכל אחד מהפתרונות האלה מצביע לאותו כיוון. תכניסו להקשר את מה שחשוב, ותאמתו את הפלט אחר כך. הסרטון הבא מיישם את זה על כתיבת פרומפטים: לתת למודל משימה ברורה ומספיק מידע כדי לעבוד עליה.