הסרטון הזה ממשיך את ההסבר שלנו על איך מודלי שפה גדולים עובדים. נראה איך post-training מכין מודל לתפקד כעוזר, ואז נסתכל על גדלים של מודלים, על נתוני אימון, ועל החישוב שנדרש לאימון. נסתכל גם על איך מודלים עונים לבקשות דרך הרשת, כמה גדולים נעשו חלונות ההקשר, ואיך ההתפתחויות מאז AlexNet הובילו למודלי השפה שאנחנו משתמשים בהם היום.
בסרטון הקודם אימנו רשת נוירונים על דוגמאות על ידי מדידת loss ועדכון המשקולות כדי להקטין אותו. עבור מודל שפה, הדוגמאות הן רצפים של טוקנים. משימת האימון שפגשנו בשבוע 2 היא לנבא את הטוקן הבא מהטקסט שלפניו. חלק גדול מהטקסט הזה מגיע מהאינטרנט הפתוח. שלב האימון הראשוני הזה נקרא אימון מקדים. המודל שנוצר מייצר המשכים לקלט שלו, טוקן אחד בכל פעם. אימון מקדים לבדו לא מבטיח שהוא יתנהג כעוזר מועיל. בהינתן שאלה, הוא עשוי לענות, או שהוא עשוי להמשיך בעוד שאלות שכתובות באותו סגנון.
אימון נוסף מכין את המודל לשימוש כעוזר. כיוונון עדין הוא חלק מהשלב הרחב הזה, שנקרא post-training. גישה אחת משתמשת באוסף קטן יותר ומוקפד של שיחות עם עוזר. גישה אחרת משתמשת במשוב, כמו הכרעות של בני אדם לגבי איזו משתי תשובות טובה יותר, כדי לעודד תגובות מועדפות. השיטות האלה ממשיכות לכוונן את המשקולות של המודל, בעזרת נתונים ומטרות שונים מאלה של האימון המקדים.
post-training מעצב במידה רבה את ההתנהגות שאנחנו פוגשים כשאנחנו מדברים עם המודל. הוא מעודד תשובות מועילות ומנומסות, עמידה בהוראות, סירוב לבקשות מזיקות, וטון עקבי לאורך שיחה. האימון המקדים כבר משפיע על ההתנהגות, אבל post-training מאמן את התנהגויות העוזר האלה באופן מפורש יותר. זה לא מבטיח שהמודל יפעל לפיהן בכל פעם.
האימון המקדים מפתח ידע ויכולות רחבים. post-training בונה עליהם כדי להפוך את המודל למועיל יותר כעוזר. זו הבחנה שימושית, אם כי שני השלבים יכולים להשפיע על ידע ועל התנהגות. כשהמודל ממלא בקשה, מגיב בזהירות, או שומר על סגנון עקבי, אנחנו רואים התנהגות ש-post-training נועד לעודד.
בואו ניתן כמה מספרים לסדר הגודל של המודלים האלה. נשתמש במשפחת Llama של Meta כי Meta מפרסמת מספרי פרמטרים, פרטי ארכיטקטורה, וכמויות נתוני אימון. הנתונים האלה נותנים לנו דוגמאות ספציפיות להשוואה. ב-Llama 2, שיצא ב-2023, המודל הגדול ביותר היה של 70 מיליארד פרמטרים. ב-2024, משפחת Llama 3 הגיעה ל-405 מיליארד. פרמטרים כוללים את המשקולות שנלמדו שדיברנו עליהן בסרטון הקודם. לשם השוואה, למוח האנושי יש בסדר גודל של 100 טריליון קשרים, שנקראים סינפסות. זה יותר ממספרי הפרמטרים שכאן, אם כי סינפסה ביולוגית ומשקולת מלאכותית הם דברים שונים. ההשוואה נותנת סדר גודל, לא מדד לאינטליגנציה. לאורך Llama 2, 3 ו-4, אוצר המילים, קבוצת הטוקנים שהמודל קורא וכותב, גדל מכ- 32 אלף טוקנים ל-128 אלף, ואז לכ-202 אלף.
נתוני האימון גדלו אפילו מהר יותר. הם עלו מ-2 טריליון טוקנים ב-Llama 2 לכ-15 טריליון ב-Llama 3. Llama 4 Scout השתמש בכ-40 טריליון, בעוד ש-Maverick השתמש בכ-22 טריליון. כדי להרגיש את סדרי הגודל האלה, טוקן הוא בערך שלושה רבעים ממילה באנגלית. אז ספר של 100,000 מילים יוצא בערך 130,000 טוקנים. בספריית הקונגרס יש כ-26 מיליון ספרים מקוטלגים, כלומר בערך 3 טריליון טוקנים. ב-2010, Google העריכה שבערך 130 מיליון ספרים פורסמו אי פעם. זה בערך 17 טריליון טוקנים, קרוב לכמות שעליה אומן Llama 3. ב-Epoch AI מעריכים שכל הטקסט הציבורי באינטרנט מסתכם בכ-300 טריליון טוקנים. נתוני האימון של Llama 3 הם כבר כחמישה אחוזים מזה.
Llama 4 הכניס תערובת מומחים, mixture of experts, למשפחת Llama. שני המודלים שיצאו באפריל 2025 היו Scout ו-Maverick. בתערובת מומחים יש תת-רשתות מומחות, והיא מנתבת כל טוקן רק דרך חלק מהן. ל-Maverick יש בערך 400 מיליארד פרמטרים בסך הכול, כשבערך 17 מיליארד פעילים עבור כל טוקן. זה מקטין את החישוב לכל טוקן בהשוואה לשימוש בכל הפרמטרים האלה, בעוד שהמודל המלא עדיין צריך אחסון. זה גם מאפשר מספר פרמטרים כולל גדול יותר. בהשקה של אפריל, Meta תיארה את Behemoth, עם כמעט 2 טריליון פרמטרים, כמודל שעדיין באימון.
מאיפה מגיע טקסט האימון? האינטרנט הפתוח הוא מקור חשוב, לצד חומר מורשה ומקורות אחרים שזמינים למפתח. מקורות נפוצים לסטים של נתוני אימון כוללים סריקות רשת כמו Common Crawl, מאגרי קוד ציבוריים כמו GitHub, ויקיפדיה, ספרים, מאמרים מדעיים, ואתרי שאלות ותשובות. עבור Llama 3, Meta דיווחה על תערובת של בערך 50 אחוז ידע כללי, 25 אחוז מתמטיקה וחשיבה, 17 אחוז קוד, ו-8 אחוז טוקנים רב-לשוניים.
Llama 4 Scout השתמש בכ-40 טריליון טוקני אימון, יותר מפי שניים מהכמות של Llama 3. Meta תיארה כמה שינויים בנתונים. תערובת האימון כללה תמונות ווידאו בנוסף לטקסט. היא גם השתמשה בערך פי 10 יותר טוקנים רב-לשוניים מ-Llama 3, בכיסוי של 200 שפות. כרטיס המודל מפרט גם נתונים מהמוצרים של Meta: פוסטים שפורסמו בפומבי באינסטגרם ובפייסבוק, ואינטראקציות של אנשים עם Meta AI. הוא מציין את אוגוסט 2024 כנקודת החיתוך של נתוני האימון המקדים.
Meta פרסמה קטגוריות מקור וכמויות אימון עבור Llama 4, אבל לא פירוט מספרי שדומה לתערובת של Llama 3. לכן אנחנו לא יכולים לייחס את כ-25 הטריליון טוקנים הנוספים באימון של Scout למקורות מסוימים. הידיעה שמקור נכלל לא אומרת לנו איזה חלק הוא תרם.
כדי לראות איך הנתונים האלה הופכים לדוגמאות אימון, בואו נחזור ללולאת האימון מהסרטון הקודם ונחיל אותה על טקסט. אנחנו לוקחים קטע מקורפוס האימון. הטוקן האחרון כאן הוא mat. הוא מספק את התשובה הנכונה לטוקן הבא, והוא מוסתר מהמודל עבור הניבוי הזה.
המודל מקבל את הטוקנים שלפניו, the cat sat on the, ומייצר הסתברות לכל טוקן בא אפשרי. הוא מייחס ל-mat הסתברות של 40 אחוז.
אנחנו משווים את הניבוי הזה לטוקן שבטקסט המקורי, mat. ה-loss מעניש את המודל על כך שהוא מייחס לטוקן שנצפה הסתברות נמוכה מדי. מודלי שפה משתמשים בדרך כלל בלוגריתם השלילי של ההסתברות הזו, ולא בפערים בריבוע שבדוגמת הספרות שלנו. הגדלת ההסתברות של mat מקטינה את ה-loss של הדוגמה הזו.
אנחנו משתמשים ב-loss כדי לחשב עדכונים למשקולות. כמו בסרטון הקודם, המטרה היא להקטין את ה-loss כך שהניבויים ישתפרו לאורך דוגמאות האימון. backpropagation מחשב את הנגזרות שנדרשות לעדכונים האלה בכל הרשת. אופטימייזר משתמש בהן כדי לשנות את המשקולות. נשאיר את המתמטיקה המפורטת לקורס בלמידת מכונה.
אנחנו חוזרים על התהליך הזה במיליארדי דוגמאות של ניבוי הטוקן הבא מהקורפוס. בפועל, האימון מעבד הרבה דוגמאות יחד בקבוצה, batch.
הטקסט מספק משהו שהיינו צריכים לספק בנפרד עבור תמונות הספרות שלנו: יעד אימון נכון. הטוקן הבא כבר נמצא בטקסט המקורי. אנחנו יכולים לבנות כל זוג של ניבוי ויעד מהטקסט הזה, בלי לבקש ממישהו לתייג כל דוגמה.
זה נקרא למידה בפיקוח עצמי: יעדי האימון מגיעים מהנתונים עצמם. הימנעות מתווית אנושית נפרדת לכל דוגמה מאפשרת להשתמש באוספי טקסט גדולים מאוד. איסוף, רישוי, סינון ועיבוד של הנתונים עדיין עולים כסף, וכמות הטקסט החדש והמתאים מוגבלת. ההיצע הגדול של דוגמאות עם יעדים שזמינים אוטומטית הוא מה שמאפשר אימון על הטוקן הבא בקנה מידה כזה.
תכנות הוא אחת המשימות שהמודלים האלה עושים הכי טוב, והדרך שבה הם מאומנים עוזרת להסביר למה. הסיבה הראשונה היא הנתונים. מאגרי קוד ציבוריים מכילים כמות עצומה של קוד, ובערך אחד מכל שישה טוקנים באימון של Llama 3 היה קוד.
הסיבה השנייה היא שתוכנה יכולה לבדוק את התשובה. מריצים פתרון מוצע מול הבדיקות שלו, ויודעים אם הוא עובד בלי לשאול אף אדם. כך post-training יכול לתגמל פתרונות נכונים באופן אוטומטי, על פני מספר עצום של בעיות תכנות. הגישה הזו נקראת למידת חיזוק עם תגמולים ניתנים לאימות. בדומה ליעדים של הטוקן הבא שראינו זה עתה, התגמולים האלה לא דורשים תיוג אנושי לכל דוגמה, ולכן אימון כזה יכול לגדול להיקף עצום.
אז תכנות מציע שפע של דוגמאות ללמוד מהן, ותשובות שתוכנה יכולה לבדוק. אותה יכולת בדיקה עוזרת גם לסוכן בזמן שהוא עובד, כי הוא יכול להריץ את הקוד, לקרוא את התוצאה ולנסות שוב. אותו היגיון חל גם מעבר לקוד. גם תשובות רבות במתמטיקה אפשר לבדוק באופן אוטומטי, וכך גם הוכחות של משפטים, בעזרת תוכנה שנקראת בודק הוכחות. זו אחת הסיבות שהמודלים חזקים במתמטיקה. צפו שהם ימשיכו להשתפר שם, ובכל משימה אחרת שבה תוכנה יכולה לבדוק את התשובה.
מעבר על כל דוגמאות האימון האלה דורש כמות גדולה של חישוב. Meta דיווחה על כ-31 מיליון שעות GPU מסוג H100 עבור המודל של Llama 3 עם 405 מיליארד הפרמטרים, בשימוש של עד כ-16 אלף כרטיסי GPU. במספר ה-GPU הזה, הכמות שקולה לבערך 80 יום, או חודשיים עד שלושה. כדי לקבל מושג לגבי המספר הזה, נפרוס את אותו חישוב על פחות חומרה. זה ניסוי מחשבתי של סדרי גודל, לא בנצ'מרק. אנחנו מקבעים את העבודה המועילה לכל שעת GPU.
חלוקה של כ-31 מיליון שעות GPU במספר השעות בשנה נותנת בערך 3,500 שנות GPU. כרטיס GPU אחד היה צריך כל כך הרבה זמן כדי לעשות את העבודה, אם הוא היה יכול להחזיק את המודל בזיכרון. תארו לעצמכם להפעיל שבב אחד לפני 3,500 שנה ולהשאיר אותו רץ עד היום. זו כמות החישוב שהקלאסטר פורס על פני אלפי שבבים.
ליבת CPU בודדת מבצעת הרבה פחות חישובי מטריצות מקביליים כאלה בשנייה. נניח שהליבה הייתה איטית פי 17 אלף מ-GPU אימון אחד. זה יחס המהירות שאנחנו מניחים להשוואה הזו. אז 3,500 שנות GPU הופכות לבערך 60 מיליון שנות ליבת CPU. תארו לעצמכם ליבה אחת שרצה כמעט ברציפות מהכחדת הדינוזאורים ועד היום.
חישוב מקבילי מוריד את העבודה הזו לחודשים. השבבים חולקים את החישובים ומחליפים תוצאות ביניים, אז לגרום להם לעבוד יחד ביעילות זה חלק מהאתגר ההנדסי. להשוואה גסה של עלות השכרה, 31 מיליון שעות GPU בכ-3 דולר לשעת GPU מגיעות לכ-100 מיליון דולר. בכ-7 דולר לשעת GPU, זה בערך 220 מיליון דולר. תעריפי ההשכרה המשוערים האלה נותנים לנו תחושה של העלות, ולא את החשבון האמיתי של Meta. ההערכות האלה מכסות את זמן ה-GPU של הרצת אימון. פיתוח של מודל כרוך גם בניסויים ובעלויות אחרות, אז עלות הפיתוח המלאה גדולה יותר. תערובת מומחים היא דרך אחת להקטין את החישוב לכל טוקן. Meta דיווחה על כ-5 מיליון שעות GPU עבור Llama 4 Scout, וכ-2.38 מיליון עבור Maverick, בהשוואה לכ-31 מיליון עבור המודל הגדול ביותר של Llama 3. הארכיטקטורה, הנתונים, החומרה ושאר הגדרות האימון שונים גם הם.
האימון מייצר את המשקולות שאנחנו משתמשים בהן להיסק. מענה לבקשה עם המודל המאומן דורש גם הוא חישוב וזיכרון, למרות שהוא לא מעדכן את המשקולות. בהגדרה שמוצגת כאן, האפליקציה שלכם שולחת פרומפט דרך הרשת ל-API בענן. הספק מריץ את המודל על כרטיסי GPU או מאיצים אחרים ומזרים בחזרה טוקנים שנוצרים. מודל חזית בגודל כזה צריך יותר חומרה ממה שלפטופ רגיל מספק. מודלים קטנים יותר יכולים לרוץ מקומית, אבל למודלים גדולים בענן ניגשים בדרך כלל דרך שירות.
חלק גדול מהחישוב ברשת נוירונים מורכב מכפלי מטריצות ומהפעלת פעולות על פלטים של הרבה נוירונים. כרטיסי GPU יכולים לבצע הרבה מהפעולות האלה במקביל. מודלים גדולים צריכים גם זיכרון משמעותי כדי להחזיק את המשקולות שלהם ואת מצב הביניים שמשמש בזמן יצירת תשובה.
הגשה יעילה של מודל כרוכה בכמה סוגים של הנדסה. KV-caching שומר תוצאות ביניים עבור טוקנים קודמים כך שאין צורך לחשב אותם מחדש. קיבוץ, batching, מאחד עבודה מכמה פרומפטים, קרנלים ייעודיים ל-GPU מזרזים פעולות, ו קוונטיזציה מייצגת מספרים בפחות ביטים כדי להקטין שימוש בזיכרון וחישוב. לא נפתח כאן את פרטי המימוש האלה. אלה תחומים פעילים של מחקר והנדסה. עבור המודלים הגדולים בענן שאנחנו משתמשים בהם בקורס, התוצאה המעשית היא שהתוכניות שלנו קוראות ל-API בענן במקום לטעון את המודל על לפטופ. לכן בקשה למודל כזה היא בקשת רשת לשירות שמריץ את המודל על חומרת מאיצים.
חלון ההקשר הוא מגבלת סדר גודל נוספת שתפגשו בעבודה עם סוכנים. בשבוע 2, הגדרנו אותו כמספר המקסימלי של טוקנים שזמינים למודל בבקשה אחת. Llama 4 Scout תומך בחלון הקשר של 10 מיליון טוקנים. Claude Opus 5.5 ו-Fable 5.1 תומכים במיליון טוקנים, לפי התיעוד הרשמי. סשן ארוך עדיין יכול להגיע למגבלות האלה ככל שקבצים ותוצאות של כלים מצטברים. בגלל זה הרתמה דוחסת שיחות, כמו שראינו בסרטון על ההקשר.
איך רשתות נוירונים הגיעו מזיהוי תמונות לסוכני הקוד שאנחנו משתמשים בהם היום? כדאי להתחיל את הסיפור הזה ב-AlexNet, רשת נוירונים שניצחה בתחרות לזיהוי תמונות ב-2012. שיעור השגיאה שלה ב-top-5 בתחרות ImageNet היה 15.3 אחוז, לעומת 26.2 אחוז אצל הבאה אחריה. השיפור הגדול הזה עזר לבסס רשתות נוירונים עמוקות כגישה מעשית לזיהוי תמונות.
המחברים גם מקשרים את התוצאה המוקדמת הזו למעבדות שפיתחו מאוחר יותר מערכות AI נפוצות. Geoffrey Hinton ו-Alex Krizhevsky הצטרפו לגוגל. Ilya Sutskever היה לימים שותף בהקמת OpenAI. העבודה המאוחרת שלהם היא קשר אחד בין ההתקדמות בזיהוי תמונות לבין הפיתוח של מודלי שפה מודרניים.
בשנים שאחרי כן, רשתות נוירונים עמוקות הפכו לגישה סטנדרטית בהרבה משימות של ראייה ממוחשבת. ב-2017, ה-Transformer הציג ארכיטקטורה שמבוססת על attention והפכה למרכזית במידול שפה. לא נגזור כאן את ה-Transformer. זו הארכיטקטורה שהרבה מודלי שפה מודרניים משתמשים בה, ו-attention הוא אחד המנגנונים המרכזיים שלה.
מודלי שפה גדולים וסוכני קוד צמחו מההתפתחויות האלה ברשתות נוירונים, בשיטות אימון, ובחומרת מחשוב.
תבנית חוזרת בהיסטוריה הזו היא שיותר נתונים חישוב הפכו רשתות גדולות יותר למועילות במשימות תובעניות יותר. מאז 2012, הגדלת קנה המידה של רשתות נוירונים עזרה לשפר זיהוי תמונות, מידול שפה, ואת העוזרים שאנחנו משתמשים בהם היום. הארכיטקטורה ושיטות האימון השתפרו לצד הגידול הזה בקנה המידה.
התרשים הזה מ-Epoch AI מציג את הגידול בחישוב האימון. כל נקודה מייצגת מודל בולט. הציר האופקי הוא זמן, והציר האנכי מציג את חישוב האימון בפעולות נקודה צפה. הסקאלה האנכית היא לוגריתמית: כל סדר גודל מסומן מייצג פי 10 יותר חישוב. קו המגמה המותאם מסכם גידול מהיר בקרב המודלים שנבדקו. הניתוח של Epoch מ-2024 העריך פי 4 עד 5 יותר חישוב אימון בשנה, מ-2010 עד 2024.
ניתוח מוקדם יותר של Epoch תיאר גידול של בערך 10 סדרי גודל מאז 2010. זאת אומרת בערך פי 10 מיליארד יותר חישוב אימון בתקופה שנבדקה. זה הרבה יותר מהיר מהגידול בחישוב שזמין משבב בודד. מעבדות גם הקדישו יותר שבבים, זמן וכסף לאימון, וזה עוזר להסביר את סדר הגודל של המודלים שדיברנו עליהם.
המודלים הגדולים ביותר נעשים יקרים יותר ויותר לאימון. אבל המחיר של רמת איכות נתונה ממשיך לרדת. הנה דרך אחת לראות את זה. בחרו ציון קבוע במבחן, ושאלו כמה עולה להשתמש במודל הזול ביותר שמגיע אליו. הגרף הזה עושה בדיוק את זה עבור MMLU, מבחן נפוץ של ידע כללי. בציר המחיר, כל צעד למטה הוא הוזלה פי עשרה. הקו הסגול עוקב אחרי המודל הזול ביותר שמקבל ציון מעל 42. בנובמבר 2021, זה היה GPT-3, ב-60 דולר למיליון טוקנים. עד סוף 2024, מודל Llama קטן עם 3 מיליארד פרמטרים הגיע לאותו ציון ב-6 סנט. זו הוזלה פי אלף בתוך כשלוש שנים.
כמה שינויים עוזרים להסביר למה רמת ביצועים קבועה הפכה לזולה יותר. שיטות אימון טובות יותר מאפשרות למודלים קטנים יותר להגיע לרמות ביצועים שקודם דרשו מודלים גדולים יותר. מטמון, batching וקוונטיזציה מקטינים את עלויות ההגשה. תחרות בין ספקים יכולה גם היא להוריד את המחירים שמשתמשים משלמים. זה עוזר להפוך סוכני קוד למעשיים, כי סוכן עשוי לקרוא למודל מאות פעמים עבור משימה אחת.
בואו נסכם. מטרת האימון המקדים שעקבנו אחריה הייתה לנבא את הטוקן הבא מהטקסט שלפניו.
עבור המודל הגדול ביותר של Llama 3, זה היה כרוך במאות מיליארדי פרמטרים, כ-15 טריליון טוקני אימון, ומיליוני שעות GPU. המספרים האלה מראים איך מטרת אימון פשוטה יכולה לערב חישוב עצום. הטקסט מספק בעצמו את יעדי הטוקן הבא, אז סט האימון לא צריך תווית אנושית נפרדת לכל ניבוי. זה מאפשר לאמן על הרבה יותר דוגמאות.
אימון בקנה מידה כזה מפתח יכולות רחבות. ואז post-training מעצב איך המודל משתמש בהן כעוזר, וההיסק הופך את היכולות האלה לזמינות לתוכניות שלנו. אלה השלבים שמאחורי מודלי השפה שאנחנו עובדים איתם היום. ההיקף והמורכבות שלהם באמת מדהימים, והם ממשיכים לגדול. נתראה בסרטונים הבאים!