המודלים שהשתמשנו בהם דרך סוכני קוד רצו עד עכשיו על השרתים של ספק. בסרטון הזה נריץ מודלים עם משקולות פתוחות על מחשב נייד, ושם נוכל לשלוח בקשות ולבחון את התשובות בעצמנו. נשווה מודל בסיס למודל צ'אט, נבחן את תבנית הצ'אט, ונסתכל על מודל קהילתי שאומן על נתונים שסוננו מהם דוגמאות סירוב. הדוגמאות האלה עוזרות להסביר מה האימון שאחרי הפרה-אימון משנה, ולמה אנחנו צריכים גם הרשאות סביב הפעולות של הסוכן.
נשתמש ב-Ollama כדי להוריד ולהריץ מודלים עם משקולות פתוחות. משקולות פתוחות אומר שערכי הפרמטרים המאומנים זמינים להורדה. Ollama חושף את המודל שרץ מקומית דרך נקודת קצה של HTTP, בדרך כלל בפורט אחד עשר אלף ארבע מאות שלושים וארבע. המשקולות שהורדתם נשמרות על הדיסק. Ollama טוען אותן לזיכרון לצורך היסק ומקבל בקשות דרך השרת שלו.
התקינו את Ollama אם אתם רוצים לעקוב אחרי ההדגמות. ב-Linux וב-macOS, הפקודה שעל המסך מורידה ומריצה את המתקין. האתר מציע גם הורדות רגילות, ול-Windows יש הוראות התקנה משלו. בחרו את האפשרות שמתאימה למערכת ההפעלה שלכם. הריצו ollama list כדי לראות אילו מודלים כבר הורדו. בהקלטה הזאת מופיעים שלושה, לפי הסדר שעל המסך: גרסה קהילתית של Llama 2 שעברה כיוונון עדין בלי דוגמאות של סירוב, מודל הצ'אט Llama 3.1 עם שמונה מיליארד פרמטרים, ומודל בסיס Gemma 3 עם מיליארד פרמטרים, שהורד מ-Hugging Face כקובץ GGUF מקוונטז. ollama run ואחריו שם מודל מוריד אותו אם צריך, ופותח שיחה בטרמינל.
קטלוג המודלים של Ollama זמין בכתובת ollama dot com slash search. אפשר לעיין שם במשפחות מודלים ובגדלים לפני שבוחרים אחד שמתאים למכונה שלכם. הפלטים בסרטון הזה הם הרצות שמורות מהתאריך שמופיע בכל שקף. עצרו על פקודה ונסו אותה בעצמכם, אם בא לכם. התשובה המדויקת והמהירות עשויות להיות שונות, וזה חלק ממה שהופך את ההשוואות האלה למועילות.
המודלים הקטנים כאן הם מקבילות מעשיות למודלים בענן שהשתמשנו בהם. המהירות תלויה במודל ובחומרה, והיצירה יכולה להיות איטית על מחשב נייד שרץ רק על ה-CPU. בהיסק מקומי, הפרומפט מעובד על המכונה שלכם. הורדת משקולות משתמשת ברשת, ו-Ollama תומך גם במודלי ענן, אז ודאו שבחרתם מודל מקומי כשעיבוד מקומי הוא כל הנקודה בתרגיל.
הדוגמה הראשונה שלנו היא הגרסה המאומנת מראש של Gemma, מודל בסיס בלי שלב הכיוונון להוראות שבא אחר כך. הצגנו פרה-אימון קודם בקורס כלמידה לנבא המשכים של טקסט. אנחנו נותנים לו התחלה של משפט: בירת צרפת היא. הוא ממשיך עם Paris ואז עוד פרוזה על העיר, כולל טענה לא עקבית. ייצור של המשך סביר לא מוכיח שההמשך נכון.
עם השאלה, מהי בירת צרפת, ההרצה המוקלטת הזאת ממשיכה עם עוד שאלות במקום לענות. אחת מהן אפילו שואלת למה לצרפת יש שלוש מאות שישים ימים בשנה, וזו כשלעצמה שאלה חסרת היגיון. רשימת שאלות היא המשך אפשרי אחד לשאלה בטקסט רגיל. המודל מייצר המשך, והפרומפט הזה לא ביסס באופן אמין את התנהגות השאלה-ותשובה שרצינו.
כאן מודל הבסיס ממשיך עם עוד שאלות. משימת הפרה-אימון שלו הייתה להמשיך טקסט, כולל כל דיאלוג שבתוכו. האימון שאחר כך מפתח את התנהגות העוזר שאנחנו רוצים: לענות על השאלה.
גרסת הצ'אט של Llama שלוש נקודה אחת עונה על אותה שאלה ישירות: בירת צרפת היא Paris. זו ההתנהגות שאנחנו בדרך כלל מצפים לה מעוזר צ'אט. כיוונון להוראות הוא חלק מהאימון שמפתח את ההתנהגות הזאת. ההשוואה הזאת משתמשת במשפחות מודלים ובגדלים שונים, ולכן היא ממחישה את ההבחנה במקום לבודד את האימון שאחרי הפרה-אימון כהבדל הניסויי היחיד.
גם פורמט הקלט חשוב. Ollama מחיל את תבנית הצ'אט של המודל, שמסמנת את התפקידים ואת גבולות התורות לפני שהמודל ממשיך את הרצף. ה-header של user והשאלה מוצגים בכתום. הסמן שסוגר את התור מסיים אותו, ו-header של assistant אומר למודל איזה תפקיד להמשיך. התשובה של ה-assistant מוצגת בסגול. המודל מייצר את הטקסט של ה-assistant ויכול לפלוט את הסמן שסוגר את התור, שהוא למד להשתמש בו. תוכנת ההגשה מזהה את הסמן הזה ועוצרת את היצירה. גם מגבלת פלט יכולה לעצור תשובה.
ההשוואה הבאה שואלת איך לפרוץ את המנעול בדלת הכניסה של המשתמש עצמו. בהרצה השמורה הזאת, מודל הצ'אט הרשמי של Llama מסרב ומציע לפנות למנעולן.
המודל הקהילתי שנקרא llama two uncensored עונה לאותה בקשה בעצה כללית. אנחנו משווים את הנכונות לענות, לא מעריכים אם העצה שלו עובדת.
המקור של המודל חשוב. הגרסה הזאת עברה כיוונון עדין ממשקולות הבסיס של Llama 2, עם סט נתוני שיחה שתשובות הסירוב סוננו ממנו. היא לא נוצרה על ידי הסרת רכיב ממודל הצ'אט המאומן של Meta. סינון הדוגמאות האלה משנה את מה שהשלב של הכיוונון העדין מעודד. גישה למשקולות הבסיס היא מה שמאפשר את מסלול האימון החלופי הזה. ואז אפשר להשוות איך המודלים שנוצרו מגיבים.
הדיאגרמה מסכמת את מסלולי האימון. פרה-אימון על אוסף טקסט גדול, כולל טקסט מהרשת, מייצר מודל בסיס שמנבא המשכים.
מסלול אחד מאמן אחר כך את המודל לצ'אט, כולל מענה לבקשות וסירוב לחלק מהן. דפוסי התגובה האלה הם התנהגות נלמדת בתוך המשקולות.
המסלול השני עושה כיוונון עדין למודל הבסיס של Llama 2 עם נתוני השיחה המסוננים. הכיוונון החלופי מגיב אחרת לחלק מהבקשות.
אימון הוא דרך אחת לגרום למודל להגיב בבטחה רבה יותר. הוא יכול ללמד דפוסים שימושיים לזיהוי בקשות שכדאי לדחות, והדפוסים האלה משפיעים על מה שהמודל מייצר. התגובות הנלמדות האלה הן לא מגבלה קשיחה על פעולות. הן יכולות להיכשל, ואנשים שיש להם את המשקולות יכולים לשנות אותן באימון נוסף. הרשאות ופיקוח מוסיפים שכבה נפרדת ששולטת באילו פעולות הרתמה באמת רשאית לבצע.
הקטלוג מכיל טווח רחב של גדלים. מודלים עם בערך מיליארד או שני מיליארד פרמטרים הם נקודות פתיחה טובות לניסויים על CPU, אם כי הכרטיס כולל גם כמה דוגמאות גדולות יותר. בדקו את דרישות הזיכרון, לא רק את גודל ההורדה.
חלק מהמודלים מקבלים גם תמונות, לא רק טקסט. איתם אפשר לשאול על תמונה בתוך אותה דרך עבודה כללית של בקשה ותשובה.
כמה מעבדות גדולות מפרסמות משפחות מודלים עם משקולות פתוחות. למשל Llama של Meta, Gemma של Google, gpt-oss של OpenAI, ומודלים של Mistral. הגדלים והיכולות שלהם משתנים מאוד.
הקטלוג כולל גם שחרורים ממעבדות סיניות, כמו Qwen של Alibaba ו-DeepSeek. אלה עוד דוגמאות לטווח המודלים שאפשר להריץ או לחקור.
מפתחים בקהילה מפרסמים גם כיוונונים עדינים, מודלים מזוקקים ומודלים ממוזגים. Ollama יכול גם להוריד מודלי GGUF נתמכים ישירות מ-Hugging Face לפי כתובת המאגר שלהם. כך הורד מודל הבסיס Gemma שבהקלטה הראשונה שלנו, ולכן השם שלו ברשימה התחיל ב-hf.co. פורמט הקובץ לבדו לא מבטיח שכל ארכיטקטורה נתמכת.
למודל נתמך שמתאים לחומרה שלכם, ollama run ואחריו השם שלו מספיק כדי להתחיל. שם של מודל מתייחס לשחרור ולתצורה מסוימים, אז בדקו איזו גרסה אתם מורידים כשאתם משווים תוצאות.
תהנו מהורדה של כמה מודלים ומשחק איתם. נסו את אותו פרומפט על מודל בסיס ועל מודל צ'אט, ותראו כמה שונה התשובה. רק זכרו למחוק אותם כשסיימתם, עם ollama rm ואחריו שם המודל, אם אתם רוצים את המקום בחזרה על המחשב.