קריאה למודל יכולה להיות פשוטה כמו שליחת בקשת HTTP. נבחן אחת מקרוב, נקרא את תשובת ה-JSON, ואז נבנה שיחה שלמה לאורך כמה קריאות. נשווה גם בין הבקשה המקומית ובין API בענן, ונזהה את בקרות הדגימה, מגבלת הפלט ושדות התשובה שהרתמה משתמשת בהם.
לפני שנשלח משהו, מילה על המנגנון. בקשת HTTP היא הודעה מלקוח לשרת, שממוענת לכתובת URL. היא נושאת מתודה, כמו GET כדי להביא משהו או POST כדי לשלוח משהו, כמה headers שמתארים את ההודעה, ובדרך כלל גם גוף. הגוף הוא המקום שבו נמצא התוכן. כמעט בכל API ברשת הוא JSON, פורמט טקסט פשוט של שדות עם שמות בתוך סוגריים מסולסלים, שקל לתוכניות לכתוב ולקרוא.
השרת עונה בתגובה. יש לה קוד סטטוס, מאתיים כשהכול הלך כשורה, וגוף משלה, שוב JSON. בקשה אחת והתגובה שלה הן קריאת API אחת.
חשיפה של תוכנית בדרך הזאת, כאוסף כתובות URL שמקבלות ומחזירות JSON מעל HTTP, נקראת REST API. זו הדרך הסטנדרטית שבה שירותים נעשים זמינים באינטרנט, ושרת מודלים הוא עוד שירות מהסוג הזה. אנחנו מראים כאן רק את הצורה הכללית של ההודעות האלה. בכל פעם שתצטרכו לבנות אחת בעצמכם, אתם כמובן יכולים להתייעץ עם הסוכן שלכם לפי הצורך. הרעיון הוא להסתכל לעומק על מה שהרתמה והמודל באמת מחליפים ביניהם.
curl שולח בקשות HTTP מהטרמינל ומדפיס את התשובה. הוא זמין ב-Linux, ב-macOS וב-Windows. כאן אנחנו משתמשים בו כדי לשלוח את התוכן של קובץ JSON ל-Ollama. הבקשה היא POST לנקודת הקצה של הצ'אט בשרת המקומי. הגוף שלה נוקב בשם המודל ומספק מערך הודעות, עם תפקיד ותוכן לכל הודעה. הבקשה הראשונה הזאת מכילה שאלה אחת של המשתמש. stream הוא false, ולכן התשובה חוזרת כאובייקט JSON אחד.
התשובה מכילה הודעת assistant שהתוכן שלה הוא Paris. היא כוללת גם את שם המודל ושדות שמתארים את סיום היצירה, שנחזור אליהם לקראת הסוף.
הבקשה הראשונה שלנו מבקשת את בירת צרפת במילה אחת. התשובה היא Paris, כצפוי. זכרו ששאלה ותשובה כאחת זמינות לתוכנה שביצעה את הקריאה הזאת.
בבקשה השנייה נשלח רק "And of Italy?". התשובה השמורה מדברת על יין איטלקי. השאלה הקודמת על בירות לא נמצאת בבקשה הזאת, ולכן המודל צריך לפרש את הטקסט החדש בלעדיה.
השרת לא מחזיק את מצב השיחה. הוא לא שומר כלום מהקריאה הראשונה, ולכן הקריאה השנייה מגיעה בלי הודעות קודמות. הרתמה היא ששומרת את השיחה. בכל קריאה היא שולחת שוב את כל ההיסטוריה בתוך הבקשה.
בואו נבנה את ההיסטוריה הזאת במפורש. במערך ההודעות הראשון יש איבר אחד: שאלת המשתמש. השרת מחזיר את תשובת ה-assistant, Paris.
הקריאה השנייה שולחת שלוש הודעות: השאלה המקורית, תשובת ה-assistant, והשאלה החדשה על איטליה. התשובה הקודמת היא עכשיו חלק מהקלט. עם ההקשר הזה, ההרצה הזאת עונה Rome.
הקריאה השלישית שולחת חמש הודעות, כולל שני זוגות השאלה-תשובה הקודמים והשאלה החדשה על איזו עיר צפונית יותר. המודל עונה Paris. כל קריאה כוללת את התמליל המצטבר, ולכן הבקשה גדלה ככל שהשיחה נמשכת.
אותו מבנה בסיסי מופיע גם ב-API בענן. משמאל נמצאת בקשת Ollama המקומית שלנו, עם שם מודל ורשימת הודעות שמכילות תפקידים ותוכן.
מימין נמצאת בקשה להמחשה ל-Messages API של Anthropic. יש לה כתובת בענן, header של מפתח API, header של גרסה, ושדות נוספים בגוף הבקשה. מגבלת הפלט כאן היא אלף עשרים וארבעה טוקנים, והדוגמה כוללת גם הוראות מערכת והגדרות של כלים. הבקשה אינה בת-החלפה בייט-בייט עם זו של Ollama. הדמיון המועיל הוא שהיא מספקת הוראות והודעות שיחה שהמודל ימשיך מהן.
זה החלק ברתמה שבונה את הבקשה. הוא אוסף את הוראות המערכת, את היסטוריית השיחה הרלוונטית ואת הגדרות הכלים, ואז שולח אותם בפורמט של הספק. קוד אחר ברתמה מטפל בתשובה, בהרשאות ובהרצת הכלים לפני הקריאה הבאה.
כמה בקרות יכולות להשפיע על היצירה. טמפרטורה משנה את התפלגות הדגימה. top-p ו-top-k מגבילים אילו טוקנים נלקחים בחשבון. הגדרת מקסימום הטוקנים מגבילה את אורך הפלט. seed שולט ברצף המספרים האקראיים, איפה שזה נתמך, ועוזר לחזור על ניסוי כששאר ההגדרות נשארות קבועות.
הזמינות, שמות השדות והברירות מחדל תלויים ב-API ובמודל. Ollama חושף את הבקרות האלה דרך ה-options שלו, בעוד שמודל בענן עשוי לתמוך רק בחלק מהן. גם עם seed, אל תניחו תוצאות זהות על חומרה שונה או על גרסאות הגשה שונות.
התשובה גם מספרת לתוכנה הקוראת מה קרה במהלך היצירה. שני סוגי מידע שימושיים הם הסיבה שהיצירה נעצרה, וספירות הטוקנים. סיבת עצירה יכולה לציין סיום, בקשה להרצת כלי, או הגעה למגבלת הפלט. ספירות טוקני הקלט והפלט עוזרות למדוד שימוש, וב-API בתשלום, להבין את החיוב. היסק מקומי עדיין צורך משאבי חישוב, אבל הוא לא מייצר את חשבון ה-API לפי טוקן של אותו ספק.
הרתמה משתמשת בסיבת העצירה יחד עם תוכן התשובה כדי להחליט איך להמשיך. אם המודל מבקש כלי, הרתמה בודקת את הפעולה המבוקשת, מריצה אותה כשמותר, וכוללת את התוצאה בקריאה הבאה.
עכשיו אתם יכולים להרכיב קריאה למודל בעצמכם, ולהסביר למה בקשת ההמשך צריכה את ההיסטוריה שלה. בדוגמאות האלה, השיחה היא רשימת ההודעות ששלחנו, ולא שיחה שהשרת משחזר אוטומטית.
הדוגמה המקומית וזו שבענן משתמשות באותו רעיון, עם נקודות קצה, אימות ושדות גוף ספציפיים לספק. קריאה של השדות האלה הופכת את הבקשה למובנת, בלי להתייחס ל-API כשירות שיחה נסתר. הרתמה עושה את העבודה הזאת אוטומטית לאורך כל לולאת הסוכן. בחינה של מבנה הבקשה נותנת לכם דרך לזהות מה היא שולחת ולפרש מה חוזר.
נתראה בסרטון הבא.