يواصل هذا الفيديو شرح طريقة عمل النماذج اللغوية الكبيرة. سنرى كيف يُعِدّ التدريب اللاحق النموذج ليعمل مساعدًا، ثم ننظر في أحجام النماذج وبيانات التدريب، والحوسبة اللازمة للتدريب. وسننظر أيضًا في كيفية ردّ النماذج على الطلبات عبر الشبكة، وإلى أي حدّ كبُرت نوافذ السياق، وكيف قادت التطوّرات منذ AlexNet إلى النماذج اللغوية التي نستخدمها اليوم.
في فيديو سابق، درّبنا شبكة عصبية على أمثلة بقياس الخسارة وتحديث الأوزان لتقليلها. في النموذج اللغوي، الأمثلة هي سلاسل من الـ tokens. ومهمة التدريب من الأسبوع الثاني هي التنبّؤ بالـ token التالي من النص الذي يسبقه. وكثير من هذا النص يأتي من الإنترنت العام. وتُسمّى هذه المرحلة التدريبَ المسبق (pretraining). يولّد النموذج الناتج تكملة لما يُدخَل إليه، token تلو الآخر. والتدريب المسبق وحده لا يجعله يتصرّف بشكل موثوق كمساعد مفيد. إن سألتموه، فقد يجيب، أو قد يُكمل بأسئلة أخرى مكتوبة بالأسلوب نفسه.
ثم يأتي تدريب إضافي يُعِدّ النموذج للعمل مساعدًا. والضبط الدقيق جزء من مرحلة أوسع تُسمّى التدريب اللاحق (post-training). يستخدم أحد الأساليب مجموعة أصغر مختارة بعناية من محادثات المساعد. وأسلوب آخر يستخدم التغذية الراجعة، مثل حكم البشر على أيّ الإجابتين أفضل، لتشجيع الردود المفضّلة. تواصل هذه الأساليب تعديل أوزان النموذج، باستخدام بيانات ومهام تدريب مختلفة عن التدريب المسبق.
يُشكّل التدريب اللاحق إلى حدّ كبير السلوكَ الذي نراه عندما نتحدّث مع النموذج. فهو يشجّع الردود المفيدة والمهذّبة، واتّباع التعليمات، ورفض الطلبات الضارّة، ونبرة ثابتة على امتداد المحادثة. التدريب المسبق يؤثّر في السلوك بالفعل، لكن التدريب اللاحق يدرّب على سلوكيات المساعد هذه بشكل أكثر صراحة. ولا يضمن أن يلتزم بها النموذج في كل مرة.
يبني التدريب المسبق معرفة وقدرات واسعة. ويبني عليها التدريب اللاحق ليجعل النموذج أكثر فائدة كمساعد. هذا تمييز مفيد، مع أن كلتا المرحلتين قد تؤثّر في المعرفة والسلوك. عندما يلبّي النموذج طلبًا، أو يردّ بحذر، أو يحافظ على أسلوب ثابت، فنحن نرى سلوكًا صُمّم التدريب اللاحق لتشجيعه.
لنرَ بعض الأرقام عن حجم هذه النماذج. سنستخدم عائلة Llama من Meta، لأن Meta تنشر أعداد المعاملات، وتفاصيل بنية النموذج، وإجمالي بيانات التدريب. هذه الأرقام تعطينا أمثلة محدّدة للمقارنة. في عائلة Llama 2، التي صدرت عام 2023، ضمّ أكبر نماذجها 70 مليار معامل. وفي عام 2024، وصلت عائلة Llama 3 إلى 405 مليارات. والمعاملات تشمل الأوزان المتعلَّمة التي ناقشناها في فيديو سابق. للمقارنة، في دماغ الإنسان نحو 100 تريليون وصلة عصبية، وتُسمّى المشابك، وهذا أكثر من أعداد المعاملات هنا، مع أن المشبك البيولوجي والوزن الاصطناعي شيئان مختلفان. المقارنة تعطي فكرة عن الحجم، لا مقياسًا للذكاء. عبر Llama 2 و3 و4، نمت المفردات، أي مجموعة الـ tokens التي يقرؤها النموذج ويكتبها، من نحو 32 ألف token إلى 128 ألفًا، ثم إلى نحو 202 ألف.
وازدادت بيانات التدريب بوتيرة أسرع. فقد ارتفعت من تريليونَي token في Llama 2 إلى نحو 15 تريليونًا في Llama 3. استخدم Llama 4 Scout نحو 40 تريليونًا، بينما استخدم Maverick نحو 22 تريليونًا. لنكوّن فكرة عن هذه الأرقام، فالـ token يساوي تقريبًا ثلاثة أرباع كلمة إنجليزية. لذا فإن كتابًا من 100,000 كلمة يساوي نحو 130,000 token. تضمّ مكتبة الكونغرس نحو 26 مليون كتاب مفهرس، أي نحو 3 تريليونات token. في عام 2010، قدّرت Google عدد الكتب المنشورة عبر التاريخ بنحو 130 مليون كتاب. وهذا يعادل نحو 17 تريليون token، وهو قريب من الكمية التي دُرّب عليها Llama 3. وتقدّر Epoch AI أن كل النصوص المتاحة للعموم على الإنترنت يبلغ مجموعها نحو 300 تريليون token. وبيانات تدريب Llama 3 تعادل بالفعل نحو 5% من ذلك.
أدخل Llama 4 أسلوب خليط الخبراء (mixture of experts) إلى عائلة Llama. والنموذجان اللذان صدرا في أبريل 2025 هما Scout وMaverick. في خليط الخبراء شبكات فرعية خبيرة، ويُوجَّه كل token عبر بعضها فقط. في Maverick نحو 400 مليار معامل إجمالًا، منها نحو 17 مليارًا نشطة لكل token. هذا يقلّل الحوسبة لكل token مقارنةً باستخدام كل المعاملات، لكن النموذج الكامل ما زال يحتاج إلى تخزين. ويسمح أيضًا بعدد إجمالي أكبر من المعاملات. عند الإصدار في أبريل، وصفت Meta نموذج Behemoth، الذي يقارب تريليونَي معامل، بأنه ما زال قيد التدريب.
من أين يأتي نص التدريب؟ الإنترنت العام مصدر مهمّ، إلى جانب مواد مرخّصة ومصادر أخرى متاحة للجهة المطوِّرة. من المصادر الشائعة لمجموعات بيانات النماذج اللغوية بيانات زحف الويب مثل Common Crawl، ومستودعات الكود العامة مثل GitHub، وويكيبيديا، والكتب، والأوراق العلمية، ومواقع الأسئلة والأجوبة. في Llama 3، أفادت Meta بمزيج من نحو 50% معرفة عامة، و25% رياضيات وتفكير، و17% كود، و8% tokens متعدّدة اللغات.
استخدم Llama 4 Scout نحو 40 تريليون token للتدريب، أي أكثر من ضعف إجمالي Llama 3. ووصفت Meta عدّة تغييرات في البيانات. شمل مزيج التدريب صورًا وفيديو إلى جانب النص. واستخدم أيضًا نحو 10 أضعاف ما استخدمه Llama 3 من tokens متعدّدة اللغات، تغطّي 200 لغة. وتذكر بطاقة النموذج أيضًا بيانات من منتجات Meta: منشورات Instagram وFacebook المشارَكة علنًا، وتفاعلات الناس مع Meta AI. وتحدّد أغسطس 2024 تاريخًا لانقطاع بيانات التدريب المسبق.
نشرت Meta فئات المصادر وإجماليات التدريب لـ Llama 4، لكنها لم تنشر تفصيلًا رقميًا يمكن مقارنته بمزيج Llama 3. لذلك لا يمكننا أن ننسب إلى مصادر محدّدة نحو 25 تريليون token إضافية في تدريب Scout. ومعرفة أن مصدرًا ما قد أُدرج لا تخبرنا بنسبة مساهمته.
لنرى كيف تتحوّل هذه البيانات إلى أمثلة تدريب، لنعُد إلى حلقة التدريب من فيديو سابق ونطبّقها على النص. نأخذ مقطعًا من مجموعة نصوص التدريب. آخر token هنا هو «mat». فهو الإجابة الصحيحة عن الـ token التالي، ويُخفى عن النموذج في هذا التنبّؤ.
يتلقّى النموذج الـ tokens السابقة، «the cat sat on the»، ويُنتج احتمالًا لكل token تالٍ ممكن. ويعطي «mat» احتمالًا قدره 40%.
نقارن هذا التنبّؤ بالـ token الموجود في النص الأصلي، «mat». تعاقب الخسارة النموذج إذا أعطى الـ token الفعلي احتمالًا أقلّ مما ينبغي. تستخدم النماذج اللغوية عادةً سالب لوغاريتم ذلك الاحتمال، بدلًا من مربّعات الفروق في مثال صور الأرقام. زيادة احتمال «mat» تقلّل خسارة هذا المثال.
نستخدم الخسارة لحساب تحديثات الأوزان. وكما في فيديو سابق، الهدف هو تقليل الخسارة لكي تتحسّن التنبّؤات على أمثلة التدريب. يحسب الانتشار العكسي المشتقّات اللازمة لتلك التحديثات في الشبكة كلها. ويستخدمها مُحسِّن (optimizer) لتغيير الأوزان. سنترك تفاصيل الرياضيات لمساق في تعلّم الآلة.
نكرّر هذه العملية على مليارات من أمثلة الـ token التالي من مجموعة النصوص. وعمليًا، يعالج التدريب أمثلة كثيرة معًا في دفعة (batch).
يوفّر النص شيئًا كان علينا أن نوفّره بشكل منفصل لصور الأرقام: هدف تدريب صحيح. فالـ token التالي موجود بالفعل في النص الأصلي. يمكننا أن نبني كل زوج من تنبّؤ وهدف من ذلك النص، دون أن نطلب من أحد تصنيف كل مثال.
هذا تعلّم ذاتي الإشراف (self-supervised)، أي أن أهداف التدريب تأتي من البيانات نفسها. الاستغناء عن تصنيف بشري منفصل لكل مثال يجعل استخدام مجموعات نصوص ضخمة جدًا ممكنًا. لكن جمع البيانات وترخيصها وتصفيتها ومعالجتها ما زال يكلّف مالًا، والنص الجديد المناسب محدود. الكمّ الكبير من الأمثلة ذات الأهداف المتاحة تلقائيًا هو ما يجعل التدريب على الـ token التالي ممكنًا بهذا الحجم.
كتابة الكود من أكثر ما تتقنه هذه النماذج، وطريقة تدريبها تساعد في تفسير السبب. السبب الأول هو البيانات. تحوي مستودعات الكود العامة كمية هائلة من الكود، ونحو واحد من كل 6 tokens في تدريب Llama 3 كان كودًا.
السبب الثاني أن برنامجًا يستطيع التحقّق من الإجابة. شغّلوا اختبارات الحلّ المقترح، وستعرفون إن كان يعمل دون أن تسألوا أحدًا. لذلك يستطيع التدريب اللاحق مكافأة الحلول الصحيحة تلقائيًا، على عدد هائل من المسائل البرمجية. يُسمّى هذا الأسلوب التعلّمَ المعزَّز بمكافآت قابلة للتحقّق. ومثل أهداف الـ token التالي التي رأيناها، لا تحتاج هذه المكافآت إلى تصنيف بشري لكل مثال، لذا يمكن توسيع هذا التدريب كثيرًا.
إذن تقدّم البرمجة أمثلة كثيرة للتعلّم منها، وإجابات يستطيع برنامج التحقّق منها. وقابلية التحقّق نفسها تساعد الوكيل أثناء عمله، لأنه يستطيع تشغيل الكود وقراءة النتيجة والمحاولة من جديد. والمنطق نفسه ينطبق خارج الكود أيضًا. وكثير من إجابات الرياضيات يمكن التحقّق منها تلقائيًا، وكذلك براهين المبرهنات، باستخدام مدقّق براهين (proof checker). وهذا جزء من سبب قوة النماذج في الرياضيات. توقّعوا أن تستمرّ في التحسّن فيها، وفي أي مهمة أخرى يستطيع برنامج التحقّق من إجابتها.
معالجة كل أمثلة التدريب هذه تتطلّب كمية كبيرة من الحوسبة. أفادت Meta بنحو 31 مليون ساعة GPU من نوع H100 لنموذج Llama 3 الذي يضمّ 405 مليارات معامل، باستخدام ما يصل إلى نحو 16 ألف GPU. وبهذا العدد من الـ GPUs، يعادل الإجمالي نحو 80 يومًا، أي شهرين إلى ثلاثة أشهر. لكي نستوعب هذا الرقم، سنوزّع الحوسبة نفسها على عتاد أقلّ. هذه تجربة ذهنية لتقدير رتبة المقدار، وليست قياسًا فعليًا للأداء. نفترض أن العمل المفيد في كل ساعة GPU ثابت.
إذا قسمنا نحو 31 مليون ساعة GPU على عدد ساعات السنة، نحصل على نحو 3500 سنة GPU. سيحتاج GPU واحد كل هذا الوقت لإنجاز العمل، لو كانت ذاكرته تتّسع للنموذج. تخيّلوا أنكم شغّلتم شريحة واحدة قبل 3500 سنة وتركتموها تعمل حتى اليوم. هذه هي كمية الحوسبة التي يوزّعها العنقود الحاسوبي على آلاف الشرائح.
تنفّذ نواة CPU واحدة في الثانية قدرًا أقلّ بكثير من حسابات المصفوفات المتوازية. لنفترض أن النواة أبطأ بـ 17 ألف مرة من GPU تدريب واحد. هذه هي نسبة السرعة التي نفترضها في هذه المقارنة. عندها تصبح 3500 سنة GPU نحو 60 مليون سنة لنواة CPU. تخيّلوا نواة واحدة تعمل طوال الفترة تقريبًا من انقراض الديناصورات حتى اليوم.
الحوسبة المتوازية تختصر هذا العمل إلى أشهر. تتقاسم الشرائح الحسابات وتتبادل النتائج الوسيطة، لذا فإن إبقاءها تعمل معًا بكفاءة جزء من التحدّي الهندسي. وكمقارنة تقريبية بأسعار الاستئجار، 31 مليون ساعة GPU بنحو 3 دولارات لساعة الـ GPU تكلّف نحو 100 مليون دولار. وبنحو 7 دولارات لساعة الـ GPU، تبلغ نحو 220 مليون دولار. أسعار الاستئجار المفترضة هذه تعطينا فكرة عن التكلفة، لا عن فاتورة Meta الفعلية. هذه التقديرات تغطّي وقت الـ GPU في عملية تدريب واحدة. وتطوير النموذج يشمل أيضًا تجارب وتكاليف أخرى، لذا فإن تكلفة التطوير الكاملة أكبر. خليط الخبراء طريقة لتقليل الحوسبة لكل token. أفادت Meta بنحو 5 ملايين ساعة GPU لـ Llama 4 Scout، ونحو 2.38 مليون لـ Maverick، مقارنةً بنحو 31 مليونًا لأكبر نماذج Llama 3. لكن البنية والبيانات والعتاد وبقية إعداد التدريب تختلف أيضًا.
التدريب يُنتج الأوزان التي نستخدمها في الاستدلال. والردّ على طلب باستخدام النموذج المدرَّب يحتاج أيضًا إلى حوسبة وذاكرة، مع أنه لا يحدّث الأوزان. في الإعداد المعروض هنا، يرسل تطبيقكم prompt عبر الشبكة إلى API في السحابة. ويشغّل مزوّد الخدمة النموذج على GPUs أو مسرّعات أخرى، ويعيد الـ tokens المولَّدة تباعًا. يحتاج نموذج رائد بهذا الحجم إلى عتاد أكثر مما يوفّره حاسوب محمول عادي. يمكن تشغيل النماذج الأصغر محليًا، لكن النماذج الكبيرة المستضافة تُستخدم عادةً عبر خدمة.
يتكوّن جزء كبير من الحوسبة في الشبكة العصبية من ضرب المصفوفات وتطبيق عمليات على مُخرَجات عصبونات كثيرة. تستطيع الـ GPUs تنفيذ كثير من هذه العمليات بالتوازي. والنماذج الكبيرة تحتاج أيضًا إلى ذاكرة كبيرة لتخزين أوزانها والحالة الوسيطة المستخدمة أثناء توليد الردّ.
تشغيل النموذج بكفاءة لخدمة الطلبات يتطلّب عدّة حلول هندسية. التخزين المؤقت لـ KV (KV caching) يحفظ نتائج وسيطة للـ tokens السابقة حتى لا يلزم حسابها من جديد. والتجميع (batching) يعالج عدّة prompts معًا، وتسرّع الـ kernels المخصّصة للـ GPU العمليات، والتكميم (quantization) يمثّل الأرقام ببتّات أقلّ لتقليل استهلاك الذاكرة والحوسبة. لن نتعمّق في تفاصيل التنفيذ هذه هنا. فهي مجالات نشطة في البحث والهندسة. النتيجة العملية للنماذج الكبيرة المستضافة التي نستخدمها في هذا المساق هي أن برامجنا تستدعي API في السحابة بدلًا من تحميل النموذج على حاسوب محمول. لذلك فالطلب إلى نموذج كهذا هو طلب عبر الشبكة إلى خدمة تشغّل النموذج على عتاد مسرِّع.
ونافذة السياق قيد آخر يتعلّق بالحجم، وستصادفونه أثناء العمل مع الوكلاء. في الأسبوع الثاني، عرّفناها بأنها الحدّ الأقصى لعدد الـ tokens المتاحة للنموذج في طلب واحد. يدعم Llama 4 Scout نافذة سياق من 10 ملايين token. ويدعم Claude Opus 5.5 وFable 5.1 نافذة من مليون token وفق التوثيق الرسمي. ومع ذلك قد تبلغ الجلسة الطويلة هذه الحدود مع تراكم الملفات ونتائج الأدوات. ولهذا يضغط الـ harness المحادثات، كما رأينا في الفيديو عن السياق.
كيف انتقلت الشبكات العصبية من التعرّف على الصور إلى وكلاء البرمجة التي نستخدمها اليوم؟ ونقطة بداية مناسبة لهذه القصة هي AlexNet، وهي شبكة عصبية فازت في مسابقة للتعرّف على الصور عام 2012. في مسابقة ImageNet، كان معدّل خطئها top-5 هو 15.3%، مقابل 26.2% للمشارك الذي حلّ بعدها. ساعد هذا التحسّن الكبير في ترسيخ الشبكات العميقة كنهج عملي للتعرّف على الصور.
ومؤلّفوها أيضًا حلقة وصل بين هذه النتيجة المبكرة والمختبرات التي طوّرت لاحقًا أنظمة ذكاء اصطناعي شائعة. انضمّ جيفري هينتون وأليكس كريجيفسكي إلى Google. وشارك إيليا سوتسكيفر لاحقًا في تأسيس OpenAI. وعملهم اللاحق صلة من الصلات بين التقدّم في التعرّف على الصور وتطوير النماذج اللغوية الحديثة.
على مدى السنوات التالية، أصبحت الشبكات العصبية العميقة نهجًا معتمدًا في كثير من مهام الرؤية الحاسوبية. في 2017، ظهرت بنية الـ Transformer القائمة على الـ attention، وأصبحت محورية في نمذجة اللغة. لن نشرح بنية الـ Transformer بالتفصيل هنا. إنها البنية التي تستخدمها نماذج لغوية حديثة كثيرة، والـ attention إحدى آلياتها المحورية.
نشأت النماذج اللغوية الكبيرة ووكلاء البرمجة من هذا التقدّم في الشبكات العصبية وأساليب التدريب وعتاد الحوسبة.
ومن الأنماط المتكرّرة في هذا التاريخ أن زيادة البيانات والحوسبة جعلت الشبكات الأكبر مفيدة في مهام أصعب. منذ عام 2012، ساعد توسيع الشبكات العصبية في تحسين التعرّف على الصور، ونمذجة اللغة، والمساعدات التي نستخدمها اليوم. وتحسّنت البنى وأساليب التدريب جنبًا إلى جنب مع هذه الزيادة في الحجم.
يُظهر هذا الرسم البياني من Epoch AI نموّ حوسبة التدريب. كل نقطة تمثّل نموذجًا بارزًا. المحور الأفقي هو الزمن، والمحور العمودي يبيّن حوسبة التدريب بعدد عمليات الفاصلة العائمة. المقياس العمودي لوغاريتمي: كل رتبة مقدار معلَّمة تمثّل عشرة أضعاف الحوسبة. يلخّص خطّ الاتجاه الملائم للبيانات نموًا سريعًا في النماذج المدروسة. قدّر تحليل Epoch لعام 2024 زيادة بنحو 4 إلى 5 أضعاف في حوسبة التدريب كل عام من 2010 إلى 2024.
ووصف تحليل سابق لـ Epoch زيادة بنحو 10 رُتب مقدار منذ عام 2010. أي أن حوسبة التدريب ازدادت نحو 10 مليارات ضعف خلال الفترة المدروسة. هذا أسرع بكثير من نموّ الحوسبة المتاحة من شريحة واحدة. كما خصّصت المختبرات مزيدًا من الشرائح والوقت والمال للتدريب، وهذا يساعد في تفسير حجم النماذج التي ناقشناها.
تزداد تكلفة تدريب أكبر النماذج باستمرار. لكن سعر مستوى معيّن من الجودة يواصل الانخفاض. إليكم طريقة لرؤية ذلك. اختاروا درجة ثابتة في اختبار ما، واسألوا كم يكلّف استخدام أرخص نموذج يبلغها. يطبّق هذا الرسم البياني ذلك على MMLU، وهو اختبار شائع للمعرفة العامة. كل خطوة نزولًا على محور السعر أرخص بعشر مرات. يتتبّع الخط البنفسجي أرخص نموذج تتجاوز درجته 42. في نوفمبر 2021، كان ذلك GPT-3، بسعر 60 دولارًا لكل مليون token. وبحلول أواخر 2024، بلغ الدرجةَ نفسها نموذجُ Llama صغير من 3 مليارات معامل، مقابل 6 سنتات فقط. أي أنه أرخص بألف مرة خلال نحو 3 سنوات.
عدّة تغييرات تساعد في فهم السبب في انخفاض تكلفة مستوى أداء ثابت. سمحت أساليب التدريب الأفضل لنماذج أصغر ببلوغ مستويات أداء كانت تتطلّب من قبل نماذج أكبر. والتخزين المؤقت والتجميع والتكميم تقلّل تكاليف التشغيل. والمنافسة بين مزوّدي الخدمة قد تخفض أيضًا ما يدفعه المستخدمون. وهذا يساعد في جعل وكلاء البرمجة عمليّين، لأن الوكيل قد يستدعي النموذج مئات المرات في مهمة واحدة.
لنلخّص. مهمة التدريب المسبق التي تتبّعناها هي التنبّؤ بالـ token التالي من النص الذي يسبقه.
في أكبر نماذج Llama 3، عنى ذلك مئات المليارات من المعاملات، ونحو 15 تريليون token للتدريب، وملايين ساعات الـ GPU. تُظهر هذه الأرقام أن مهمة تدريب بسيطة قد تتطلّب حوسبة هائلة. يوفّر النص بنفسه أهداف الـ token التالي، لذا لا تحتاج مجموعة التدريب إلى تصنيف بشري منفصل لكل تنبّؤ. وهذا يتيح التدريب على أمثلة أكثر بكثير.
التدريب بهذا الحجم يبني قدرات واسعة. ثم يشكّل التدريب اللاحق طريقة استخدام النموذج لها كمساعد، ويجعل الاستدلال هذه القدرات متاحة لبرامجنا. هذه هي المراحل التي تقف وراء النماذج اللغوية التي نعمل معها اليوم. حجمها وتعقيدها مذهلان حقًا، ويستمران في النمو. نراكم في الفيديوهات القادمة!