يتناول هذا الفيديو أسلوب سلسلة التفكير وشخصيات الخبراء. سنقارن ما توصّلت إليه الدراسات بما يقوله الناس عن هذه الأساليب. ثم سنقيس أثر تغيير في الـ prompt باختبار معياري. هذا هو الأسلوب الذي ستستخدمونه في المختبر لتكتشفوا ما يفيد في المسائل التي اخترتموها.
في الفيديو السابق حدّدنا شكل ما يجيب به النموذج. أما الأسلوب التالي فيتعلّق بكيفية وصوله إلى الإجابة. لنأخذ مسألة كلامية صغيرة. ثمن القلم دولاران، والدفتر أغلى من القلم بثلاثة دولارات. ونريد أن نعرف ثمن دفترين وقلم واحد. الإجابة المعروضة هنا هي ثمانية، وهي خاطئة. وهذا يوضّح ما قد يحدث حين يجيب النموذج مباشرةً دون خطوات وسيطة مفيدة.
والآن نطلب منه بدلًا من ذلك أن يفكّر خطوة بخطوة. ثمن القلم دولاران، وثمن الدفتر خمسة دولارات، واثنان ضرب خمسة زائد اثنين يساوي اثني عشر دولارًا. في هذا المثال، كتابة الخطوات الوسيطة تقود إلى الإجابة الصحيحة. ويُسمّى طلبُ هذه الخطوات سلسلة التفكير (chain-of-thought). ما زالت الخطوات تحتاج إلى فحص، لكنها تمنح النموذج مساحة أكبر للعمل على المسألة.
أظهرت الأبحاث أن هذا الأسلوب فعّال. فالأمثلة المحلولة التي تتضمّن خطوات تفكيرها تحسّن النتائج في المهام التي تتطلّب التفكير. بل وجدت أبحاث لاحقة أنه حتى دون تقديم أمثلة، تُحسّن إضافةُ سطر واحد، «let's think step by step»، دقةَ النموذج نفسه. ولهذا انتشرت عبارة «think step by step» على نطاق واسع. لكن الفكرة لم تبقَ مجرد حيلة في كتابة الـ prompts. بل أصبحت مدمجة في النماذج التي نستخدمها اليوم.
وتتعلّم نماذج التفكير خلال تدريبها توليد خطوات وسيطة قبل الإجابة النهائية. وهذه الخطوات مكوَّنة من tokens التفكير، وهي امتداد مباشر لأسلوب سلسلة التفكير. ويتحكّم إعداد التفكير أو الجهد في مقدار هذا التفكير، لذلك لا تحتاجون إلى عبارة جاهزة لتفعيله.
ومن النصائح الشائعة أيضًا أن تعطوا النموذج شخصية (persona)، مثل «you are an expert Python developer». والفكرة هنا أن إخبار النموذج بأنه خبير سيجعله يجيب كما يجيب الخبير. فالسؤال الصريح إذن: هل يصمد هذا فعلًا عند القياس؟
وجدت بعض الدراسات تحسّنًا. استخدم كونغ وزملاؤه prompts لتقمّص الأدوار مع ChatGPT، فتحسّنت الدرجات في اختبارات معيارية للتفكير. في اختبار لمسائل الجبر الكلامية، ارتفعت الدقة من نحو 54% إلى 64%. لماذا قد يفيد الدور؟ تذكّروا أن النموذج تعلّم التنبّؤ بالنص من أمثلة تشمل إجابات جيدة وأخرى سيئة. أحد التفسيرات الممكنة أن طلب شخصية خبير يحرّك احتمالات الـ token التالي نحو أنماط كتابة الخبراء المتأنّية. هذه آلية مقترحة، وليست ضمانًا لتفكير أفضل. وفي النماذج الأحدث، تدفع مراحل التدريب اللاحقة النموذجَ اللغوي أيضًا نحو إجابات عالية الجودة، لذلك قد لا يبقى للشخصية الكثير لتضيفه. تأتي هذه المرحلة اللاحقة بعد أن يتعلّم النموذج التنبّؤ بالنص، وفيها يُضبط النموذج ليتّبع التعليمات.
يمكننا أن نجعل التعليمات أكثر تحديدًا. «تصرّف بصفتك مطوّر Python أول، وفضّل المكتبة القياسية، واكتب كودًا محدَّد الأنواع» يعطي النموذج متطلّبات محدّدة ليتّبعها. التفاصيل المفيدة هنا هي نطاق العمل وأسلوبه. يمكننا أن نتحقّق مما إذا كان الكود يستخدم المكتبة القياسية ويحدّد الأنواع، بغضّ النظر عن لقب الخبير.
استخدموا الدور لتحديد نوع العمل الذي تريدونه. فالكود نفسه يتلقّى مراجعة مختلفة من كل دور من هذه الأدوار. مراجعة الكود لمساق في السنة الأولى تعني شروحًا بسيطة، تركّز على ما قد يُربك المبتدئ. ومراجِع تجربة المستخدم (UX) ينظر إلى ما يراه المستخدم، مثل رسائل الخطأ وتسميات الواجهة. والمطوّر الأول ينظر إلى البنية المعمارية، وإلى مدى سهولة صيانة الكود. أما اللقب الأضخم، مثل «world-class genius programmer»، فلا يصف عملًا مختلفًا. ربما كان يفيد في الماضي مع النماذج الأقدم، لكنه على الأرجح لن يفيد كثيرًا اليوم.
كثير من الـ prompts تُكتب مرة واحدة وتُستخدم مرة واحدة. وغيرها يُعاد استخدامه مرات كثيرة، داخل skill، أو يرسله برنامجكم مع كل طلب. ومع prompt كهذا، من المجدي أن تتعاملوا مع كتابة الـ prompts كنشاط هندسي: أجروا تغييرًا وقيسوا أثره. وأول ما تحتاجون إليه هو اختبار معياري. وهو مجموعة من الـ prompts للاختبار، لها إجابات متّفق عليها أو قواعد تقييم. قرّروا ما الذي يُعدّ صحيحًا قبل إجراء المقارنة، واكتبوه. في الحالة الأولى، الإجابة المتّفق عليها هي 12، ونقرّر مسبقًا أن الإجابة «12 دولارًا» صحيحة أيضًا. وثبّتوا هذه المجموعة طوال المقارنة.
وحين يصبح الاختبار المعياري جاهزًا، غيّروا شيئًا واحدًا في الـ prompt. وعندها تعرفون سبب أي فرق في الدرجات.
شغّلوا المجموعة كلها عدة مرات، بالنموذج نفسه والإعدادات نفسها. فقد يكون تشغيل واحد مجرد صدفة، لأن النموذج يبني إجاباته بسحب العيّنات.
ثم قارنوا الدرجات. احتفظوا بالتغيير إذا أفاد عبر التشغيلات، وتراجعوا عنه إذا لم يُفد. وانظروا أيضًا إلى الحالات التي تغيّرت، فمجموع أعلى قد يُخفي فشلًا جديدًا.
وحين يتغيّر النموذج نفسه، شغّلوا الاختبار المعياري نفسه مجددًا دون تغيير الـ prompt. فما أفاد مع نموذج قد لا يفيد كثيرًا مع نموذج آخر.
هذه الحلقة هي المهارة التي تدوم. فهي تمنحكم أدلة مع تغيّر الأدوات، بدلًا من عبارة ينصح بها أحدهم.
أفاد أسلوب سلسلة التفكير في الدراسات التي رأيناها، ونماذج التفكير تدمجه الآن على شكل tokens التفكير. لذا تحقّقوا مما يغيّره طلب خطوات إضافية في إعدادكم.
يمكن للشخصية أن تصف دورًا أو أسلوبًا. وأثرها على الدقة يعتمد على النموذج والمهمة، لذلك ما زال لقب الخبير بحاجة إلى اختبار.
لديكم الآن طريقة لتقييم نصائح كتابة الـ prompts: اختاروا اختبارًا معياريًا، وغيّروا شيئًا واحدًا، وقارنوا تشغيلات متكرّرة. في المختبر، استخدموا هذه الطريقة لتكتشفوا ما الذي يفيد وأين تبقى الإخفاقات.
هذا آخر فيديو لهذا الأسبوع. نراكم في المختبر، ونتمنّى لكم التوفيق مع الـ prompts.