كيف تعمل النماذج اللغوية برمجياً: الرموز والحرارة وحلقة التوليد بالقياس

كيف تعمل النماذج اللغوية برمجياً: الرموز والحرارة وحلقة التوليد بالقياس

كيف تعمل النماذج اللغوية برمجياً؟ من خارج الواجهة يبدو النموذج كأنه يكتب جملاً كاملة، لكنه برمجياً يفعل شيئاً واحداً يكرره: يحول النص إلى أرقام تسمى رموزاً tokens، ويحسب لكل رمز ممكن درجة، ثم يختار رمزاً واحداً تالياً، ويضيفه إلى النص، ويعيد الحساب. وكل ما يهم المطور يأتي من هذه الحلقة: كلفة الطلب بعدد الرموز، والعشوائية بالحرارة temperature، وطول المحادثة بنافذة السياق. وفي هذا الدليل نقيس الأجزاء التي تعمل محلياً: نقسم جملاً عربية وإنجليزية بمقسمين حقيقيين من OpenAI، ونحسب أثر الحرارة وtop_p على التوزيع، ونبني حلقة توليد صغيرة، ونقيس نمو الطلب في محادثة. ولم نتصل بأي نموذج عبر الإنترنت، فالمختبر لا يصل إلى واجهات النماذج، ونذكر ذلك عند كل نقطة.

نمر بالرموز وتقسيم النص، والعربية مقابل الإنجليزية، والدرجات والحرارة، وtop_p والعينات، وحلقة التوليد، ثم شكل الطلب ونمو المحادثة.

الرموز وتقسيم النص

import tiktoken                                  # tokenizer library, pip install tiktoken
enc = tiktoken.get_encoding("o200k_base")        # vocab 200,019 tokens (cl100k_base: 100,277)
ids = enc.encode("Large language models predict the next token from the previous ones.")
print(len(ids), [enc.decode([i]) for i in ids])
# 12 ['Large', ' language', ' models', ' predict', ' the', ' next', ' token', ' from', ...]
الرموز وتقسيم النص
الرموز وتقسيم النص

النموذج لا يرى حروفاً ولا كلمات، بل أرقاماً من قاموس ثابت. والمقسم يقسم النص إلى أجزاء متكررة تعلمها من بيانات ضخمة، فالكلمة الإنجليزية الشائعة رمز واحد غالباً مع المسافة التي قبلها. والمكتبة tiktoken تحتاج ملف القاموس، وتنزله عادة من خوادم OpenAI المحجوبة عن المختبر، فاستخدمنا نسختي cl100k_base وo200k_base المضمنتين في حزمة pip أخرى هي litellm، وفحصتهما tiktoken ببصمتهما قبل التحميل. والقاموس الأول بحجم 100,277 رمزاً، والثاني ضعفه تقريباً.

العربية مقابل الإنجليزية

text (same meaning)      chars  words   cl100k_base tokens   o200k_base tokens
English sentence           68     11          12 (5.67 c/t)        12 (5.67 c/t)
Arabic sentence            65      9          42 (1.55 c/t)        18 (3.61 c/t)
Python code (2 lines)      36      7          13 (2.77 c/t)        13 (2.77 c/t)
first Arabic tokens (cl100k): bytes d8a7d984 | d986 | d985 | d8a7   (al-, n, m, a)
العربية مقابل الإنجليزية
العربية مقابل الإنجليزية

الجملة العربية بالمعنى نفسه احتاجت 42 رمزاً في القاموس الأقدم، أي ثلاثة أضعاف ونصف الإنجليزية، لأنه لم يرَ عربية كافية فيقسمها حرفاً أو حرفين: أداة التعريف رمز، ثم كل حرف رمز. وفي القاموس الأحدث نزلت إلى 18 رمزاً. وهذا رقم له ثمن مباشر، فالواجهات تحاسب بعدد الرموز وتحد نافذة السياق بها، فالنص العربي نفسه قد يكلف ضعفين أو أكثر حسب مقسم النموذج. فقس نصوصك بمقسم النموذج الذي تستخدمه قبل أن تقدر الكلفة. ومفاهيم النماذج التوليدية عموماً في هندسة النماذج اللغوية التوليدية.

الدرجات والحرارة

illustrative logits after "The capital of France is" (chosen by hand, not from a model):
Paris 9.1   the 6.0   a 5.2   Lyon 4.6   located 4.1   not 2.5
softmax(logits / T):
T=0.2   Paris=1.000                                   entropy 0.00 bits
T=0.7   Paris=0.982  the=0.012  a=0.004               entropy 0.15 bits
T=1.0   Paris=0.922  the=0.042  a=0.019  Lyon=0.010   entropy 0.53 bits
T=1.5   Paris=0.770  the=0.097  a=0.057  Lyon=0.038   entropy 1.24 bits

في آخر طبقة يخرج النموذج درجة لكل رمز في القاموس، تسمى logits، ودالة softmax تحولها إلى احتمالات مجموعها واحد. والحرارة تقسم الدرجات قبل softmax: الحرارة المنخفضة تكبر الفروق فيأخذ الرمز الأول كل الاحتمال، والمرتفعة تقربها فيأخذ غيره نصيباً. والدرجات هنا وضعناها بأيدينا للتوضيح، لأننا لا نشغل نموذجاً حقيقياً، لكن الحساب نفسه هو ما يجري داخل كل نموذج. والإنتروبيا تقيس مقدار التردد: صفر عند 0.2، و1.24 بت عند 1.5.

top_p والعينات

top_p = 0.9 keeps the smallest set whose probability sum reaches 0.9
T=1.0   keeps 1 token   ['Paris']
T=1.5   keeps 3 tokens  ['Paris', 'the', 'a']
10,000 random draws (seed 42):
T=0.2   Paris 10000   other 0      distinct 1
T=1.0   Paris  9193   other 807    distinct 6
T=1.5   Paris  7760   other 2240   distinct 6
top_p والعينات
top_p والعينات

سحبنا عشرة آلاف عينة لكل حرارة: عند 0.2 كانت كلها Paris، وعند 1.5 خرجت 2,240 عينة بكلمة أخرى، أي واحدة من كل أربع تقريباً. وtop_p يقص الذيل: يبقي أقل مجموعة رموز يبلغ مجموع احتمالها 0.9، فعند الحرارة 1.0 بقي رمز واحد، وعند 1.5 بقيت ثلاثة، فلا تظهر الكلمات النادرة جداً مثل not مهما كانت العشوائية. والقاعدة العملية: حرارة منخفضة للاستخراج والتصنيف والكود، وأعلى قليلاً للكتابة الإبداعية، ولا ترفع الحرارة وtop_p معاً.

حلقة التوليد

toy model: word bigram counts from the Zen of Python (166 words, 90 distinct, 143 pairs)
after 'is': better 7, often 1, hard 1, easy 1
greedy, seed 1   : beautiful is better than ugly . although practicality beats purity .
greedy, seed 2   : beautiful is better than ugly . although practicality beats purity .
T=1.0, seed 1    : beautiful is hard to guess . although that way to break
T=1.0, seed 2    : beautiful is easy to break the implementation is better than nested

لنرى الحلقة نفسها بنينا أصغر نموذج ممكن: يعد في نص قصير كم مرة جاءت كل كلمة بعد أخرى، ويستخدم لوغاريتم العدد كدرجة. والحلقة هي نفسها في النماذج الكبيرة: خذ آخر رمز، احسب الدرجات، اختر واحداً، أضفه، كرر. واختيار الأعلى دائماً، ويسمى greedy، أعطى الجملة نفسها في كل تشغيل، والحرارة 1.0 أعطت جملتين مختلفتين بالبذرتين. والفرق أن النموذج الكبير ينظر إلى آلاف الرموز السابقة لا إلى كلمة واحدة، ويحسب الدرجات بشبكة عصبية فيها مليارات الأوزان.

شكل الطلب ونمو المحادثة

request body (generic chat API shape, built locally, not sent):
{"model": "MODEL_NAME", "max_tokens": 300, "temperature": 0.2,
 "messages": [{"role": "system", "content": "..."}, {"role": "user", "content": "..."}]}
every turn resends the whole history (o200k_base, content tokens only):
turn 1: messages 2   input ~27 tokens    cumulative ~27    json 260 B
turn 3: messages 6   input ~83 tokens    cumulative ~165   json 642 B
turn 5: messages 10  input ~139 tokens   cumulative ~415   json 1024 B
نمو المحادثة بالرموز
نمو المحادثة بالرموز

واجهات النماذج بلا ذاكرة بين الطلبات: كل طلب يحمل التعليمات والمحادثة كاملة، والرد رسالة جديدة تضيفها أنت إلى القائمة. فقسنا محادثة دعم بخمس جولات متشابهة: الجولة الخامسة أرسلت 139 رمزاً بدل 27، ومجموع ما أُرسل 415 رمزاً، فالكلفة تنمو أسرع من عدد الرسائل. والأرقام تقريبية لأنها لا تحسب الرموز الإضافية التي تفصل الرسائل في كل واجهة. ولم نرسل الطلب، فلم نقس زمن الرد ولا شكل الرد الفعلي، الذي يحمل عادة النص وسبب التوقف وعدد الرموز المستهلكة. ولتجهيز بيئة Python التي تشغل هذه السكربتات راجع تجهيز بيئة Python للذكاء الاصطناعي.

أخطاء شائعة

تقدير الكلفة بعدد الكلمات

تسع كلمات عربية كانت 42 رمزاً.

حرارة عالية لمهمة دقيقة

عند 1.5 خرجت إجابة أخرى في ربع العينات.

إرسال المحادثة كلها بلا حد

اقطع القديم أو لخصه قبل أن تبلغ نافذة السياق.

توقع النتيجة نفسها في كل مرة

مع الحرارة فوق الصفر تختلف المخرجات، فاختبر بعدة تشغيلات.

أسئلة يطرحها الناس

هل الحرارة صفر تعطي نتيجة ثابتة دائماً؟

تقترب من greedy، لكن بعض الواجهات لا تضمن التطابق التام بسبب الحساب المتوازي.

لماذا يختلف عدد الرموز بين النماذج؟

لكل نموذج مقسمه وقاموسه، فالجملة العربية نفسها كانت 42 رمزاً في قاموس و18 في آخر.

الخلاصة

النموذج اللغوي حلقة: رموز ثم درجات ثم اختيار ثم تكرار. والجملة الإنجليزية كانت 12 رمزاً في المقسمين، والعربية 42 ثم 18. والحرارة 0.2 جعلت Paris في كل العينات العشرة آلاف، و1.5 أخرجت غيرها في 2,240 عينة، وtop_p أبقى رمزاً واحداً أو ثلاثة. والمحادثة ذات الجولات الخمس أرسلت 415 رمزاً متراكمة. ولم نتصل بنموذج حقيقي، فزمن الرد وشكله الفعلي غير مقاسين هنا.