تشغيل نماذج Llama 3 أو Mistral على جهازك المحلي بدون إنترنت باستخدام أداة Ollama

لماذا يُعد تشغيل نموذج محلي خطوة هندسية مهمة؟

تشغيل نموذج لغوي كبير محلياً عبر Ollama لم يعد مجرد تجربة للهواة، بل أصبح خياراً هندسياً عملياً للشركات والمطورين الذين يريدون تقليل الاعتماد على الخدمات السحابية، حماية البيانات الحساسة، وخفض زمن الاستجابة. عند تشغيل Llama 3 أو Mistral على جهازك، فإن مسار البيانات يبقى داخل بيئتك المحلية: الطلب يدخل من التطبيق، يُمرَّر إلى محرك الاستدلال، ثم يولّد النموذج الاستجابة دون إرسال النصوص إلى مزود خارجي.

هذه المقاربة مفيدة خصوصاً إذا كنت تبني نظاماً داخلياً لتحليل المستندات، مساعداً معرفياً للشركة، أو تطبيق RAG يعتمد على ملفات خاصة. وهي أيضاً امتداد طبيعي لفهم البنية البرمجية للنماذج كما شرحنا في مدخل إلى هندسة الذكاء الاصطناعي التوليدي: كيف تعمل نماذج اللغة الكبيرة (LLMs) برمجياً؟.

ما هي أداة Ollama وكيف تعمل داخلياً؟

Ollama هي طبقة تشغيل محلية للنماذج التوليدية، توفر طريقة موحّدة لسحب النماذج، تشغيلها، وإرسال الطلبات إليها عبر سطر الأوامر أو واجهة HTTP API. بدلاً من أن تتعامل مباشرة مع ملفات الأوزان، إعدادات quantization، وتحميل الذاكرة، تتكفل الأداة بهذه التفاصيل.

المعمارية التشغيلية باختصار

• المستخدم أو التطبيق يرسل prompt محلياً.
• Ollama daemon يستقبل الطلب ويحدد النموذج المطلوب.
• يتم تحميل النموذج إلى RAM أو الاستفادة من GPU إن وُجد.
• تبدأ مرحلة tokenization ثم الاستدلال inference.
• تُعاد المخرجات إلى التطبيق إما دفعة واحدة أو بأسلوب Streaming Responses.

أهم ميزة هنا أن النموذج يعمل كخدمة محلية قابلة للربط مع LangChain أو أي تطبيق Python أو JavaScript بسهولة.

متى تختار Llama 3 ومتى تختار Mistral؟

من منظور هندسي، الاختيار لا يكون على أساس الشهرة فقط، بل على أساس توازن ثلاثي: جودة الإجابة، استهلاك الذاكرة، وسرعة التوليد. نماذج Llama 3 غالباً تقدم أداءً قوياً في الفهم العام وتوليد النصوص، بينما Mistral مشهور بكفاءة جيدة على العتاد المتوسط.

• إذا كان جهازك بذاكرة محدودة، ابدأ بإصدار مصغّر أو مكمّم quantized.
• إذا كنت تبني مساعداً داخلياً للشرح والكتابة، فـ Llama 3 خيار ممتاز للبداية.
• إذا أردت سرعة أعلى على جهاز متواضع، جرّب Mistral.

خطوات التثبيت والتشغيل المحلي

قبل البدء، من الأفضل أن تكون بيئة Python لديك منظمة كما في مقال إعداد بيئة العمل الذكية: تثبيت مكتبات Python الأساسية للتعامل مع الذكاء الاصطناعي.

1) تثبيت Ollama

• نزّل الأداة من موقعها الرسمي بحسب نظام التشغيل.
• بعد التثبيت، شغّل الخدمة المحلية.
• اسحب النموذج المطلوب مثل llama3 أو mistral.

2) تجربة أول طلب محلي

اشرح لي الفرق بين RAG و Fine-tuning في 5 نقاط عملية، وبأسلوب موجّه لمهندس برمجيات.

هذا النوع من الأوامر ممتاز لاختبار جودة الفهم. وإذا كنت تريد تعميق صياغة التعليمات، راجع مقال هندسة الأوامر (Prompt Engineering) داخل الكود: قوالب النصوص المتغيرة (F-Strings).

ربط Ollama مع Python

الربط البرمجي يتم عادة عبر واجهة HTTP محلية. هذا يمنحك مرونة لبناء سكربتات اختبار، خدمات FastAPI، أو واجهات Streamlit.

import requests

url = "http://localhost:11434/api/generate"

payload = {
    "model": "llama3",
    "prompt": "Explain how local LLM inference works in simple technical terms.",
    "stream": False
}

response = requests.post(url, json=payload, timeout=120)
data = response.json()

print(data["response"])

هذا السكربت يوضح أبسط تدفق: تطبيقك يرسل JSON payload إلى الخدمة المحلية، ثم يستقبل النص الناتج. وهنا أنت لا تحتاج إلى مفاتيح API كما في المقالات السحابية مثل الاتصال الأول: جلب مفاتيح API وكتابة أول سكربت اتصال.

دمج النموذج المحلي مع LangChain

عندما تبدأ ببناء تطبيقات أكثر تركيباً، يصبح مفهوم السلاسل Chain مهماً لتمرير البيانات بين المكونات تلقائياً. ويمكنك استخدام النموذج المحلي باعتباره طبقة التوليد داخل السلسلة.

from langchain_community.llms import Ollama
from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain

llm = Ollama(model="mistral")

prompt = PromptTemplate(
    input_variables=["topic"],
    template="Write a concise technical explanation about {topic} for software engineers."
)

chain = LLMChain(llm=llm, prompt=prompt)

result = chain.invoke({"topic": "vector databases in RAG systems"})
print(result["text"])

النتيجة هنا أن LangChain يتعامل مع النموذج المحلي وكأنه مزود قياسي. ومن هذه النقطة يمكنك إضافة الذاكرة، المحفوظات، أو حتى طبقات حماية ضد Prompt Injection.

كيف تستخدمه داخل مشروع RAG محلي بالكامل؟

أقوى سيناريو عملي هو بناء خط معالجة محلي من البداية إلى النهاية: استخراج النصوص، تقسيمها، تحويلها إلى Embeddings، تخزينها في ChromaDB أو أي Vector Database، ثم استرجاع المقاطع المناسبة وتمريرها إلى النموذج المحلي.

تدفق البيانات في Local RAG

• استخراج النص من الملفات مثل PDF.
• تقسيمه بواسطة Text Splitters.
• تحويل المقاطع إلى متجهات عددية.
• تنفيذ semantic retrieval عند وصول سؤال جديد.
• حقن السياق المسترجع داخل prompt ثم إرسال الطلب إلى Ollama.

أجب بالاعتماد فقط على المقاطع المرجعية التالية. إذا لم تجد الإجابة داخل السياق، قل بوضوح: لا أملك معلومة كافية داخل المستندات المحلية.

هذه الصياغة تقلل الهلوسة وتنسجم مع أفضل الممارسات المذكورة في الخطوة النهائية: دمج المعلومات المسترجعة مع الـ LLM لتوليد إجابة دقيقة.

اعتبارات الأداء والذاكرة

تشغيل النماذج محلياً يتطلب فهماً واقعياً للعتاد. كلما زاد حجم النموذج زاد استهلاك الذاكرة وارتفع زمن تحميله. كما أن طول context window يؤثر مباشرة على سرعة الاستدلال. لذلك لا تتعامل مع النموذج وكأنه مورد غير محدود.

• استخدم نماذج مكمّمة لتقليل استهلاك RAM.
• قلل طول السياق المرسل في كل طلب.
• إذا كنت تبني تطبيقاً محادثياً، ففكّر في Summary Memory بدلاً من إعادة كامل الحوار.
• راقب حجم الرموز لأن الإدارة الجيدة لـ Tokens مفيدة حتى في النماذج المحلية من ناحية السرعة.

متى يكون التشغيل المحلي أفضل من السحابي؟

التشغيل المحلي يتفوق عندما تكون الخصوصية أولوية، وعندما تريد بيئة اختبار مستقلة عن الإنترنت، أو عندما تبني أدوات داخلية لا تحتاج إلى قدرات نموذج عملاق جداً. أما إذا كنت تحتاج أحدث النماذج الأعلى أداءً، سعة سياق هائلة، أو توسعاً فورياً لعدد كبير من المستخدمين، فقد يكون الحل السحابي أكثر مرونة.

باختصار، Ollama يمنحك طبقة تشغيل محلية أنيقة تجعل Llama 3 وMistral مكوّنين عمليين في هندسة تطبيقات الذكاء الاصطناعي الحديثة. ومع دمجه مع LangChain وبيئات مثل Streamlit أو FastAPI، يمكنك بناء أنظمة توليدية محلية قوية، قابلة للتطوير، وأكثر أماناً على مستوى تدفق البيانات.