الخطوة الثانية في RAG: تحويل قطع النصوص إلى Vectors وتخزينها في قاعدة البيانات

الخطوة الثانية في RAG: تحويل قطع النصوص إلى Vectors وتخزينها في قاعدة البيانات بعد أن أنجزنا استخراج النصوص من الملفات في درس بناء الخطوة الأولى في RAG: استخراج النصوص من ملفات PDF برمجياً، وبعدها قمنا بمرحلة تقطيع النصوص الضخمة إلى أجزاء صغيرة تتناسب مع حجم الـ LLMs، نصل الآن إلى قلب البنية الدلالية لأي نظام…

تقطيع النصوص الضخمة (Text Splitters) إلى أجزاء صغيرة تتناسب مع حجم الـ LLMs

ما المقصود بتقطيع النصوص الضخمة ولماذا يُعد خطوة حاسمة؟ عند بناء أي تطبيق يعتمد على LLMs، فإن أول قيد هندسي يظهر مباشرة هو حد النافذة السياقية Context Window. النموذج لا يستطيع استقبال كتاب كامل أو ملف PDF ضخم دفعة واحدة بدون خسارة في الأداء أو ارتفاع هائل في التكلفة. هنا تأتي وظيفة Text Splitters: تقسيم…