الذكاء الاصطناعي العربي في بيئة الإنتاج: الترميز، اللهجات، والبحث الذي يجد المستند الصحيح

عادةً ما تنجح العروض التوضيحية (demos) للذكاء الاصطناعي العربي. يقوم المورّد بتحميل عشرين صفحة نظيفة من السياسات ويطرح خمسة أسئلة واضحة باللغة العربية الفصحى. تبدو الإجابات صحيحة، وتتم الموافقة على الميزانية.

ثم يبدأ الاستخدام الفعلي. يكتب العملاء باللهجة السعودية أو الإماراتية. يلصق الموظفون رسائل بريد إلكتروني نصفها باللغة الإنجليزية. يتضح أن مكتبة السياسات عبارة عن ملفات PDF ممسوحة ضوئيًا تخلط بين النص العربي والأرقام الغربية في كل سطر. يفشل الاسترجاع (retrieval) في العثور على مستندات واضحة، وتصبح الإجابات أبطأ، وترتفع فاتورة الرموز (tokens) لتتجاوز التقديرات.

لا شيء من هذا غامض. تتسبب اللغة العربية في تعطل خطوط المعالجة (pipelines) المصممة للإنجليزية في أربعة أماكن متوقعة. يمكن اختبار كل منها قبل الإطلاق وإصلاحها باستخدام أدوات معروفة. ببساطة، العرض التوضيحي لم يمس البيانات الحقيقية التي تهم.

1. الترميز (Tokenization): لماذا قد تكلف العربية أكثر وتعمل ببطء أكبر

نماذج اللغة لا تقرأ الكلمات. بل تقرأ الرموز (tokens)، وهي أجزاء من الكلمات. يقرر المرمّز (tokenizer) الخاص بالنموذج كيفية تقطيع النص، وقد تم بناؤه بناءً على النصوص التي أعطاها صانع النموذج الأولوية.

عندما يتعرض المرمّز لقليل من اللغة العربية أثناء بنائه، فإنه يقطع الكلمات العربية إلى قطع أكثر. ولهذا ثلاث تبعات على الأعمال:

• ▸التكلفة. النماذج المستضافة تحاسب بالرمز. المزيد من الرموز لكل كلمة يعني فاتورة أعلى لنفس المستند.
• ▸السرعة. تكتب النماذج الإجابات رمزًا تلو الآخر. إذا كانت العربية تحتاج إلى رموز أكثر لكل جملة، فسينتظر المستخدم وقتًا أطول للحصول على نفس الإجابة.
• ▸السعة. كل نموذج له نافذة سياق (context window) ثابتة، وهي كمية النص التي يمكنه استيعابها في وقت واحد. المزيد من الرموز لكل صفحة يعني أن عددًا أقل من صفحات الأدلة سيتسع في السياق.

ما حجم هذه الضريبة؟ يعتمد ذلك على شيئين: أي مرمّز تستخدم، وأي نص. المرمّزات الأحدث من مزودي الخدمة الرئيسيين تتعامل مع العربية بشكل أفضل بكثير من القديمة. ترميز o200k من OpenAI، المستخدم في عائلات النماذج الحديثة، بُني جزئيًا لتحسين الكفاءة في اللغات غير الإنجليزية. عائلات النماذج مفتوحة الأوزان (open-weight) ذات المفردات الكبيرة متعددة اللغات، مثل Qwen، والنماذج التي تركز على العربية أولاً مثل Jais، تقطع العربية أيضًا بكفاءة أعلى من المرمّزات القديمة التي تركز على الإنجليزية.

لن نعطيك نسبة واحدة ثابتة. الأرقام المنشورة تختلف حسب إصدار المرمّز ونوع النص. العقود، رسائل الدردشة، وتفريغ المكالمات جميعها تُرمّز بشكل مختلف. إعطاء رقم واحد سيكون مضللاً.

يمكنك قياس ذلك على بياناتك الخاصة في عصر يوم واحد، ويجب عليك فعل ذلك قبل اختيار النموذج:

1. ▸اسحب 200 مستند أو رسالة تمثل حركة المرور الحقيقية لديك. قم بتضمين اللهجات، وليس فقط النصوص الفصحى.
2. ▸احسب الكلمات، ثم احسب الرموز باستخدام كل مرمّز مرشح. تنشر OpenAI مرمّزها كمكتبة مفتوحة المصدر tiktoken. النماذج مفتوحة الأوزان توفر مرمّزاتها مع الأوزان.
3. ▸اقسم الرموز على الكلمات لكل مرمّز. هذا يعطيك عدد الرموز لكل كلمة في نصك الخاص.

ثم ضع أرقامك الخاصة في هذه المعادلة:

تكلفة الرموز الشهرية = الكلمات العربية شهريًا × الرموز لكل كلمة × السعر لكل رمز

قم بتشغيلها مرة واحدة لكل نموذج مرشح. الفجوة بين الصفوف هي ضريبة الترميز الحقيقية الخاصة بك، بعملتك.

زمن الاستجابة (Latency) يعمل بنفس الطريقة. وقت الإجابة ≈ طول الإجابة بالكلمات × الرموز لكل كلمة ÷ سرعة التوليد بالرموز في الثانية. بالنسبة إلى وكيل (agent) صوتي، هذا الفرق هو فترة الصمت التي يسمعها المتصل.

الترميز هو أحد المدخلات، وليس القرار بأكمله. المرمّز الأرخص المرتبط بنموذج أضعف يمكن أن يخسرك المال بسبب الإجابات الخاطئة. قس الرموز، ثم قس الدقة على نفس مجموعة الاختبار.

2. اللهجة: كلمات العميل ليست موجودة في مستنداتك

سياساتك مكتوبة باللغة العربية الفصحى (MSA)، وهي اللغة الرسمية للعقود والمنشورات الحكومية. عملاؤك لا يكتبون بهذه الطريقة. هم يكتبون باللهجة الخليجية، المصرية أو الشامية، وغالبًا ما يتحولون إلى الإنجليزية في منتصف الجملة. البعض يكتب بـ "العربيزي": لغة عربية بأحرف لاتينية، مع استخدام الأرقام كأصوات، مثل "3" لحرف ع و "7" لحرف ح.

قد لا تشترك الجملة المكتوبة باللهجة والفقرة الفصحى التي تجيب عليها في أي كلمات تقريبًا. البحث بالكلمات المفتاحية لا يجد شيئًا. ثم يخبر النظام العميل الدافع أنه لا يملك إجابة، وتذهب التذكرة إلى موظف بشري على أي حال.

الحل يكمن في نموذج التضمين (embedding model). وهو المكون الذي يحول النص إلى أرقام، بحيث تنتهي الفقرات ذات المعنى المتشابه بالقرب من بعضها البعض. نموذج التضمين المصمم للإنجليزية يضع استعلام اللهجة وإجابته الفصحى متباعدين. بينما يضعهما نموذج التضمين القوي متعدد اللغات قريبين من بعضهما.

تشمل الخيارات الجاهزة للإنتاج عائلة E5 متعددة اللغات، و BGE-M3، ونماذج التضمين متعددة اللغات من Cohere. أضف نموذج إعادة ترتيب (reranker)، وهو نموذج ثانٍ يعيد تقييم أفضل المرشحين بعناية أكبر، وستتحسن مطابقة اللهجة مع الفصحى بشكل أكبر.

لا تأخذ بكلمة أي مورّد حول أي نموذج سيتفوق على بياناتك. قم ببناء مجموعة اختبار تربط أسئلة اللهجة الحقيقية بالفقرات الفصحى التي تجيب عليها. ثم قارن معدل الاستدعاء (recall): كم مرة تظهر الفقرة الصحيحة في أفضل خمس نتائج. يمكنك بناء مجموعة اختبار اللهجات المزدوجة بنفس طريقة بناء مجموعة اختبار RAG مكونة من 100 سؤال، مستمدة من تذاكر حقيقية بدلاً من أن يكتبها المهندسون.

الضبط الدقيق (fine-tuning) لنموذج اللغة نادرًا ما يكون الحل هنا. الإخفاق يحدث في مرحلة الاسترجاع (retrieval)، قبل أن يكتب النموذج أي كلمة.

3. البحث بالكلمات المفتاحية: السوابق واللواحق، وليس التقطيع (chunking)

من المفاهيم الخاطئة الشائعة أن التقطيع (chunking) يقطع الكلمات العربية إلى نصفين. تستخدم معظم أطر عمل RAG مقسّمات متكررة (recursive splitters). هذه تقسم عند فواصل الفقرات، ثم فواصل الأسطر، ثم المسافات. ونادرًا ما تقطع كلمة في المنتصف. فقط مقسّم الأحرف الخام بدون فواصل يفعل ذلك، ولا ينبغي لك استخدامه لأي لغة.

المشكلة الحقيقية في العربية تكمن في البحث بالكلمات المفتاحية. عادةً ما يعتمد الاسترجاع في بيئة الإنتاج على البحث الهجين (hybrid search): بحث المتجهات القائم على المعنى بالإضافة إلى البحث الكلاسيكي بالكلمات المفتاحية (BM25) للمصطلحات الدقيقة مثل الأسماء، رموز المنتجات، وأرقام المواد. البحث بالكلمات المفتاحية يطابق الكلمات الدقيقة. اللغة العربية تلصق الكلمات الصغيرة مباشرة بالكلمة التي تعدلها. هذه الأجزاء الملتصقة تسمى السوابق واللواحق (clitics).

خذ كلمة "عقد". في النص الحقيقي تظهر كـ "العقد"، "والعقد"، "بالعقد"، و "عقدنا". بدون معالجة تدرك طبيعة اللغة العربية، يعامل البحث بالكلمات المفتاحية هذه الكلمات كأربع كلمات غير مرتبطة. البحث عن "العقد" سيتجاهل كل فقرة تحتوي على "والعقد".

الاختلافات الإملائية تزيد الأمر سوءًا. يمكن أن تظهر نفس الكلمة بأشكال مختلفة للألف (أ، إ، آ، ا). يتم التبديل بين التاء المربوطة (ة) والهاء (ه)، وكذلك بين الألف المقصورة (ى) والياء (ي). التشكيل يظهر في بعض المستندات ولا يظهر في أخرى. يقوم الكُتّاب بمد الكلمات باستخدام حرف التطويل (ـ). الأرقام تظهر كأرقام عربية-هندية (٢٠٢٦) أو أرقام غربية (2026).

الحل يتكون من جزأين:

• ▸التوحيد (Normalization). توحيد أشكال الألف، إزالة التشكيل والتطويل، وتوحيد الأرقام. افعل ذلك قبل الفهرسة وقبل كل استعلام، بنفس القواعد. توثق Elastic مُرشّح أحرف يحول الأرقام العربية-الهندية إلى أرقام غربية أثناء الترميز.
• ▸التجذير الخفيف أو التقطيع (Light stemming or segmentation). إزالة السوابق واللواحق الشائعة بحيث تتطابق جميع أشكال "عقد" الأربعة. يأتي Elasticsearch و OpenSearch مع محلل عربي مدمج يقوم بكل من التوحيد والتجذير الخفيف. للتحليل الأعمق، تقوم أدوات مثل Farasa من QCRI و CAMeL Tools من جامعة نيويورك أبوظبي بتقسيم الكلمات العربية إلى أجزائها.

إذا كنت تستخدم Qdrant، فقد أضافت الإصدارات الأخيرة تجذيرًا يراعي اللغة إلى فهرس النص الكامل الخاص بها. تأكد من دعم اللغة العربية في الإصدار الذي تقوم بتشغيله قبل الاعتماد عليه. بخلاف ذلك، قم بالتوحيد والتجذير في خط المعالجة (pipeline) الخاص بك قبل الفهرسة. هذا النهج يعمل مع أي قاعدة بيانات المتجهات (vector database). تحمل ورقة البناء المرافقة القائمة الكاملة لقواعد التوحيد وتصنيف مستخرجات PDF، مع أعمدة لجانب الفهرس وجانب الاستعلام لكل قاعدة.

4. استخراج المستندات: مبعثرة قبل أن يراها الذكاء الاصطناعي

العديد من مكتبات المستندات الخليجية عبارة عن ملفات PDF تخلط بين النص العربي والمصطلحات الإنجليزية والأرقام الغربية. تخزن ملفات PDF النص بترتيب الرسم، وليس بترتيب القراءة. إذا قمت بالاستخراج بإهمال، فستحصل على أسطر عربية معكوسة، أرقام منقولة إلى الجانب الخطأ، أو جداول مسطحة تتحول إلى نصوص غير مفهومة.

تخزن بعض ملفات PDF أيضًا اللغة العربية كأشكال عرض (presentation forms). هذه أحرف Unicode خاصة للأشكال المتصلة للحروف، وليست الحروف نفسها. يبدو النص صحيحًا على الشاشة ولكنه لا يطابق أي شيء في البحث. توحيد Unicode (NFKC) يحولها مرة أخرى إلى أحرف قياسية.

المستندات الممسوحة ضوئيًا تحتاج إلى التعرف الضوئي على الحروف (OCR) مع دعم اللغة العربية، ثم فحص يدوي على عينة. المقاييس اللاحقة غير موثوقة إذا كان النص المدخل معيبًا. توثق Microsoft دعم اللغة العربية في نماذج Read و Layout و Custom Form في Azure Document Intelligence.

قائمة التحقق من أنماط الإخفاق في العربية

قم بتشغيل هذا قبل أن تطلق على النظام العربي أنه جاهز للإنتاج. كل صف هو اختبار يمكنك إجراؤه في أقل من يوم.

تميل المشاريع التجريبية العربية الفاشلة إلى الإخفاق في الصفوف الثلاثة الأولى. وهي أيضًا الأرخص في الإصلاح.

ثلاث بنيات معمارية، وخيار افتراضي واحد منطقي

لديك ثلاثة خيارات واسعة للتعامل مع اللغة العربية.

ترجمة كل شيء إلى الإنجليزية، تشغيل خط معالجة (pipeline) إنجليزي، ثم الترجمة مرة أخرى. من السريع بناء نموذج أولي في أداة سير عمل. لكنه يضيف خطوتين إضافيتين، وتكلفتهما، إلى كل تفاعل. كما أنه يفقد الفروق الدقيقة في اللهجة ويترجم المصطلحات القانونية والتنظيمية بشكل خاطئ. وهذا بالضبط حيث تكون الأخطاء مكلفة. لا نوصي به لبيئة الإنتاج.

استخدام نموذج رائد مستضاف مباشرة باللغة العربية. العائلات الرائدة Claude و GPT و Gemini تتعامل مع الفصحى بشكل جيد ومع اللهجة بشكل معقول. العبء الإضافي للبنية التحتية هو صفر. تكلفة الترميز الخاصة بك تعتمد على مرمّز المزود، لذا قم بقياسها.

تشغيل نموذج مفتوح الأوزان قادر على فهم العربية على خوادمك الخاصة، مثل Qwen أو Jais، مع تضمينات متعددة اللغات. أنت تدفع تكاليف بنية تحتية ثابتة بدلاً من الرسوم لكل رمز. أنت تحتفظ بالبيانات داخل بيئتك، وهو أمر مهم بموجب قواعد توطين البيانات الخليجية. تصف MBZUAI و Cerebras و Inception نموذج Jais 2 بأنه أكبر نموذج مفتوح يركز على العربية تم تدريبه من الصفر، بـ 70 مليار معلمة.

الخيار الافتراضي الصحيح لمعظم الشركات الخليجية هو الخيار الثاني في المرحلة التجريبية. انتقل إلى الخيار الثالث بمجرد أن يبرر الحجم أو توطين البيانات البنية التحتية. في كلتا الحالتين، تنطبق إصلاحات الاسترجاع (retrieval) في قائمة التحقق أعلاه. نموذج اللغة الأفضل لا يمكنه الإجابة من مستند لم يعثر عليه البحث أبدًا.

أين يحقق الذكاء الاصطناعي العربي عوائد أولاً في الخليج

تشترك حالات الاستخدام الخليجية ذات القيمة الأعلى في سمة واحدة: حجم كبير باللغة العربية، مع تداخل الإنجليزية.

• ▸أتمتة المكالمات والاستقبال للعيادات والعقارات والضيافة. جودة التعرف على الكلام باللهجة الخليجية تحدد النجاح هنا. راجع دليلنا حول خط معالجة الذكاء الاصطناعي الصوتي بزمن استجابة أقل من 500 مللي ثانية قبل اختيار واحد لبناء الذكاء الاصطناعي الصوتي الخاص بك.
• ▸معالجة المستندات للعقود العربية، التصاريح، والملفات التنظيمية، حيث يقوم الاستخراج والتوحيد بمعظم العمل.
• ▸أنظمة المعرفة الداخلية على أدلة السياسات والإجراءات العربية. هذا هو المكان الذي ينطبق فيه كل صف من قائمة التحقق في وقت واحد.

فريقنا يعمل بشكل أصيل باللغتين العربية والإنجليزية. مجموعات اختبار اللهجات ومراجعة النص المستخرج هي جزء من عملية البناء، وليست فكرة لاحقة.

الأسئلة الشائعة

هل يمكننا وضع واجهة برمجة تطبيقات (API) للترجمة أمام نظام الذكاء الاصطناعي الإنجليزي الحالي لدينا؟ لنموذج أولي، نعم. لبيئة الإنتاج، إنه الخيار الخاطئ. كل تفاعل يدفع ثمن خطوتي ترجمة إضافيتين وينتظرهما. تُترجم اللهجة والمصطلحات التنظيمية بشكل خاطئ، لذلك يسترجع النظام المستندات الخاطئة ويجيب بثقة منها.

كيف نقيس ما تكلفنا إياه ضريبة الترميز العربي؟ قسها بدلاً من الوثوق بنسبة منشورة. خذ 200 مستند حقيقي، احسب الرموز لكل كلمة باستخدام مرمّز كل نموذج مرشح، وطبق معادلة التكلفة أعلاه. النتيجة خاصة بنصك وأسعارك، وهو الرقم الوحيد الذي يستحق وضع الميزانية على أساسه.

هل نحتاج إلى الضبط الدقيق (fine-tuning) لنموذج لفهم اللهجة الخليجية؟ عادةً لا. تحدث معظم إخفاقات اللهجة في مرحلة الاسترجاع، قبل أن يكتب نموذج اللغة أي شيء. نموذج تضمين متعدد اللغات، ونموذج إعادة ترتيب (reranker)، وتوحيد عربي سليم يصلح معظمها. الضبط الدقيق يكون منطقيًا فقط بعد أن تظهر مجموعة اختبار اللهجة أن نموذج اللغة نفسه هو نقطة الضعف.

هذا الأسبوع، قم بتشغيل الصفوف من 1 إلى 3 من قائمة التحقق على بياناتك الخاصة. استخرج 20 ملف PDF حقيقي وقارنها بالصفحة. خذ 50 استعلامًا حقيقيًا من سجلاتك، وابحث عن كل منها بمتغيرات الألف والتاء المربوطة، واستعلم عن الصيغ الأساسية لترى أي الصيغ المسبوقة تُفقد. سجل كل إخفاق. هذه القائمة تخبرك ما إذا كانت مشكلتك هي الاستخراج، التوحيد، أو التجذير، قبل أن يجادل أي شخص حول النموذج الذي يجب شراؤه.