لماذا تفشل النماذج المبدئية للذكاء الاصطناعي في بيئة الإنتاج: 12 فجوة بين العرض التجريبي والنظام الحقيقي

النموذج المبدئي (proof of concept) الذي أبهر مجلس الإدارة يتصرف بشكل مختلف بعد ستة أشهر. الإجابات تستغرق وقتاً أطول. بعضها خاطئ بطرق لا يمكن لأحد تفسيرها. ويقترح أحدهم إعادة هيكلة النظام "قبل أن نتوسع أكثر".

هذا النمط شائع لدرجة أن لغة الأرقام تدعمه. في يوليو 2024، توقعت Gartner أن ما لا يقل عن 30% من مشاريع الذكاء الاصطناعي التوليدي سيتم التخلي عنها بعد النموذج المبدئي بحلول نهاية 2025. أسبابها: ضعف جودة البيانات، ضوابط المخاطر غير الكافية، التكاليف المتصاعدة، والقيمة التجارية غير الواضحة. وجدت دراسة MIT لعام 2025 أن 95% من المشاريع التجريبية للذكاء الاصطناعي التوليدي لا تظهر أي تأثير على الأرباح والخسائر، مع المصدر. ملخص إحصائياتنا يوضح ما يقيسه هذا الرقم وما لا يقيسه.

السبب هيكلي، وليس مسألة كفاءات. يُبنى النموذج المبدئي لإثبات فكرة: بيانات نظيفة، أسئلة في المسار المثالي (happy-path)، مقدم عرض واحد، وظروف خاضعة للرقابة. بينما يواجه نظام الإنتاج مدخلات عشوائية، مستخدمين متزامنين، بيانات لا تبقى نظيفة، وشهوراً من التغيير بعد الإطلاق. الفجوات الاثنتا عشرة أدناه تقع بين هاتين المجموعتين من المتطلبات. افحصها بالترتيب المذكور، لأن الفجوات الأولى تخفي ما بعدها. النظام الذي ينهار تحت الضغط لن يعمل لفترة كافية ليلاحظ أحد أن الـ استرجاع فيه ضعيف.

كيف تقرأ هذه الفجوات الاثنتي عشرة

كل فجوة تتكون من ثلاثة أجزاء: كيف تبدو من الخارج، تكلفتها، والحل. لا يوجد حل معقد أو غريب. كلها ممارسات هندسية قياسية لم يكن هناك داعٍ لتضمينها في العرض التجريبي. ثلاث من هذه الفجوات لها مقالات تفصيلية خاصة بها على هذا الموقع، لذا ستكون فقراتها قصيرة وتحيلك للمزيد.

الفجوات الاثنتا عشرة

1. استيعاب المستندات المتزامن في مسار الاستعلام

كيف تبدو من الخارج. يقوم المستخدم برفع مستند ويقوم النظام بمعالجته قبل الإجابة. مع ثلاثة مستخدمين، يبدو الأمر لحظياً. لكن مع عشرين مستخدماً يرفعون المستندات في نفس الوقت، ينتظر سؤال كل مستخدم آخر خلف هذه المعالجة.

التكلفة. هجر النظام، وتحديداً في اللحظة التي يبدأ فيها نشره على مستوى القسم. الأداة الداخلية البطيئة لا تفشل بصوت عالٍ. بل يتوقف الناس عن فتحها ببساطة.

الحل. انقل عملية الاستيعاب (ingestion) خارج مسار الاستعلام. عملية الرفع تضع مهمة في طابور (queue)، ويقوم عامل (worker) بمعالجتها في الخلفية، ولا يمس مسار الاستعلام موارد المعالجة الخاصة بالاستيعاب أبداً.

2. غياب الذاكرة المخبئية الدلالية (semantic cache) للاستعلامات المتكررة

كيف تبدو من الخارج. كل سؤال يذهب إلى الـ النموذج، حتى عندما يكون معظمها إعادة صياغة لنفس العشرات من الأسئلة.

التكلفة. فاتورة للـ النموذج تتزايد مع عدد الموظفين بدلاً من عدد الأشياء المختلفة التي يحتاج الناس لمعرفتها. زمن الاستجابة يرتفع في أسئلة كان من المفترض أن تكون لحظية.

الحل. طبقتان. ذاكرة مخبئية للتطابق التام تعتمد على السؤال الموحد (normalized). ثم ذاكرة مخبئية دلالية تعيد إجابة مخزنة عندما يكون الـ تضمين للسؤال الجديد قريباً جداً من سؤال تمت الإجابة عليه مسبقاً. اضبط حد التشابه ليكون عالياً وسجل كل مرة يتم فيها استخدام الذاكرة المخبئية، حتى تتمكن من التدقيق متى تم تقديم إجابة قديمة.

3. غياب مراقبة جودة المستندات قبل الاستيعاب

كيف تبدو من الخارج. ملفات PDF ممسوحة ضوئياً، وHTML بترميز مكسور، وجداول مخزنة كخلايا مدمجة تذهب مباشرة إلى أداة التقطيع (chunker).

التكلفة. الـ تضمين للنصوص المشوهة يسترجع فقرات تبدو ذات صلة ولكنها ليست كذلك. الإجابة تُقرأ بشكل جيد وتستشهد بصفحة تقول شيئاً آخر. في بيئة خاضعة للوائح، هذه مسؤولية قانونية وليست مجرد مشكلة جودة.

الحل. مرحلة تحويل تحول كل مدخل إلى نص نظيف ومهيكل قبل تقطيعه إلى مقاطع، مع مسار رفض للملفات التي تفشل. Docling، وهو محول مستندات مفتوح المصدر، يحول ملفات PDF وملفات Office والجداول إلى Markdown مع الحفاظ على التنسيق. خصص ميزانية لهذه الطبقة أولاً. فهي تحسن جودة الـ استرجاع أكثر من أي ترقية للـ النموذج.

4. استراتيجية تقطيع ثابتة بغض النظر عن نوع المستند

كيف تبدو من الخارج. حجم مقطع واحد وتداخل واحد لكل شيء. عقد من 90 صفحة يحصل على نفس المعاملة مثل صفحة أسئلة شائعة من فقرتين.

التكلفة. المستندات المهيكلة تفقد هيكلها. يُفصل البند عن عنوانه، والجدول عن تسميته التوضيحية، والتعريف عن المصطلح الذي يعرّفه. يعيد المسترجع نصف ما يحتاجه الـ النموذج.

الحل. التوجيه حسب نوع المستند. المستندات التي تحتوي على عناوين تُقسم إلى مقاطع تحترم حدود الأقسام. النصوص النثرية تحصل على تقسيم متكرر (recursive splitting). الجداول تُستخرج لوحدها وتُخزن كاملة. عندما يكون استرجاع المقاطع الصغيرة جيداً ولكن الـ النموذج يحتاج إلى سياق أكبر، خزن المقطع الصغير للبحث وقدم للـ النموذج القسم الأب الذي يحتويه. مقال Multimodal RAG for complex documents يغطي الحالات الأصعب: المسح الضوئي، الرسوم البيانية، والتنسيقات المختلطة.

5. بحث بالمتجهات فقط، بدون بحث هجين BM25

كيف تبدو من الخارج. استرجاع دلالي بحت. يتعامل مع إعادة الصياغة بشكل جيد ولكنه يفتقد السلاسل النصية الدقيقة (exact strings).

التكلفة. أرقام العقود، أكواد المنتجات، مراجع البنود، وأسماء الأشخاص هي بالضبط ما يبحث عنه مستخدمو الأعمال. استعلام عن "البند 4.3.2(ب)" قد يخطئ البند لأن الـ تضمين يعتبر الترقيم أمراً ثانوياً.

الحل. قم بتشغيل البحث بالكلمات المفتاحية (BM25) والبحث بالمتجهات جنباً إلى جنب، ثم ادمج القائمتين المرتبتين. طريقة الدمج Reciprocal Rank Fusion من Cormack, Clarke and Buettcher (2009)، تسجل كل مستند بناءً على موقعه في كل قائمة. لا يحتاج نظاما التسجيل أبداً إلى المعايرة ضد بعضهما البعض. قيد نتائج الكلمات المفتاحية بحد أدنى من التشابه الدلالي. وإلا فإن التطابقات النصية الدقيقة التي لا صلة لها بالموضوع ستخفف من جودة النتائج الأولى.

6. غياب إعادة الترتيب (reranker) بعد الاسترجاع الأولي

كيف تبدو من الخارج. المقاطع الأولى من البحث تذهب مباشرة إلى الـ النموذج. لا شيء يتحقق مما إذا كانت تجيب على السؤال.

التكلفة. تشابه المتجهات يقيس القرب في مساحة التضمين، وليس الفائدة لهذا السؤال. النتيجة الأولى غالباً ما لا تكون أفضل فقرة، ويكتب الـ النموذج إجابة واثقة من المصدر الخطأ.

الحل. استرجع مجموعة واسعة، ثم أعد ترتيبها باستخدام cross-encoder. وهو نموذج صغير يقرأ السؤال والفقرة معاً ويسجل مدى جودة إجابة الفقرة عليه. احتفظ بأفضل القليل للـ النموذج. بطاقة نموذج ms-marco-MiniLM-L6-v2 model card تبلغ عن حوالي 1,800 فقرة في الثانية على وحدة معالجة الرسومات V100، لذا فإن إعادة ترتيب 20 مرشحاً تكلف أجزاء من الألف من الثانية. قس زمن الاستجابة على أجهزتك الخاصة قبل وبعد.

7. موجّه نظام (system prompt) عام بدون توليد مقيد

كيف تبدو من الخارج. يُطلب من الـ النموذج "الإجابة بناءً على السياق" ولا شيء غير ذلك. عندما لا يحتوي السياق على الإجابة، فإنه يرتجل.

التكلفة. إجابات سلسة تستشهد بسياسات غير موجودة، أو تقتبس أرقاماً لم تكن أبداً في المستندات، أو تصف إجراءات لم يكتبها أحد. هذه هي الإخفاقات التي يتذكرها المستخدمون.

الحل. أعطِ الـ موجّه قاعدة صريحة لعدم الإجابة مع عبارة ثابتة لاستخدامها، وامنع الـ استنتاج خارج النص المسترجع. ثم ادعم ذلك بالكود: فحص بعد التوليد يتحقق من أن كل ادعاء يعود إلى فقرة مسترجعة. أي ادعاء لا يفعل ذلك يتم إزالته أو وضع علامة عليه. صياغة الـ موجّه وحدها ليست ضابطاً. مقال Why prompt guardrails fail in production يشرح ما يفعله فحص المخرجات بدلاً من ذلك.

8. غياب طبقة المراقبة (observability)

يعمل النظام وينتج إجابات، ولا يمكن لأحد رؤية جودة الـ استرجاع، أو توزيع زمن الاستجابة، أو أنماط الفشل. يتدهور الـ استرجاع بصمت مع تغير المستندات، وتعرف عن ذلك من خلال الشكاوى. سجل كل طلب كأثر (trace): السؤال، المقاطع المسترجعة مع درجاتها، إصدار الـ موجّه، الإجابة، زمن الاستجابة، وتكلفتها. قم بتقييم عينة أسبوعية من هذه الآثار باستخدام نفس القاضي (judge) الذي تستخدمه قبل الإصدار. Our evaluation framework يحدد المقاييس وبوابة الإصدار. هذه الآثار هي ما يغذيها بعد الإطلاق.

9. لا يوجد مخطط للبيانات الوصفية (metadata schema)، أو مخطط لا يفرضه أحد

يتم استيعاب كل مستند بحد أدنى من البيانات الوصفية، وكل استعلام يبحث في المجموعة بأكملها. يعيد النظام سياسة 2019 بينما نسخة 2025 موجودة، ولا شيء يمنع ظهور ملف سري للمستخدم الخطأ. الحل هو مخطط يُصمم قبل الاستيعاب ويُفرض عند الاستيعاب. The four metadata field groups تغطي التواريخ، الوصول، الحالة، والنسب، ويقوم الاستعلام بالتصفية بناءً عليها قبل حساب التشابه.

10. نشر متعدد المستأجرين (Multi-tenant) بدون عزل مناسب

كيف تبدو من الخارج. يشارك عدة عملاء أو أقسام فهرس متجهات واحد، مفصولين فقط بعلامة بيانات وصفية (metadata tag) قد يغفلها الاستعلام.

التكلفة. تسريب واحد بين المستأجرين ينهي العقود ويخلق مساءلة قانونية. قد يكون الاحتمال منخفضاً لكن العاقبة تظل غير مقبولة.

الحل. عزل صلب: مساحة أسماء (namespace) أو مجموعة منفصلة لكل مستأجر لا يمكن لأي استعلام تجاوزها. وليس مجرد فلتر يجب على التطبيق تذكر تطبيقه. ذاكرة مخبئية منفصلة لكل مستأجر. ولعمليات النشر الأكثر حساسية، مثيلات (instances) منفصلة للـ النموذج. اختبر ذلك باستعلام عابر للمستأجرين يجب ألا يعيد أي شيء.

11. تحويل الاستعلام مفقود أو بسيط جداً

كيف تبدو من الخارج. تذهب كلمات المستخدم مباشرة إلى المسترجع. الأسئلة القصيرة، الغامضة، أو متعددة الأجزاء يتم استرجاعها بشكل سيء.

التكلفة. "ماذا عن أرقام الربع الثاني؟" بدون سياق محادثة لا تعيد أي شيء مفيد. الأسئلة التي تحتاج إلى مستندين تعيد واحداً. يتعلم المستخدمون أين يضعف النظام ويتوقفون عن سؤاله أشياء صعبة.

الحل. أعد كتابة الاستعلام قبل الـ استرجاع. للأنظمة الحوارية، ادمج السجل الأخير. للأسئلة متعددة الأجزاء، قسمها إلى أسئلة فرعية واسترجع لكل منها. للأسئلة المجردة، تستخدم تقنية HyDE (Gao et al., 2022) الـ النموذج لصياغة إجابة افتراضية وتقوم بـ تضمين ذلك بدلاً من السؤال. تُقرأ المسودة بشكل أقرب للفقرة التي تبحث عنها. قس كل تحويل على مجموعة الاختبار الخاصة بك. لا يوجد تحويل واحد يساعد كل مجموعات البيانات.

12. غياب إطار عمل للتقييم قبل الإطلاق

يتم اختبار النظام بسؤاله بضعة أسئلة يجيب عليها جيداً، ثم يتم نشره. تظهر أنماط فشل غير معروفة عندما يجدها المستخدمون، ويتم بناء التقييم لاحقاً، تحت الضغط. ابنه أولاً: a 100-question test set and the metrics that gate releases، يكتبها الأشخاص الذين سيستخدمون النظام. قم بتقييمها باستخدام مكتبة مفتوحة المصدر مثل RAGAS، وتحقق من القاضي الآلي مقابل التقييم البشري مرة واحدة على الأقل. لا تطلق شيئاً إذا انخفضت الدرجات.

النمط الكامن وراء الفجوات الاثنتي عشرة

لا توجد مشكلة مستعصية بين هذه الفجوات. لكل منها حل معروف لم يكن هناك داعٍ لتضمينه في العرض التجريبي. تعمل العروض التجريبية على بيانات نظيفة تحت ظروف محكومة، وهذه المشاكل لا تظهر إلا خارجها. الفرق التي تصل إلى إنتاج موثوق بأسرع وقت تتعامل مع هذه الفجوات الاثنتي عشرة كقائمة تحقق (checklist) في البداية، وليس كتشخيص في النهاية. تكلفة البناء أعلى من تكلفة العرض التجريبي، ومقال the cost estimate post يوضح كيفية وضع ميزانية لذلك. التعديل بعد إطلاق فاشل يكلف أكثر، سواء بالمال أو بثقة المستخدمين الذين جربوا الإصدار الأول.

إذا كنت تشتري النظام بدلاً من بنائه، فإن نفس هذه العناصر الاثني عشر هي قائمة الفحص النافي للجهالة (due-diligence) الخاصة بك. The three questions to ask an AI engineering partner هي نسخة المشتري منها.

الأسئلة الشائعة

هل يمكن إصلاح هذه المشاكل تدريجياً، أم أنها تحتاج إلى إعادة هيكلة؟ يمكن إضافة معظمها إلى نظام يعمل بالفعل. سبعة منها تقع بجانب خط المعالجة الحالي: الطابور (1)، الذاكرة المخبئية (2)، البحث الهجين (5)، إعادة الترتيب (6)، المراقبة (8)، إعادة كتابة الاستعلام (11)، وحزمة التقييم (12). أربعة منها تعني عادةً إعادة استيعاب البيانات عبر خط المعالجة المعدل: تنظيف المستندات (3)، التقطيع (4)، قيود الـ موجّه مع فحص المخرجات (7)، والبيانات الوصفية (9). هذا يتطلب تخطيطاً، وليس إعادة بناء. عزل المستأجرين (10) يعتمد على كيفية تخطيط الفهرس. الإصلاح المرحلي دائماً ما يكون أرخص من البدء من جديد.

هل الأرخص إصلاح النظام الحالي أم استبداله؟ أصلحه، في معظم الحالات. النظام الذي تم استيعاب مستنداتك فيه بالفعل، وبناء تكاملاتك، وتدريب مستخدميك عليه يستحق الاحتفاظ به. استبدله فقط عندما لا تتمكن البنية الأساسية من قبول الإصلاحات، وهو أمر نادر، أو عندما لم يترك الفريق الأصلي شيئاً يمكن صيانته.

قبل أن يوافق أي شخص على إعادة الهيكلة، قم بإجراء اختبارين هذا الأسبوع. أولاً، خذ 50 استعلاماً حقيقياً من الأشخاص الذين يستخدمون النظام، وليس من الأشخاص الذين بنوه. قيم كل إجابة كصحيحة، خاطئة، أو غير مكتملة. النسبة العالية من الإجابات الخاطئة أو غير المكتملة تشير إلى الفجوات من 3 إلى 7. ثانياً، ضع 10 مستخدمين على النظام في نفس الوقت وراقب زمن الاستجابة. إذا تدهور، فلديك الفجوة 1 وربما الفجوة 2. هاتان الأمسيتان ستخبرانك أي الفجوات الاثنتي عشرة لديك، وتلك القائمة هي الخطة. إذا كنت تريد إجراء القياس بشكل مستقل، فإن AI Audit يقوم بتشغيله على مستنداتك مقابل 2,500 دولار بتكلفة ثابتة.