كيف يبدو مسار التدقيق لقرارات الذكاء الاصطناعي: تسجيل أسباب القرار وليس فقط النتيجة
Strategy 8 min2026-11-12

كيف يبدو مسار التدقيق لقرارات الذكاء الاصطناعي: تسجيل أسباب القرار وليس فقط النتيجة

مسار تدقيق الذكاء الاصطناعي المفيد يسجل سبب اتخاذ كل قرار: المدخلات، القواعد التي تم تفعيلها، الأدلة المستخدمة، ومن وافق عليه. إليك هيكل السجل، وقيمة التفسير الخاص بالنموذج، وتكلفة الاحتفاظ به.

يحتوي مسار التدقيق لقرارات الذكاء الاصطناعي على سجل واحد لكل قرار توجيه أو مراسلة. يوضح ما رآه النظام، والقواعد التي تم تطبيقها، والأدلة التي استخدمها. كما يوضح ما اقترحه النموذج (model)، والفحوصات التي اجتازها، ومن وافق عليه. سطر السجل الذي يقول "تم توجيه البريد الإلكتروني إلى سارة في الساعة 09:14" يثبت حدوث شيء ما. لكنه لا يثبت أن القرار كان مسموحاً به. هذه الفجوة تصبح مشكلتك عندما يسأل مسؤول الامتثال أو المُنظِّم أو محامي العميل عن السبب.

لماذا لا يكفي الطابع الزمني والنتيجة فقط؟

كانت فرق الامتثال تسأل عما إذا كانت الرسالة قد أُرسلت أم لا. الآن يسألون عن سبب اختيار النظام لذلك المستشار، وتلك الصياغة، وتلك الأولوية. لقد تحول السؤال من "ماذا" إلى "على أي أساس".

النصوص التنظيمية تشير إلى نفس الاتجاه. بموجب المادة 15 من GDPR، يحق للأشخاص الحصول على "معلومات مفيدة حول المنطق المستخدم" في القرارات الآلية التي تغطيها المادة 22. وبموجب المادة 12 من قانون الذكاء الاصطناعي الأوروبي (EU AI Act)، يجب أن تحتفظ أنظمة الذكاء الاصطناعي عالية المخاطر بسجلات طوال دورة حياتها حتى يمكن فحصها لاحقاً. ليس كل نظام توجيه يندرج تحت أي من هذين الحكمين. ولكن عندما ينطبق أحدهما، فإن صفاً يحتوي على الحالة والوقت لن يكون كافياً.

سجلات البنية التحتية لا تسد هذه الفجوة أيضاً. على سبيل المثال، Amazon Bedrock مدمج مع AWS CloudTrail. يسجل CloudTrail كل استدعاء لواجهة برمجة التطبيقات (API call): من قام به، ومن أي عنوان IP، ومتى. هذا مهم للأمان. يخبرك أنه تم استدعاء النموذج. لكنه لا يستطيع إخبارك بأي من قواعد العمل الخاصة بك هي التي حددت النتيجة، لأن تلك القواعد موجودة في تطبيقك، وليس في الـ API الخاص بمزود الخدمة.

لذا، فإن القرار المُتنازع عليه لم يعد مجرد عملية بحث بسيطة. بل يتحول إلى تحقيق هندسي عبر سجلات التطبيق، وسجلات المزود، وذاكرة شخص ما حول أي موجّه (prompt) كان قيد التشغيل في ذلك الأسبوع.

ماذا يتضمن سجل القرار الواحد؟

هذا هو الهيكل الذي نستخدمه كنقطة انطلاق. كل حقل موجود لأن شخصاً ما، في النهاية، سيطرح السؤال الموجود في العمود الأيمن.

الحقلمحتواهالسؤال الذي يجيب عليه
معرف القرار والوقتمعرف فريد، طابع زمني، القناة (بريد إلكتروني، صوت، نموذج)عن أي قرار نتحدث؟
لقطة المدخلاتالرسالة كما وردت، أو تجزئة (hash) مع مؤشر للنسخة المخزنةماذا رأى النظام فعلياً؟
الحقائق المستخرجةالنية، الكيانات المسماة، مؤشرات المخاطر التي استخرجها النموذجماذا اعتقد النظام أن الرسالة تعني؟
القواعد المُقيّمةمعرف كل قاعدة وإصدارها الذي تم فحصه، نجاح أو فشل، والقيم التي اختبرهاما هي السياسة التي أنتجت هذه النتيجة؟
الأدلة المستخدمةمعرفات وإصدارات المستندات أو القوالب المستخدمة لصياغة الردمن أين جاء المحتوى؟
اقتراح النموذج ومبرراتهالإجراء الذي اقترحه النموذج وتفسيره الموجزماذا أوصى النموذج، وماذا ادعى أنه السبب؟
نتائج البوابة (Gate)كل فحص امتثال تم تشغيله على النص الصادر، وما إذا كان قد مر أو تم حظرههل تم فحص النص الموجه للعميل قبل خروجه؟
الإجراءات البشريةمعرف المُراجع، الموافقة، التعديل أو الرفض، واختلافات التعديلمن تحمل المسؤولية، وماذا غيروا؟
الإصداراتمُعرّف النموذج، إصدار الموجّه (prompt)، إصدار مجموعة القواعد، الـ code commitهل يمكننا إعادة إنتاج هذا القرار اليوم؟
النتيجة النهائيةما تم إرساله أو توجيهه، وإلى من، وحالة التسليمماذا استلم العميل فعلياً؟

تلتقط معظم الأنظمة بالفعل الصفوف الأولى والأخيرة. الصف الذي تفتقده معظم الأنظمة هو "القواعد المُقيّمة". هذه الفجوة عادة ما تكون خياراً في التصميم وليست سهواً في التسجيل. إذا كانت سياسة التوجيه الخاصة بك تعيش داخل موجّه (prompt)، فلا يوجد معرف قاعدة (rule ID) لتسجيله. مخرجات النموذج هي السياسة، والسياسة غير مرئية. نقل القواعد إلى الكود البرمجي أو الإعدادات يحل مشكلة التسجيل ومشكلة الاتساق في خطوة واحدة.

هل يمكنك الوثوق بتفسير النموذج لقراره الخاص؟

جزئياً فقط، وهنا تخطئ العديد من تصميمات التدقيق.

المبرر المعلن لنموذج اللغة هو نص مُوَلَّد، مثل بقية مخرجاته. وجدت الأبحاث المنشورة حول استنتاج (inference) النماذج أن التفسيرات المعلنة لا تتطابق دائماً مع ما دفع المخرجات فعلياً. تسجيل "تفكير" النموذج يبدو وكأنه تسجيل لعملية التفكير المنطقي. لكنه في الواقع أقرب إلى تسجيل رواية النموذج عن تفكيره.

التصميم الذي يصمد تحت الفحص يقسم العمل. يقرأ النموذج الرسالة، ويستخرج الحقائق، ويقترح إجراءً. القواعد الحتمية (Deterministic rules)، التي يكتبها ويمتلكها فريق الامتثال أو العمليات لديك، هي التي تقرر ما هو مسموح به. يصبح التفسير المسجل بعد ذلك هو تتبع القاعدة (rule trace). يمكن إعادة تشغيل القواعد: نفس المدخلات، نفس إصدار القاعدة، نفس النتيجة.

قارن بين إدخالين قد يقرأهما المُراجع بعد ستة أشهر:

  • ▸"تم التوجيه إلى مستشار مرخص. تم تفعيل القاعدة R-14 v3: الرسالة تشير إلى منتج استثماري والمرسل عميل حالي."
  • ▸"قرر النموذج أن هذا هو المستشار الأنسب."

الأول يمكن التحقق منه، وتحديه، والدفاع عنه. الثاني لا يمكن إلا تصديقه. احتفظ بمبررات النموذج في السجل، مع تصنيفها بوضوح على أنها بيان النموذج، لأنها تساعد المراجعين على اكتشاف أخطاء الاستخراج. فقط لا تدعها تحمل الوزن القانوني.

WARNINGإذا كان التفسير الوحيد الذي يمكن لنظامك إنتاجه هو سرد النموذج نفسه، فلا يمكنك إثبات أن القرار يتوافق مع السياسة. يمكنك فقط إثبات أن النموذج قال إنه كذلك.

ما الذي يجعل السجل يصمد عندما يفحصه شخص ما؟

السجل الموجود ليس كالسجل المُقنع. هناك خمس خصائص تفصل بينهما.

مكتوب وقت القرار، ولم يتم إعادة بنائه أبداً. يُكتب السجل في نفس خطوة الإجراء. إذا فشلت كتابة السجل، لا يستمر الإجراء. المسار الذي يتم تجميعه لاحقاً من سجلات أخرى هو إعادة بناء، وأي شخص يفحصه سيتعامل معه على هذا الأساس.

للإضافة فقط ومقاوم للتلاعب. تذهب السجلات إلى تخزين للكتابة مرة واحدة (write-once storage)، حيث لا يمكن تعديل أو حذف أي شيء قبل انتهاء فترة الاحتفاظ. يمكن أن يحمل كل سجل أيضاً تجزئة (hash) للسجل السابق. وبالتالي فإن تغيير أي إدخال يكسر السلسلة بشكل واضح.

إصدارات مثبتة بالمرجع. تعيش الموجّهات (prompts)، ومجموعات القواعد، والقوالب في سجل مُدار بالإصدارات. يخزن السجل معرف الإصدار، لذا فإن سؤال "أي موجّه كان يعمل في 3 مارس" له إجابة من سطر واحد.

البيانات الشخصية محفوظة بشكل منفصل. واجبات الاحتفاظ وحقوق المسح تسحب في اتجاهين متعاكسين. النمط العملي يخزن محتوى الرسالة والبيانات الشخصية في مخزن منفصل، يُشار إليه بواسطة المعرف (ID). يمكنك بعد ذلك تنقيح أو حذف البيانات الشخصية دون كسر سلامة سلسلة القرار.

مقروء من قبل الأشخاص الذين يسألون. يجب أن يكون فريق الامتثال قادراً على سحب حالة حسب العميل، أو التاريخ، أو معرف القرار دون رفع تذكرة للهندسة. إذا كان كل طلب تدقيق يحتاج إلى مطور، فإن المسار موجود على الورق فقط.

إذا كنت تعمل نحو ISO/IEC 42001، معيار 2023 لأنظمة إدارة الذكاء الاصطناعي، فإن هذه السجلات هي الأدلة التشغيلية التي سيرغب المدقق في أخذ عينات منها. وثيقة السياسة تقول ما يجب أن يحدث. سجلات القرار تظهر ما حدث بالفعل.

أليس هذا ما تفعله أدوات قابلية المراقبة (observability) للذكاء الاصطناعي بالفعل؟

لا. هناك تداخل بينهما، لكنهما يجيبان على أسئلة مختلفة. توقعت مؤسسة Gartner في مايو 2026 أن 40 بالمائة من المؤسسات التي تنشر الذكاء الاصطناعي ستستخدم أدوات مخصصة لمراقبة الذكاء الاصطناعي بحلول عام 2028. تتتبع هذه الأدوات الأداء، والتحيز، والمخرجات عبر العديد من الطلبات. إنها تخبرك أن النظام ينحرف (drifting).

يجيب مسار التدقيق على سؤال أضيق حول حالة واحدة: هل كان هذا القرار المحدد مسموحاً به، ومن المسؤول عنه؟ أدوات التتبع مثل Langfuse تلتقط الموجّهات، واستدعاءات النموذج، وزمن الاستجابة (latency) بشكل جيد. لكنها لن تعرف معرفات القواعد الخاصة بك أو موافقات المراجعين ما لم تقم بتصميمها داخل النظام. تحتاج معظم الفرق الخاضعة للتنظيم إلى كليهما، ويجب ألا تفترض أن أحدهما يغطي الآخر.

ما هي تكلفة الاحتفاظ بكل هذا؟

أقل مما يتوقعه الناس للتخزين. وأكثر مما يتوقعونه للتصميم. إليك عملية حسابية توضيحية للتخزين:

التخزين السنوي = القرارات يومياً × حجم السجل × 365

  • ▸فريق متوسط الحجم: 2,000 قرار/يوم × 20 كيلوبايت = 40 ميجابايت/يوم، أو حوالي 14.6 جيجابايت سنوياً.
  • ▸بأسعار تخزين الكائنات (object storage) القياسية التي تتراوح تقريباً بين 0.02 و 0.03 دولار لكل جيجابايت-شهر، فإن ذلك يقل عن 0.50 دولار شهرياً.
  • ▸ارفع كل من الحجم وحجم السجل عشرة أضعاف: 20,000 × 200 كيلوبايت = 4 جيجابايت/يوم، أي حوالي 1,460 جيجابايت سنوياً.
  • ▸يكلف ذلك تقريباً 29 إلى 44 دولاراً شهرياً (1,460 × 0.02 دولار و 1,460 × 0.03 دولار).

تحقق من قائمة الأسعار الحالية لمزود الخدمة الخاص بك، لكن الحجم التقريبي لن يتغير. التخزين ليس هو العائق.

التكلفة الحقيقية هيكلية. عليك إعطاء معرفات للقواعد، وإدارة إصدارات الموجّهات (prompts)، وبناء بوابة الامتثال، وبناء شاشة مراجعة. هذا العمل رخيص إذا تم تضمينه في وقت البناء. أما إضافته لاحقاً (Retrofitting) فيعني المساس بكل مسار قرار في نظام قيد التشغيل، ولهذا السبب ينتمي مسار التدقيق إلى المواصفات الأولى، وليس الثانية.

كيف تختبر ما إذا كان نظامك الحالي يحتوي على مسار حقيقي؟

قم بتمرين واحد. اختر قراراً موجهاً للعميل اتخذه نظام الذكاء الاصطناعي الخاص بك قبل ثلاثة أشهر، ثم اطلب من الشخص الذي يديره أن يريك، في غضون عشر دقائق:

  1. ▸الرسالة الدقيقة التي تلقاها النظام.
  2. ▸كل قاعدة قام بفحصها، مع الإصدار الساري في ذلك اليوم.
  3. ▸النص الصادر، وفحوصات الامتثال التي اجتازها.
  4. ▸الشخص الذي وافق عليه، إن وُجد، وما الذي قام بتغييره.
  5. ▸تفاصيل إصدار كافية لإعادة تشغيل القرار اليوم والحصول على نفس التوجيه.

إذا كان أي عنصر يستغرق مهندساً وفترة ما بعد الظهر، فلديك سجلات (logs)، وليس مسار تدقيق. هذه حالة يمكن إصلاحها. إنها تحتاج فقط إلى الإصلاح قبل أول طلب رسمي، وليس بعده.

هذه هي المشكلة التي صُمم Verel Coordinator لحلها. فهو يوجه العمل الوارد بموجب قواعدك الخاصة ويفرض بوابة امتثال على أي شيء يصل إلى العميل. يضع علامة على الرسائل المشبوهة للمراجعة البشرية ويسجل كل قرار مع مبرراته. وكما هو الحال في كل بناء من Verel Systems، فإنه بسعر ثابت، متفق عليه كتابياً، مع تسليم الكود المصدري بالكامل.

→ تضمين قواعد العمل خارج الموجّه (Prompt): التدوير الموزون، والملكية، والاستثناءات → توجيه العملاء المحتملين بالذكاء الاصطناعي في الشركات الخاضعة للرقابة: من يحق له قول ماذا للعميل، وكيف يفرضه النظام → تقييم الوكلاء في بيئة الإنتاج: تتبع استخدام الأدوات والمسارات
Verel Coordinator →
توجيه وارد بالذكاء الاصطناعي مع بوابة امتثال وسجل قرارات، قيد التشغيل في شركة خدمات مالية أمريكية. نشر البريد الإلكتروني بتكلفة ثابتة من 12,000 دولار إلى 25,000 دولار.

الأسئلة الشائعة

هل نحتاج إلى تخزين النص الكامل لكل رسالة؟ ليس دائماً. تقوم العديد من الفرق بتخزين تجزئة (hash) في سجل القرار والاحتفاظ بالمحتوى في مخزن منفصل بموجب سياسة الاحتفاظ الخاصة به. تثبت التجزئة أن المحتوى لم يتغير. حدد فترة الاحتفاظ بناءً على التزاماتك القانونية، وليس بناءً على تكلفة التخزين.

هل يمكننا إضافة مسار تدقيق إلى نظام ذكاء اصطناعي نقوم بتشغيله بالفعل؟ نعم، لكن الترتيب مهم. إذا كان منطق التوجيه الخاص بك يعيش داخل الموجّهات (prompts)، فاستخرجه إلى قواعد مُدارة بالإصدارات أولاً. يأتي التسجيل بعد ذلك. إضافة التسجيل إلى المنطق المُضمّن في الموجّه يمنحك سجلاً مفصلاً لقرارات لا تزال غير قادر على تفسيرها.

هل تسجيل سلسلة أفكار النموذج كافٍ للامتثال؟ لا. المنطق المعلن للنموذج هو سياق مفيد للمراجعين، لكنه ليس رواية موثوقة لما دفع المخرجات. يجب أن يكون التفسير المسجل هو تتبع القاعدة الحتمية (deterministic rule trace)، مع تخزين مبررات النموذج بجانبه وتصنيفه كبيان خاص بالنموذج.

الخدمات ذات الصلة