PAX

مستودع GitHub الخاص بالمشروع

الخلفية

بدأ PAX (الوكيل الاستباقي للموثوقية المثالية) حياته كتحول كبير من مشروعي السابق، TARS، الذي كان يهدف إلى اختبار الاختراق الأمني السيبراني المستقل. بينما كنت أطور TARS، أصبح واضحًا أن أحد أكبر العوائق أمام الوكلاء الذكائيين العمليين والموثوقين ليس مجرد أتمتة المهام، بل إثبات موثوقية الاستجابة التي يولدها الذكاء الاصطناعي. خاصة عندما يمكن أن تؤثر تلك المخرجات على قرارات واقعية قد تكون لها عواقب هائلة.

بدلاً من مجرد أتمتة مهام اختبار الاختراق الأمني السيبراني باستخدام TARS، أردت معالجة مشكلة أساسية: كيف نعرف أننا يمكننا الوثوق بما يقوله نموذج اللغة الكبيرة؟

تم تطوير TARS كمنتج أولي (MVP) لشركتي الناشئة الأولى، Osgil، التي شاركت في تأسيسها. كان هدفنا أتمتة اختبار الاختراق الأمني السيبراني باستخدام وكلاء الذكاء الاصطناعي. مكننا TARS من الحصول على تمويل ما قبل البذرة من مسرّع Forum Ventures. ومع ذلك، عندما تواصلنا مع شركات الدفاع والأمن السيبراني، اكتشفنا أن تلك المؤسسات لا تثق بالوكلاء الذكائيين لأداء وتقرير المهام الحرجة مثل اختبار الاختراق. أيضًا، معظمها أراد التعامل مع شركات الأمن السيبراني لتوفير شخص مسؤول في حال ساءت الأمور. باختصار، صناع القرار في هذه الشركات لم يهتموا بأمانهم إلا إذا اضطروا، وعند الحاجة كان أحد معاييرهم هو وجود شخص مسؤول كنوع من التأمين. حتى أواخر 2024، لا تزال الهجمات السيبرانية المدعومة بالذكاء الاصطناعي ليست مصدر قلق كبير، لذا لم ير صناع القرار حاجة حقيقية لحلولنا. بسبب هذا النقص في الطلب السوقي، تحولنا للتركيز على تقليل الهلوسات في نماذج اللغة الكبيرة. من خلال تحسين موثوقية نماذج اللغة الكبيرة، نعتقد أن عملنا يمكن أن يفيد مجموعة واسعة من تطبيقات الوكلاء الذكائيين المستقبلية خارج نطاق الأمن السيبراني.

إشارة من أساطير Transformers

اسم PAX هو إشارة إلى عالم Transformers. قبل أن يصبح Optimus Prime الأسطوري، كان الاسم الأصلي للشخصية Orion Pax. ألهمتنا فكرة التحول، من الإمكانية إلى المسؤولية، في مهمة PAX للانتقال من قدرة نموذج اللغة الكبيرة الخام والمبهرة إلى شيء موثوق بما يكفي للاعتماد عليه حقًا.

رؤية المشروع

PAX هو وكيل بحثي وإطار عمل يقيس بشكل منهجي:

• يقيس موثوقية أي استجابة من نموذج اللغة الكبيرة.
• يقلل من الهلوسات والبيانات غير المدعومة.
• يفرض ويتتبع الإسناد إلى مصادر قابلة للتحقق.
• يقدم تقارير قابلة للتفسير، منظمة، وتقييمات لكل من الاستجابات والادعاءات.

هدف هذا المشروع هو جعل نماذج اللغة الكبيرة ليست مجرد محتملة، بل موثوقة بشكل مثبت، مع مقاييس شفافة للمخاطر والثقة.

عرض سريع وأساسي

نظرة عامة على كيفية عمل PAX

1. إسناد مفروض

لأي استفسار من المستخدم، يمرر PAX الطلب عبر وكيل يميز بصرامة بين المعرفة العامة والمعلومات التي تحتاج إلى تحقق. عندما تحتوي الاستجابة على حقائق أو ادعاءات لا تُعتبر معرفة عامة على نطاق واسع (مثل الإحصاءات، الأحداث الأخيرة، إلخ)، يضمن PAX أن الوكيل يسترجع ويشير إلى مصادر موثوقة ومحدثة خارجية.

عملية تمثيلية:

• إذا كان الادعاء ليس معرفة عامة → تشغيل واجهات برمجة تطبيقات البحث الخارجية
• جمع النتائج، ربط كل بيان مهم بالمراجع ذات الصلة
• إدراج عناصر نائبة منظمة في الاستجابة (ليس روابط URL عادية أو حواشي خام)

2. تقييم الثقة الاحتمالي

لا يعتمد PAX فقط على الحدس البشري. إنه يقيس مدى “ثقة” نموذج اللغة في توليد كل جزء من إجابته، من خلال تحليل الاحتمالات الداخلية المستخدمة أثناء توليد النص. يتيح ذلك للنظام تعيين درجة موثوقية رقمية لكل جملة، وللإجابة ككل. يمكن بذلك تمييز المناطق ذات الثقة المنخفضة تلقائيًا.

عملية تمثيلية:

• لكل رمز/كلمة استجابة، استرجاع احتمال النموذج لهذا الاختيار
• تجميع عبر الجمل
• إنتاج درجات موثوقية/موثوقية لكل جملة وللإجمالي

3. الاتساق الملاحظ

بدلاً من قبول إجابة واحدة، يطرح PAX السؤال نفسه على نموذج اللغة الكبيرة عدة مرات، مستخدمًا التمثيلات المتجهية (embeddings) لقياس الاتفاق والاتساق بين الاستجابات المحتملة.

• الاتفاق العالي يشير إلى أن الإجابة قوية/مستقرة
• الاستجابات المتباينة على نطاق واسع هي إشارات تحذيرية: خطر محتمل أو غموض

عملية تمثيلية:

• إرسال السؤال إلى نموذج اللغة الكبيرة عدة مرات؛ جمع الاستجابات
• حساب درجات التشابه الدلالي بين المخرجات
• الإبلاغ عن “درجة الاتساق” للمستخدم

4. التقييم الذاتي

يطلب PAX اختياريًا من نموذج لغة كبير آخر (أو مجموعة) مراجعة التفاعل الكامل، والاستشهادات، ودرجات الاحتمال، وتقديم حكم نهائي خاص به، كرقم (0-1) وتفسير سردي. يضيف هذا طبقة ميتا من التفكير الذاتي.

عملية تمثيلية:

• إرسال المحادثة/التقرير إلى وكيل تقييم (نموذج مختلف)
• يقوم الوكيل بنقد الدقة، الاتساق، سلامة الاستشهاد، والثقة
• يخرج درجة موثوقية نهائية مع شرح لتسهيل التدقيق

تدفق التفاعل

يتدفق التفاعل في PAX كما يلي:

• يرسل المستخدم طلبًا.
• يعالج وكيل PAX الطلب، ويستشير واجهات برمجة التطبيقات الخارجية حسب الحاجة، ويبني استجابة مع إسنادات منظمة.
• يقوم النظام:
  • بتعيين درجات موثوقية/ثقة لكل بيان
  • بتسجيل أي أجزاء مدعومة بأي دليل
  • اختياريًا، يولد ملخصًا ذاتيًا وتقييم موثوقية

النتيجة هي إجابة شفافة للغاية مع درجة رقمية ومراجع مرتبطة، إلى جانب سجل قابل للتدقيق لجميع البيانات الداعمة.

الإلهام

الطرق المستخدمة لجعل PAX يعمل استُلهمت بشدة من الأعمال التي قامت بها CleanLabs. خصوصًا، خوارزمية/طريقة التقييم التي تم تفصيلها هنا. في هذه الخوارزمية/الطريقة، يُستَخدم ما يلي:

1. التفكير الذاتي: هذه عملية يُطلب فيها من نموذج اللغة الكبيرة تقييم الاستجابة صراحةً وتوضيح مدى ثقته في جودة هذه الاستجابة.

2. التنبؤ الاحتمالي: هذه “عملية يتم فيها اعتبار احتمالات كل رمز تُعطى من قبل نموذج اللغة الكبيرة أثناء توليد استجابة بناءً على الطلب (توليد تلقائي رمزًا بعد رمز)”.

3. الاتساق الملاحظ: هذا التقييم هو عملية يولد فيها نموذج اللغة الكبيرة استجابات متعددة محتملة يعتقد أنها قد تكون جيدة، ونقيس مدى تناقض هذه الاستجابات مع بعضها البعض (أو مع استجابة معينة).

لماذا هذا مهم؟

يمكن لنشر نماذج اللغة الكبيرة التقليدية أن يخلق هلاوس أو يقدم معلومات قديمة/مقنعة لكنها خاطئة. بالنسبة للاستخدامات الحرجة—البحث، الرعاية الصحية، الاستشارات القانونية والتقنية—الذكاء الاصطناعي غير القابل للتحقق ببساطة غير كافٍ.

يهدف PAX إلى جعل الثقة في الذكاء الاصطناعي قابلة للقياس والتفسير. نهجه:

• يطلب دليل “أظهر عملك” للادعاءات غير البسيطة.
• يكمِّن مقدار الثقة التي يجب وضعها في كل مخرج.
• يسمح للمستخدمين بتدقيق وفهم لماذا يجب (أو لا يجب) الوثوق بإجابة ما.

حالة البحث والخطوات التالية

PAX حاليًا في تطوير نشط كمشروع بحث خاص تحت مظلة Osgil. التركيزات الرئيسية تشمل:

• تقليل زمن استجابة البحث الخارجي والتقييم.
• تجربة تصور المستخدم مقابل درجات الثقة الآلية.
• بناء إضافات متخصصة للمجالات العلمية، الإخبارية، والتنظيمية.
• إعداد مجموعات بيانات معيارية للبحث المفتوح وإمكانية الإصدار.

كلمة أخيرة

PAX يهدف إلى تحويل نماذج اللغة الكبيرة من “مولدات محتملة بصندوق أسود” إلى مساعدين شفافين، قابلين للاستشهاد، وموثوقين رقمياً، وهو أمر حاسم للمهام الواقعية ذات المخاطر العالية.

إذا كنت مهتمًا بالتعاون، أو التدقيق، أو ترغب في مناقشة مستقبل الذكاء الاصطناعي التوليدي الموثوق، يرجى التواصل. شكرًا لقراءتك!