هوش مصنوعی قابل اعتماد با PAX

پس‌زمینه

PAX (عامل پیش‌فعال برای قابل‌اعتمادبودنِ نمونه‌وار) زندگی خود را به‌عنوان یک چرخش بزرگ از پروژهٔ قبلی من، TARS، آغاز کرد؛ پروژه‌ای که هدفش آزمون نفوذ خودکار در امنیت سایبری بود. همان‌طور که داشتم TARS را توسعه می‌دادم، روشن شد که یکی از بزرگ‌ترین موانع برای عامل‌های هوش مصنوعیِ عملی و قابل‌اعتماد، فقط خودکارسازی وظایف نیست، بلکه ایجاد قابل‌اعتماد بودنِ یک پاسخ تولیدشده توسط هوش مصنوعی است. به‌ویژه زمانی که آن خروجی‌ها می‌توانند بر تصمیم‌های دنیای واقعی اثر بگذارند که پیامدهای عظیمی دارند.

به‌جای آن‌که فقط وظایف آزمون نفوذ در امنیت سایبری را با TARS خودکار کنم، می‌خواستم به یک مسئلهٔ بنیادین بپردازم: از کجا بدانیم می‌توانیم به چیزی که یک LLM می‌گوید اعتماد کنیم؟

TARS به‌عنوان یک MVP برای نخستین استارتاپ من، Osgil، که آن را هم‌بنیان‌گذاری کردم، توسعه داده شد. هدف ما خودکارسازی آزمون نفوذ در امنیت سایبری با استفاده از عامل‌های هوش مصنوعی بود. TARS به ما امکان داد تا از شتاب‌دهندهٔ Forum Ventures سرمایهٔ پیش‌seed جذب کنیم. بااین‌حال، وقتی با شرکت‌های دفاعی و امنیت سایبری وارد گفت‌وگو شدیم، دریافتیم که آن سازمان‌ها به عامل‌های هوش مصنوعی برای انجام و گزارش کارهای حیاتی مانند آزمون نفوذ اعتماد ندارند. همچنین، تقریباً همهٔ آن‌ها عمدتاً می‌خواستند با شرکت‌های امنیت سایبری کار کنند تا اگر اوضاع خراب شد، یک قربانیِ جایگزین داشته باشند. اساساً، تصمیم‌گیرندگان این شرکت‌ها تا زمانی که مجبور نبودند، به امنیت خودشان اهمیت نمی‌دادند، و وقتی هم اهمیت می‌دادند، بخشی از معیارهایشان داشتنِ یک مقصر در صورت بروز مشکل بود، به‌عنوان نوعی بیمه. تا اواخر ۲۰۲۴، حملات سایبریِ خودکارِ مبتنی بر هوش مصنوعی هنوز نگرانی عمده‌ای نیستند، بنابراین تصمیم‌گیرندگان نیاز واقعی به راه‌حل ما نمی‌دیدند. به‌دلیل این نبودِ تقاضای بازار، ما مسیر خود را به سمت تمرکز بر کاهش توهمات در مدل‌های LLM تغییر دادیم. با بهبود قابلیت اطمینان LLM، باور داریم کار ما می‌تواند به طیف گسترده‌ای از کاربردهای آیندهٔ عامل‌های هوش مصنوعی فراتر از امنیت سایبری کمک کند.

تلنگری از افسانهٔ ترنسفورمرها

نام PAX اشاره‌ای است به جهان Transformers. پیش از آن‌که این شخصیت به Optimus Prime نمادین تبدیل شود، نام اصلی او Orion Pax بود. این ایدهٔ دگرگونی، از امکان‌پذیری به مسئولیت‌پذیری، مأموریت PAX را الهام داد: حرکت از توانایی خام و چشمگیرِ LLM به چیزی به‌اندازهٔ کافی قابل‌اعتماد که واقعاً بتوان به آن تکیه کرد.

چشم‌انداز پروژه

PAX یک عامل پژوهشی و چارچوبی است که به‌صورت نظام‌مند:

• قابل‌اعتماد بودنِ هر پاسخ LLM را اندازه‌گیری می‌کند.
• توهمات و گزاره‌های بدون پشتوانه را کاهش می‌دهد.
• ارجاع‌دهی به منابعِ قابل‌راستی‌آزمایی را اعمال و پیگیری می‌کند.
• گزارش‌های ساخت‌یافته و قابل‌توضیحی ارائه می‌دهد که هم پاسخ‌ها و هم گزاره‌ها را امتیازدهی می‌کنند.

هدف این پروژه این است که LLMها فقط محتمل به‌نظر نرسند، بلکه اثباتاً قابل‌اعتماد باشند، با سنجه‌های شفافِ ریسک و اطمینان.

دموی سریع و پایه‌ای

نمای کلیِ نحوهٔ کار PAX

۱. ارجاع‌دهیِ اعمال‌شده

برای هر پرسش کاربر، PAX پرامپت را از طریق عاملی مسیریابی می‌کند که به‌طور سخت‌گیرانه بین دانشِ عمومی و اطلاعاتی که نیازمند اعتبارسنجی هستند تمایز قائل می‌شود. وقتی پاسخ شامل حقایق یا ادعاهایی باشد که به‌طور گسترده دانش عمومی محسوب نمی‌شوند (مانند آمار، رویدادهای اخیر و غیره)، PAX اطمینان می‌دهد که عامل، منابع بیرونیِ قابل‌اعتماد و به‌روز را بازیابی و به آن‌ها ارجاع می‌دهد.

فرایند شبه‌کد:

• اگر ادعا دانش عمومی نیست → APIهای جست‌وجوی بیرونی را اجرا کن
• نتایج را جمع‌آوری کن، هر گزارهٔ مهم را به منابع مرتبط نگاشت کن
• جای‌نگهدارهای ساخت‌یافته را در پاسخ درج کن (نه URLهای ساده یا پانوشت‌های خام)

۲. امتیازدهیِ اطمینانِ احتمالاتی

PAX فقط به شهود انسانی تکیه نمی‌کند. این سیستم میزان «اطمینان» مدل زبانی را در تولید هر بخش از پاسخ اندازه‌گیری می‌کند، آن هم با تحلیل احتمال‌های درونیِ استفاده‌شده در هنگام تولید متن. این کار به سیستم اجازه می‌دهد برای هر جمله، و برای کل پاسخ، یک امتیاز عددیِ اعتماد اختصاص دهد. بنابراین، بخش‌های کم‌اطمینان می‌توانند به‌طور خودکار علامت‌گذاری شوند.

فرایند شبه‌کد:

• برای هر توکن/کلمهٔ پاسخ، احتمال مدل برای آن انتخاب را بازیابی کن
• در سطح جمله‌ها تجمیع کن
• امتیازهای اعتماد/قابلیت‌اتکا را برای هر جمله و به‌صورت کلی تولید کن

۳. سازگاریِ مشاهده‌شده

به‌جای پذیرفتن یک پاسخ، PAX همان سؤال را چندین بار از LLM می‌پرسد و از embeddings (نمایش‌های برداریِ معنا) برای سنجش میزان توافق و سازگاری میان پاسخ‌های محتمل استفاده می‌کند.

• توافقِ بالا نشان می‌دهد که پاسخ استوار/پایدار است
• پاسخ‌های به‌شدت متغیر نشانهٔ هشدارند: ریسک یا ابهامِ احتمالی

فرایند شبه‌کد:

• سؤال را چندین بار به LLM بفرست؛ پاسخ‌ها را جمع‌آوری کن
• امتیازهای شباهت معنایی را میان خروجی‌ها محاسبه کن
• یک «امتیاز سازگاری» برای کاربر گزارش کن

۴. خودارزیابی

PAX به‌صورت اختیاری از یک LLM دیگر (یا یک مجموعه) می‌خواهد کل تعامل، استنادها، و امتیازهای احتمالاتی را بازبینی کند و قضاوت نهاییِ خود را، هم به‌شکل عددی (۰ تا ۱) و هم به‌شکل توضیح روایی، ارائه دهد. این کار یک لایهٔ فراشناختیِ خودبازتابی اضافه می‌کند.

فرایند شبه‌کد:

• گفت‌وگو/گزارش را به یک عامل ارزیابی (مدل متفاوت) بده
• عامل دربارهٔ صحتِ factuality، انسجام، یکپارچگیِ استناد، و اطمینان نقد می‌کند
• یک امتیاز نهاییِ اعتماد همراه با توضیح برای قابلیت حسابرسی خروجی می‌دهد

جریان تعامل

جریان تعامل PAX به این صورت است:

• کاربر یک پرامپت ارسال می‌کند.
• عامل PAX پرامپت را پردازش می‌کند، در صورت نیاز با APIهای بیرونی مشورت می‌کند، و پاسخی با ارجاع‌های ساخت‌یافته می‌سازد.
• سیستم:
  • به هر گزاره یک امتیاز اعتماد/اطمینان اختصاص می‌دهد
  • ثبت می‌کند کدام بخش‌ها توسط کدام شواهد پشتیبانی می‌شوند
  • در صورت تمایل، یک خلاصهٔ خودبازتابانه و امتیاز اعتماد تولید می‌کند

نتیجه یک پاسخ بسیار شفاف با یک امتیاز عددی و منابع پیوندخورده است، به‌همراه یک رکورد قابل‌حسابرسی از همهٔ داده‌های پشتیبان.

الهام‌بخشی

روش‌های استفاده‌شده برای کارکرد PAX به‌شدت از کارهای انجام‌شده توسط CleanLabs الهام گرفته شده بود. به‌ویژه، الگوریتم/روش امتیازدهی آن‌ها که به‌تفصیل اینجا توضیح داده شده است. در این الگوریتم/روش، موارد زیر به‌کار گرفته می‌شود:

1. خودبازتابی: این فرایندی است که در آن از LLM خواسته می‌شود به‌طور صریح پاسخ را ارزیابی کند و به‌طور صریح بیان کند که این پاسخ تا چه اندازه با اطمینان خوب به‌نظر می‌رسد.

2. پیش‌بینیِ احتمالاتی: این «فرایندی است که در آن احتمال‌های هر توکن که توسط یک LLM هنگام تولید پاسخ بر اساس درخواست اختصاص داده می‌شوند را در نظر می‌گیریم (به‌صورت خودرگرسیو، توکن‌به‌توکن)».

3. سازگاریِ مشاهده‌شده: این امتیازدهی فرایندی است که در آن LLM به‌صورت احتمالاتی چندین پاسخِ محتمل تولید می‌کند که فکر می‌کند می‌توانند خوب باشند، و ما میزان تناقض این پاسخ‌ها را با یکدیگر (یا با یک پاسخِ داده‌شده) اندازه‌گیری می‌کنیم.

چرا این موضوع مهم است؟

استقرارهای سنتیِ LLM می‌توانند حقایق را دچار توهم کنند یا اطلاعاتِ منسوخ یا باورپذیر اما نادرست ارائه دهند. برای کاربردهای حیاتی مانند پژوهش، سلامت، حقوق، و مشاورهٔ فنی، هوش مصنوعیِ غیرقابل‌راستی‌آزمایی به‌سادگی کافی نیست.

PAX تلاش می‌کند اعتماد به هوش مصنوعی را قابل‌اندازه‌گیری و قابل‌توضیح کند. رویکرد آن:

• برای ادعاهای غیرساده، شواهدِ «کارِ خود را نشان بده» را مطالبه می‌کند.
• مقدار اعتمادی را که باید به هر خروجی داده شود کمّی می‌کند.
• به کاربران اجازه می‌دهد بررسی کنند و بفهمند چرا یک پاسخ باید (یا نباید) مورد اعتماد قرار گیرد.

وضعیت پژوهش و گام‌های بعدی

PAX در حال حاضر در حال توسعهٔ فعال به‌عنوان یک پروژهٔ پژوهشیِ خصوصی زیر چتر Osgil است. تمرکزهای اصلی شامل موارد زیر است:

• کاهش تأخیرِ جست‌وجوهای بیرونی و امتیازدهی.
• آزمایشِ تفاوتِ ادراکِ کاربر در برابر امتیازهای خودکارِ اعتماد.
• ساخت افزونه‌های حوزه‌محور برای کاربردهای علمی، خبری، و مقرراتی.
• آماده‌سازی مجموعه‌داده‌های معیار برای پژوهشِ باز و انتشارِ احتمالی.

سخن پایانی

PAX دربارهٔ تبدیل LLMها از «مولدهای محتملِ جعبه‌سیاه» به دستیارهای شفاف، قابل‌استناد، و عددی‌وار قابل‌اعتماد است که برای وظایف واقعی و پُرخطر حیاتی است. اگر به همکاری، حسابرسی، یا گفت‌وگو دربارهٔ آیندهٔ هوش مصنوعی مولدِ قابل‌اعتماد علاقه‌مندید، لطفاً تماس بگیرید. از خواندن شما سپاسگزارم!