PAX सह विश्वासार्ह AI

पार्श्वभूमी

PAX (Proactive Agent for eXemplary Trustworthiness — उत्कृष्ट विश्वासार्हतेसाठी सक्रिय एजंट) ची सुरुवात माझ्या आधीच्या TARS प्रकल्पापासून झालेल्या मोठ्या वळणातून झाली. या प्रकल्पाचे लक्ष्य स्वायत्त सायबरसुरक्षा प्रवेश-परीक्षण होते. TARS विकसित करत असताना, व्यावहारिक आणि विश्वासार्ह AI एजंट्ससमोरील सर्वांत मोठ्या अडथळ्यांपैकी एक केवळ कार्यांचे स्वयंचलीकरण नसून, AI-निर्मित प्रतिसादाची विश्वासार्हता स्थापित करणे हे असल्याचे स्पष्ट झाले. विशेषतः जेव्हा त्या आउटपुट्सचा मोठ्या परिणाम होऊ शकणाऱ्या वास्तविक जगातील निर्णयांवर प्रभाव पडू शकतो.

TARS द्वारे केवळ सायबरसुरक्षा प्रवेश-परीक्षणाची कामे स्वयंचलित करण्याऐवजी, मला एका मूलभूत समस्येवर लक्ष केंद्रित करायचे होते: LLM जे सांगते त्यावर आपण विश्वास ठेवू शकतो, हे आपल्याला कसे कळेल?

TARS माझ्या सहसंस्थापकत्वातील पहिल्या स्टार्टअप Osgil साठी MVP म्हणून विकसित करण्यात आला. AI एजंट्सचा वापर करून सायबरसुरक्षा प्रवेश-परीक्षण स्वयंचलित करणे हे आमचे उद्दिष्ट होते. TARS मुळे आम्हाला Forum Ventures accelerator कडून प्री-सीड निधी मिळवता आला. मात्र, जेव्हा आम्ही संरक्षण आणि सायबरसुरक्षा कंपन्यांशी संपर्क साधला, तेव्हा आम्हाला आढळले की प्रवेश-परीक्षणासारखी महत्त्वाची कामे करण्यासाठी आणि त्याबद्दल अहवाल देण्यासाठी त्या संस्था AI एजंट्सवर विश्वास ठेवत नव्हत्या. तसेच, त्यांपैकी जवळजवळ सर्वांनाच मुख्यतः सायबरसुरक्षा कंपन्यांसोबत व्यवसाय करायचा होता, जेणेकरून परिस्थिती बिघडल्यास दोष देण्यासाठी कोणीतरी उपलब्ध असावे. थोडक्यात, या कंपन्यांमधील निर्णय घेणाऱ्यांना त्यांच्या सुरक्षेची गरज भासेपर्यंत त्याची फारशी काळजी नव्हती; आणि जेव्हा काळजी घ्यावी लागे, तेव्हा त्यांच्या निकषांपैकी एक भाग असा असे की काही चूक झाल्यास दोष देण्यासाठी कोणीतरी असावे—एक प्रकारच्या विम्याच्या स्वरूपात. 2024 च्या अखेरीस, AI-आधारित स्वयंचलित सायबरहल्ले अजूनही मोठी चिंता नव्हते, त्यामुळे निर्णय घेणाऱ्यांना आमच्या उपायाची वास्तविक गरज दिसली नाही. बाजारातील मागणीच्या या अभावामुळे, आम्ही LLM मॉडेल्समधील भ्रमनिर्मिती कमी करण्यावर लक्ष केंद्रित करण्याकडे वळलो. LLM ची विश्वासार्हता सुधारून, सायबरसुरक्षेपलीकडील भविष्यातील AI एजंट अनुप्रयोगांच्या विस्तृत श्रेणीला आमच्या कामाचा लाभ मिळू शकतो, असा आमचा विश्वास आहे.

ट्रान्सफॉर्मर्सच्या कथाविश्वातून मिळालेली प्रेरणा

PAX हे Transformers विश्वाला दिलेले एक संकेत आहे. प्रतिष्ठित Optimus Prime होण्यापूर्वी, या पात्राचे मूळ नाव Orion Pax होते. शक्यतेपासून जबाबदारीकडे होणाऱ्या परिवर्तनाच्या या कल्पनेने PAX चे ध्येय प्रेरित केले—कच्च्या, प्रभावी LLM क्षमतेपासून खऱ्या अर्थाने विश्वास ठेवता येईल इतक्या विश्वासार्ह प्रणालीकडे वाटचाल करणे.

प्रकल्पाची दृष्टी

PAX हा एक संशोधन एजंट आणि फ्रेमवर्क आहे, जो पद्धतशीरपणे:

कोणत्याही LLM प्रतिसादाची विश्वासार्हता मोजतो.
भ्रमनिर्मिती आणि आधार नसलेली विधाने कमी करतो.
पडताळता येण्याजोग्या स्रोतांना संदर्भ देणे आणि त्यांचा मागोवा घेणे अनिवार्य करतो.
प्रतिसाद आणि दावे या दोन्हींचे गुणांकन करणारे, स्पष्टीकरणक्षम आणि संरचित अहवाल प्रदान करतो.

या प्रकल्पाचा उद्देश LLM ना केवळ संभाव्यतः योग्य नव्हे, तर जोखमीचे आणि आत्मविश्वासाचे पारदर्शक मोजमाप असलेले सिद्ध करता येण्याजोगे विश्वासार्ह बनवणे हा आहे.

झटपट आणि मूलभूत प्रात्यक्षिक

PAX कसे कार्य करते याचा आढावा

1. अनिवार्य संदर्भनिर्देशन

कोणत्याही वापरकर्ता प्रश्नासाठी, PAX प्रॉम्प्ट एका अशा एजंटमार्फत पाठवतो जो सामान्य ज्ञान आणि पडताळणी आवश्यक असलेली माहिती यांच्यात काटेकोरपणे फरक करतो. प्रतिसादात सर्वसामान्य ज्ञान मानले जात नसलेली तथ्ये किंवा दावे असल्यास (उदाहरणार्थ, आकडेवारी, अलीकडील घटना इत्यादी), PAX एजंटकडून विश्वासार्ह आणि अद्ययावत बाह्य स्रोत मिळवले जातील व त्यांचा संदर्भ दिला जाईल याची खात्री करतो.

छद्म-प्रक्रिया:

दावा सामान्य ज्ञान नसल्यास → बाह्य शोध API चालवा

निकाल गोळा करा, प्रत्येक महत्त्वपूर्ण विधानाचा संबंधित संदर्भांशी संबंध जोडा

प्रतिसादात संरचित प्लेसहोल्डर्स समाविष्ट करा (साधे URLs किंवा कच्च्या तळटीपा नव्हे)

2. संभाव्यताधारित आत्मविश्वास गुणांकन

PAX केवळ मानवी अंतर्ज्ञानावर अवलंबून राहत नाही. मजकूर तयार करताना वापरल्या जाणाऱ्या अंतर्गत संभाव्यतांचे विश्लेषण करून, उत्तराचा प्रत्येक भाग तयार करताना भाषिक मॉडेल किती “आत्मविश्वासू” होते हे ते मोजते. यामुळे प्रणालीला प्रत्येक वाक्याला आणि संपूर्ण उत्तराला संख्यात्मक विश्वास गुण देणे शक्य होते. त्यामुळे कमी-आत्मविश्वास असलेले भाग आपोआप चिन्हांकित करता येतात.

छद्म-प्रक्रिया:

प्रत्येक प्रतिसाद टोकन/शब्दासाठी, त्या निवडीची मॉडेलने दिलेली संभाव्यता मिळवा

वाक्यांमध्ये एकत्रित करा

प्रत्येक वाक्यासाठी आणि एकूण विश्वासार्हता/विश्वसनीयता गुण तयार करा

3. निरीक्षित सुसंगती

एकच उत्तर स्वीकारण्याऐवजी, PAX LLM ला तोच प्रश्न अनेक वेळा विचारतो आणि संभाव्य प्रतिसादांमधील सहमती व सुसंगती मोजण्यासाठी एम्बेडिंग्ज (अर्थाच्या सदिशात्मक मांडणी) वापरतो.

उच्च सहमती दर्शवते की उत्तर मजबूत/स्थिर आहे
मोठ्या प्रमाणात बदलणारे प्रतिसाद हे इशारे असतात: संभाव्य जोखीम किंवा संदिग्धता

छद्म-प्रक्रिया:

प्रश्न LLM ला अनेक वेळा पाठवा; प्रतिसाद गोळा करा

आउटपुट्समधील अर्थसाम्य गुण मोजा

वापरकर्त्यासाठी “सुसंगती गुण” अहवालित करा

4. स्वयं-मूल्यांकन

PAX, संपूर्ण परस्परसंवाद, संदर्भ आणि संभाव्यता गुणांचे पुनरावलोकन करून स्वतःचा अंतिम निष्कर्ष देण्यासाठी दुसऱ्या LLM ला (किंवा समूहाला) पर्यायी स्वरूपात विचारतो. हा निष्कर्ष संख्या (0-1) आणि कथनात्मक स्पष्टीकरण या दोन्ही स्वरूपात दिला जातो. यामुळे आत्मपरीक्षणाचा एक मेटा स्तर जोडला जातो.

छद्म-प्रक्रिया:

संभाषण/अहवाल मूल्यांकन एजंटला (वेगळ्या मॉडेलला) द्या

एजंट तथ्यात्मकता, सुसंगती, संदर्भांची अखंडता आणि आत्मविश्वासाचे परीक्षण करतो

लेखापरीक्षणक्षमतेसाठी स्पष्टीकरणासह अंतिम विश्वास गुण आउटपुट करा

परस्परसंवादाचा प्रवाह

PAX चा परस्परसंवादाचा प्रवाह पुढीलप्रमाणे आहे:

वापरकर्ता प्रॉम्प्ट पाठवतो.
PAX एजंट प्रॉम्प्टवर प्रक्रिया करतो, आवश्यकतेनुसार बाह्य API शी संपर्क साधतो आणि संरचित संदर्भनिर्देशनांसह प्रतिसाद तयार करतो.
प्रणाली:
- प्रत्येक विधानासाठी विश्वास/आत्मविश्वास गुण नियुक्त करते
- कोणते भाग कोणत्या पुराव्याद्वारे समर्थित आहेत याची नोंद करते
- पर्यायी स्वरूपात, आत्मपरीक्षणात्मक सारांश आणि विश्वास गुण तयार करते

याचा परिणाम म्हणजे संख्यात्मक गुण आणि जोडलेल्या संदर्भांसह अत्यंत पारदर्शक उत्तर, तसेच सर्व समर्थक माहितीचा लेखापरीक्षण करता येण्याजोगा अभिलेख.

प्रेरणा

PAX कार्यान्वित करण्यासाठी वापरलेल्या पद्धतींवर CleanLabs यांनी केलेल्या कामाचा मोठा प्रभाव आहे. विशेषतः, येथे सविस्तर वर्णन केलेल्या त्यांच्या गुणांकन अल्गोरिदम/पद्धतीचा. या अल्गोरिदम/पद्धतीमध्ये पुढील गोष्टींचा उपयोग केला जातो:

स्वयं-परीक्षण: ही अशी प्रक्रिया आहे ज्यामध्ये LLM ला प्रतिसादाचे स्पष्टपणे मूल्यांकन करण्यास आणि हा प्रतिसाद किती आत्मविश्वासाने चांगला वाटतो हे स्पष्टपणे सांगण्यास सांगितले जाते.
संभाव्यताधारित भाकीत: ही “अशी प्रक्रिया आहे ज्यामध्ये LLM विनंतीच्या आधारे प्रतिसाद तयार करताना (टोकननुसार स्वयंचलित-प्रतिगामी पद्धतीने) प्रत्येक टोकनसाठी नियुक्त केलेल्या संभाव्यता विचारात घेतल्या जातात”.
निरीक्षित सुसंगती: ही गुणांकन प्रक्रिया अशी आहे ज्यामध्ये LLM चांगली असू शकतील असे वाटणारे अनेक संभाव्य प्रतिसाद संभाव्यताधारित पद्धतीने तयार करते आणि हे प्रतिसाद एकमेकांशी (किंवा एखाद्या दिलेल्या प्रतिसादाशी) किती विरोधाभासी आहेत हे आपण मोजतो.

हे महत्त्वाचे का आहे?

पारंपरिक LLM उपयोजनांमध्ये तथ्यांची भ्रमनिर्मिती होऊ शकते किंवा कालबाह्य/विश्वसनीय वाटणारी पण चुकीची माहिती दिली जाऊ शकते. संशोधन, आरोग्यसेवा, कायदेविषयक आणि तांत्रिक सल्ल्यासारख्या अत्यावश्यक उपयोगांसाठी पडताळता न येणारी AI पुरेशी चांगली नाही.

PAX चे उद्दिष्ट AI वरील विश्वास मोजता येण्याजोगा आणि स्पष्टीकरणक्षम बनवणे आहे. त्याचा दृष्टिकोन:

महत्त्वपूर्ण नसलेल्या दाव्यांसाठी “तुमचे काम दाखवा” या तत्त्वानुसार पुराव्याची मागणी करतो.
प्रत्येक आउटपुटवर किती आत्मविश्वास ठेवावा हे परिमाणित करतो.
एखाद्या उत्तरावर विश्वास का ठेवावा (किंवा ठेवू नये) हे वापरकर्त्यांना तपासता आणि समजून घेता येते.

संशोधनाची स्थिती आणि पुढील टप्पे

PAX सध्या Osgil च्या छत्राखालील एका खाजगी संशोधन प्रकल्पाच्या रूपात सक्रिय विकासाधीन आहे. मुख्य लक्ष पुढील बाबींवर आहे:

बाह्य शोध आणि गुणांकनाची विलंबता कमी करणे.
वापरकर्त्यांच्या आकलनावर आधारित आणि स्वयंचलित विश्वास गुणांचा प्रयोग करणे.
विज्ञान, बातम्या आणि नियामक उपयोगांसाठी क्षेत्रविशिष्ट प्लगइन तयार करणे.
मुक्त संशोधनासाठी आणि संभाव्य प्रकाशनासाठी बेंचमार्क डेटासेट तयार करणे.

अंतिम शब्द

PAX चे उद्दिष्ट LLM ना “ब्लॅक बॉक्ससारखे संभाव्य उत्तरे निर्माण करणाऱ्या प्रणालींमधून” पारदर्शक, संदर्भ देता येण्याजोगे आणि संख्यात्मकदृष्ट्या विश्वासार्ह सहाय्यकांमध्ये रूपांतरित करणे आहे, जे वास्तविक जगातील उच्च-जोखमीच्या कामांसाठी अत्यंत महत्त्वाचे आहे. सहकार्य, लेखापरीक्षण किंवा विश्वासार्ह जनरेटिव्ह AI च्या भविष्याविषयी चर्चा करण्यात तुम्हाला स्वारस्य असल्यास, कृपया संपर्क साधा. वाचल्याबद्दल धन्यवाद!