PAXతో విశ్వసనీయ AI

నేపథ్యం

PAX (ఆదర్శప్రాయ విశ్వసనీయత కోసం చురుకైన ఏజెంట్) నా మునుపటి ప్రాజెక్ట్ TARS నుండి జరిగిన ఒక ప్రధాన మార్పుగా ప్రారంభమైంది. TARS స్వయంచాలిత సైబర్‌సెక్యూరిటీ పెనిట్రేషన్ టెస్టింగ్‌ను లక్ష్యంగా చేసుకుంది. నేను TARSను అభివృద్ధి చేస్తున్నప్పుడు, ఆచరణాత్మకమైన, విశ్వసనీయమైన AI ఏజెంట్లకు ఉన్న అతిపెద్ద అడ్డంకుల్లో ఒకటి కేవలం పనుల స్వయంచాలకీకరణ మాత్రమే కాదని, AI ద్వారా రూపొందించబడిన ప్రతిస్పందన యొక్క విశ్వసనీయతను స్థాపించడం కూడా అని స్పష్టమైంది. ముఖ్యంగా, ఆ అవుట్‌పుట్‌లు భారీ పరిణామాలను కలిగించే వాస్తవ-ప్రపంచ నిర్ణయాలపై ప్రభావం చూపగలిగినప్పుడు.

TARSతో సైబర్‌సెక్యూరిటీ పెనిట్రేషన్ టెస్టింగ్ పనులను కేవలం స్వయంచాలితం చేయడం కంటే, నేను ఒక ప్రాథమిక సమస్యను పరిష్కరించాలనుకున్నాను: LLM చెప్పేదాన్ని మనం విశ్వసించగలమని మనకు ఎలా తెలుసు?

TARSను నేను సహ-స్థాపించిన నా మొదటి స్టార్టప్ Osgil కోసం MVPగా అభివృద్ధి చేశాను. AI ఏజెంట్లను ఉపయోగించి సైబర్‌సెక్యూరిటీ పెనిట్రేషన్ టెస్టింగ్‌ను స్వయంచాలితం చేయడం మా లక్ష్యం. Forum Ventures యాక్సిలరేటర్ నుండి ప్రీ-సీడ్ నిధులను పొందేందుకు TARS మాకు సహాయపడింది. అయితే, మేము రక్షణ మరియు సైబర్‌సెక్యూరిటీ కంపెనీలను సంప్రదించినప్పుడు, పెనిట్రేషన్ టెస్టింగ్ వంటి కీలక పనులను నిర్వహించి, వాటి గురించి నివేదించడానికి AI ఏజెంట్లను ఆ సంస్థలు విశ్వసించడం లేదని కనుగొన్నాము. అలాగే, దాదాపు వారందరికీ ప్రధానంగా సైబర్‌సెక్యూరిటీ కంపెనీలతో వ్యాపారం చేయాలనే కోరిక ఉండేది, పరిస్థితులు చెడిపోయినప్పుడు బాధ్యతను మోసే వ్యక్తి ఉండేందుకు. ప్రాథమికంగా, ఈ కంపెనీలలోని నిర్ణయాధికారులు తప్పనిసరి అయ్యే వరకు తమ భద్రత గురించి పట్టించుకోలేదు, మరియు పట్టించుకున్నప్పుడు, వారి ప్రమాణాల్లో ఒక భాగం ఏదైనా తప్పు జరిగితే బాధ్యతను మోసే వ్యక్తి ఉండటం—ఒక రకమైన బీమాగా. 2024 చివరి నాటికి, స్వయంచాలిత AI-ఆధారిత సైబర్ దాడులు ఇప్పటికీ పెద్ద ఆందోళనగా లేవు, కాబట్టి మా పరిష్కారం కోసం నిజమైన అవసరం ఉందని నిర్ణయాధికారులు భావించలేదు. ఈ మార్కెట్ డిమాండ్ కొరత కారణంగా, LLM మోడళ్లలోని హాల్యూసినేషన్లను తగ్గించడంపై దృష్టి పెట్టేలా మేము మార్పు చేసుకున్నాము. LLM విశ్వసనీయతను మెరుగుపరచడం ద్వారా, సైబర్‌సెక్యూరిటీకి మించిన భవిష్యత్తు AI ఏజెంట్ అనువర్తనాల విస్తృత శ్రేణికి మా పని ప్రయోజనం చేకూర్చగలదని మేము నమ్ముతున్నాము.

ట్రాన్స్‌ఫార్మర్స్ పురాణం నుండి ఒక ప్రేరణ

PAX అనే పేరు ట్రాన్స్‌ఫార్మర్స్ విశ్వానికి ఒక సూచన. ప్రతీకాత్మకమైన ఆప్టిమస్ ప్రైమ్‌గా మారకముందు, ఆ పాత్ర యొక్క అసలు పేరు ఒరియన్ పాక్స్. సామర్థ్యం నుండి బాధ్యత వైపు జరిగే ఈ పరివర్తన భావన, ముడి, ఆకట్టుకునే LLM సామర్థ్యం నుండి నిజంగా ఆధారపడగలిగేంత విశ్వసనీయమైన దిశగా మారే PAX లక్ష్యానికి ప్రేరణనిచ్చింది.

ప్రాజెక్ట్ దృష్టి

PAX అనేది కింది విధంగా క్రమబద్ధంగా పనిచేసే పరిశోధనా ఏజెంట్ మరియు ఫ్రేమ్‌వర్క్:

• ఏదైనా LLM ప్రతిస్పందన యొక్క విశ్వసనీయతను కొలుస్తుంది.
• హాల్యూసినేషన్లు మరియు ఆధారరహిత ప్రకటనలను తగ్గిస్తుంది.
• ధృవీకరించగల మూలాలకు మూల సూచనను తప్పనిసరి చేసి, దాన్ని ట్రాక్ చేస్తుంది.
• ప్రతిస్పందనలు మరియు వాదనలు రెండింటికీ స్కోర్లు అందించే, వివరించగలిగే, నిర్మిత నివేదికలను అందిస్తుంది.

ఈ ప్రాజెక్ట్ లక్ష్యం LLMలను కేవలం సంభావ్యంగా అనిపించేవిగా కాకుండా, ప్రమాదం మరియు విశ్వాసానికి పారదర్శకమైన కొలతలతో నిరూపణాత్మకంగా విశ్వసనీయమైనవిగా చేయడం.

త్వరిత మరియు ప్రాథమిక ప్రదర్శన

PAX ఎలా పనిచేస్తుందో అవలోకనం

1. తప్పనిసరి మూల సూచన

ఏదైనా వినియోగదారు ప్రశ్న కోసం, PAX ప్రాంప్ట్‌ను సాధారణ జ్ఞానం మరియు ధృవీకరణ అవసరమైన సమాచారాన్ని కచ్చితంగా వేరు చేసే ఒక ఏజెంట్ ద్వారా పంపిస్తుంది. ప్రతిస్పందనలో విస్తృతంగా సాధారణ జ్ఞానంగా పరిగణించబడని వాస్తవాలు లేదా వాదనలు (గణాంకాలు, ఇటీవలి సంఘటనలు మొదలైనవి) ఉన్నప్పుడు, విశ్వసనీయమైన, తాజా బాహ్య మూలాలను ఏజెంట్ తిరిగి పొందుతూ వాటిని సూచించేలా PAX నిర్ధారిస్తుంది.

సూడో-ప్రక్రియ:

• వాదన సాధారణ జ్ఞానం కాకపోతే → బాహ్య శోధన APIలను అమలు చేయండి
• ఫలితాలను సేకరించి, ప్రతి ముఖ్యమైన ప్రకటనను సంబంధిత సూచనలకు అనుసంధానించండి
• ప్రతిస్పందనలో నిర్మిత ప్లేస్‌హోల్డర్‌లను చేర్చండి (సాధారణ URLలు లేదా ముడి ఫుట్‌నోట్‌లు కాదు)

2. సంభావ్యతా విశ్వాస స్కోరింగ్

PAX కేవలం మానవ అంతర్దృష్టిపై ఆధారపడదు. టెక్స్ట్ రూపొందించేటప్పుడు ఉపయోగించిన అంతర్గత సంభావ్యతలను విశ్లేషించడం ద్వారా, భాషా మోడల్ తన సమాధానంలోని ప్రతి భాగాన్ని రూపొందించడంలో ఎంత “విశ్వాసంతో” ఉందో ఇది కొలుస్తుంది. దీనివల్ల వ్యవస్థ ప్రతి వాక్యానికి, అలాగే మొత్తం సమాధానానికి సంఖ్యాత్మక విశ్వాస స్కోర్ కేటాయించగలదు. ఈ విధంగా తక్కువ-విశ్వాస ప్రాంతాలను స్వయంచాలితంగా గుర్తించవచ్చు.

సూడో-ప్రక్రియ:

• ప్రతి ప్రతిస్పందన టోకెన్/పదానికి, ఆ ఎంపిక కోసం మోడల్ సంభావ్యతను తిరిగి పొందండి
• వాక్యాలన్నింటిపై సమగ్రపరచండి
• ప్రతి వాక్యానికి మరియు మొత్తానికి విశ్వాసం/విశ్వసనీయత స్కోర్లను రూపొందించండి

3. పరిశీలించిన స్థిరత్వం

ఒకే సమాధానాన్ని అంగీకరించడానికి బదులుగా, PAX LLMను అదే ప్రశ్నను పలుమార్లు అడుగుతుంది. సంభావ్య ప్రతిస్పందనల మధ్య ఏకాభిప్రాయం మరియు స్థిరత్వాన్ని కొలవడానికి ఎంబెడ్డింగ్‌లను (అర్థానికి సంబంధించిన వెక్టర్ ప్రాతినిధ్యాలను) ఉపయోగిస్తుంది.

• అధిక ఏకాభిప్రాయం సమాధానం బలమైనది/స్థిరమైనదని సూచిస్తుంది
• విస్తృతంగా మారుతూ ఉండే ప్రతిస్పందనలు హెచ్చరిక సంకేతాలు: సాధ్యమైన ప్రమాదం లేదా అస్పష్టత

సూడో-ప్రక్రియ:

• ప్రశ్నను LLMకు పలుమార్లు పంపించి; ప్రతిస్పందనలను సేకరించండి
• అవుట్‌పుట్‌ల మధ్య అర్థసంబంధిత సారూప్యత స్కోర్లను లెక్కించండి
• వినియోగదారు కోసం “స్థిరత్వ స్కోర్”ను నివేదించండి

4. స్వీయ-మూల్యాంకనం

PAX ఐచ్ఛికంగా మరొక LLMను (లేదా సమిష్టి మోడల్‌ను) మొత్తం పరస్పర చర్య, మూల సూచనలు మరియు సంభావ్యతా స్కోర్లను సమీక్షించి, సంఖ్యగా (0-1) మరియు వివరణాత్మక వ్యాఖ్యానంగా తన తుది తీర్పును ఇవ్వమని అడుగుతుంది. ఇది స్వీయ-పరిశీలనకు ఒక మెటా పొరను జోడిస్తుంది.

సూడో-ప్రక్రియ:

• సంభాషణ/నివేదికను ఒక మూల్యాంకన ఏజెంట్‌కు (వేరే మోడల్‌కు) అందించండి
• ఏజెంట్ వాస్తవికత, సమన్వయం, మూల సూచన సమగ్రత మరియు విశ్వాసాన్ని విమర్శాత్మకంగా పరిశీలిస్తుంది
• ఆడిట్ చేయగలిగేలా వివరణతో కూడిన తుది విశ్వాస స్కోర్‌ను అవుట్‌పుట్ చేస్తుంది

పరస్పర చర్యల ప్రవాహం

PAX యొక్క పరస్పర చర్యల ప్రవాహం ఈ విధంగా సాగుతుంది:

• వినియోగదారు ఒక ప్రాంప్ట్‌ను పంపుతారు.
• PAX ఏజెంట్ ప్రాంప్ట్‌ను ప్రాసెస్ చేసి, అవసరమైనప్పుడు బాహ్య APIలను సంప్రదించి, నిర్మిత మూల సూచనలతో ఒక ప్రతిస్పందనను నిర్మిస్తుంది.
• వ్యవస్థ:
  • ప్రతి ప్రకటనకు విశ్వాసం/నమ్మక స్కోర్లను కేటాయిస్తుంది
  • ఏ భాగాలకు ఏ ఆధారం మద్దతు ఇస్తుందో నమోదు చేస్తుంది
  • ఐచ్ఛికంగా, స్వీయ-పరిశీలనాత్మక సారాంశం మరియు విశ్వాస స్కోర్‌ను రూపొందిస్తుంది

దీని ఫలితం సంఖ్యాత్మక స్కోర్ మరియు అనుసంధానించబడిన సూచనలతో కూడిన అత్యంత పారదర్శకమైన సమాధానం, అలాగే మద్దతు ఇచ్చే మొత్తం డేటా యొక్క ఆడిట్ చేయగల రికార్డు.

ప్రేరణ

PAXను పనిచేసేలా చేయడానికి ఉపయోగించిన పద్ధతులు CleanLabs చేసిన పనుల ద్వారా బలంగా ప్రేరణ పొందాయి. ముఖ్యంగా, ఇక్కడ వివరించిన వారి స్కోరింగ్ అల్గారిథమ్/పద్ధతి ద్వారా. ఈ అల్గారిథమ్/పద్ధతిలో, కింది అంశాలు ఉపయోగించబడతాయి:

1. స్వీయ-పరిశీలన: ఇది ఒక ప్రక్రియ, ఇందులో ప్రతిస్పందనకు స్పష్టంగా రేటింగ్ ఇవ్వాలని మరియు ఈ ప్రతిస్పందన ఎంత నమ్మకంగా మంచిదిగా కనిపిస్తుందో స్పష్టంగా చెప్పాలని LLMను అడుగుతారు.

2. సంభావ్యతా అంచనా: ఇది “ఒక LLM అభ్యర్థన ఆధారంగా ప్రతిస్పందనను రూపొందిస్తున్నప్పుడు (ఆటో-రిగ్రెసివ్‌గా, ఒక్కో టోకెన్ చొప్పున), దానికి కేటాయించిన ప్రతి-టోకెన్ సంభావ్యతలను పరిగణించే ప్రక్రియ”.

3. పరిశీలించిన స్థిరత్వం: ఇది ఒక స్కోరింగ్ ప్రక్రియ, ఇందులో మంచివిగా ఉండవచ్చని LLM భావించే అనేక సంభావ్య ప్రతిస్పందనలను సంభావ్యతాపరంగా రూపొందిస్తుంది, మరియు ఈ ప్రతిస్పందనలు ఒకదానితో ఒకటి (లేదా ఇచ్చిన ప్రతిస్పందనతో) ఎంత విరుద్ధంగా ఉన్నాయో మేము కొలుస్తాము.

ఇది ఎందుకు ముఖ్యమైనది?

సాంప్రదాయ LLM అమరికలు వాస్తవాలను హాల్యూసినేట్ చేయవచ్చు లేదా పాతబడిన/నమ్మదగినట్లు కనిపించే కానీ తప్పుడు సమాచారాన్ని అందించవచ్చు. పరిశోధన, ఆరోగ్య సంరక్షణ, చట్టపరమైన మరియు సాంకేతిక సలహా వంటి కీలకమైన ఉపయోగాల కోసం, ధృవీకరించలేని AI సరిపోదు.

PAX AIపై విశ్వాసాన్ని కొలవగలిగేలా మరియు వివరించగలిగేలా చేయాలని లక్ష్యంగా పెట్టుకుంది. దాని విధానం:

• ప్రాముఖ్యమైన వాదనలకు “మీ పని చూపండి” అనే ఆధారాన్ని కోరుతుంది.
• ప్రతి అవుట్‌పుట్‌పై ఎంత విశ్వాసం ఉంచాలో పరిమాణాత్మకంగా నిర్ధారిస్తుంది.
• సమాధానాన్ని ఎందుకు విశ్వసించాలో (లేదా ఎందుకు విశ్వసించకూడదో) వినియోగదారులు ఆడిట్ చేసి అర్థం చేసుకునేలా చేస్తుంది.

పరిశోధన స్థితి మరియు తదుపరి దశలు

PAX ప్రస్తుతం Osgil ఆధ్వర్యంలో ఒక ప్రైవేట్ పరిశోధనా ప్రాజెక్ట్‌గా చురుకైన అభివృద్ధిలో ఉంది. ప్రధాన దృష్టి కేంద్రీకరణలు:

• బాహ్య శోధనలు మరియు స్కోరింగ్ యొక్క ఆలస్యాన్ని తగ్గించడం.
• వినియోగదారుల అవగాహనకు సంబంధించిన స్కోర్లను స్వయంచాలిత విశ్వాస స్కోర్లతో ప్రయోగాత్మకంగా పోల్చడం.
• విజ్ఞానం, వార్తలు మరియు నియంత్రణ సంబంధిత ఉపయోగాల కోసం డొమైన్-నిర్దిష్ట ప్లగిన్‌లను నిర్మించడం.
• బహిరంగ పరిశోధన మరియు సాధ్యమైన విడుదల కోసం బెంచ్‌మార్క్ డేటాసెట్‌లను సిద్ధం చేయడం.

తుది మాటలు

PAX అనేది LLMలను “బ్లాక్ బాక్స్‌లోని సంభావ్య జనరేటర్లు” నుండి పారదర్శకమైన, మూలాలను సూచించగల, మరియు సంఖ్యాత్మకంగా విశ్వసించగల సహాయకులుగా మార్చడం గురించి, ఇది వాస్తవ-ప్రపంచంలోని అధిక-ప్రమాద పనులకు కీలకం. సహకారం, ఆడిట్‌లు లేదా విశ్వసనీయమైన జనరేటివ్ AI భవిష్యత్తు గురించి చర్చించాలనే ఆసక్తి మీకు ఉంటే, దయచేసి సంప్రదించండి. చదివినందుకు ధన్యవాదాలు!