Waarheidsgetrouwe AI met PAX

Achtergrond

PAX (Proactive Agent for eXemplary Trustworthiness) begon als een grote koerswijziging vanuit mijn eerdere project, TARS, dat zich richtte op autonome cybersecurity penetration testing. Terwijl ik TARS ontwikkelde, werd duidelijk dat een van de grootste barrières voor praktische, betrouwbare AI-agenten niet alleen taakautomatisering was, maar het vaststellen van de betrouwbaarheid van een door AI gegenereerde reactie. Vooral wanneer die outputs beslissingen in de echte wereld konden beïnvloeden die enorme gevolgen kunnen hebben.

In plaats van alleen cybersecurity penetration testing-taken te automatiseren met TARS, wilde ik een fundamenteel probleem aanpakken: Hoe weten we dat we kunnen vertrouwen op wat een LLM zegt?

TARS werd ontwikkeld als een MVP voor mijn eerste startup, Osgil, die ik mede oprichtte. Ons doel was om cybersecurity penetration testing te automatiseren met behulp van AI-agenten. TARS stelde ons in staat pre-seed-financiering veilig te stellen van de Forum Ventures-accelerator. Toen we echter defensie- en cybersecuritybedrijven benaderden, ontdekten we dat die organisaties AI-agenten niet vertrouwden om kritieke taken zoals penetration testing uit te voeren en te rapporteren. Ook wilden bijna al deze bedrijven vooral zaken doen met cybersecuritybedrijven om iemand anders de schuld te kunnen geven als het misging. In feite gaven de besluitvormers bij deze bedrijven om hun beveiliging pas als het moest, en als dat zo was, hoorde daar als onderdeel van hun criteria bij dat er iemand anders de schuld kon krijgen als er iets misging, als een vorm van verzekering. Eind 2024 vormen geautomatiseerde AI-gestuurde cyberaanvallen nog steeds geen grote zorg, dus zagen besluitvormers geen echte behoefte aan onze oplossing. Door dit gebrek aan marktvraag verschoven we onze focus naar het verminderen van hallucinaties in LLM-modellen. Door de betrouwbaarheid van LLM’s te verbeteren, geloven we dat ons werk een breed scala aan toekomstige toepassingen voor AI-agenten kan ondersteunen, buiten cybersecurity.

Een knipoog naar Transformers-lore

De naam PAX is een verwijzing naar het Transformers-universum. Voordat het het iconische Optimus Prime werd, heette het personage oorspronkelijk Orion Pax. Dit idee van transformatie, van potentieel naar verantwoordelijkheid, inspireerde PAX’ missie om van rauwe, indrukwekkende LLM-capaciteit naar iets te gaan dat betrouwbaar genoeg is om werkelijk op te kunnen vertrouwen.

Projectvisie

PAX is een onderzoeksagent en framework dat systematisch:

  • De betrouwbaarheid van elke LLM-reactie meet.
  • Hallucinaties en onbewezen beweringen vermindert.
  • Bronvermelding naar verifieerbare bronnen afdwingt en bijhoudt.
  • Verklaarbare, gestructureerde rapporten biedt die zowel reacties als claims scoren.

Het doel van dit project is om LLM’s niet alleen plausibel te maken, maar aantoonbaar betrouwbaar, met transparante maatstaven voor risico en vertrouwen.

Snelle en basisdemo

Overzicht van hoe PAX werkt

1. Afgedwongen bronvermelding

Voor elke gebruikersvraag stuurt PAX de prompt via een agent die strikt onderscheid maakt tussen algemene kennis en informatie die validatie nodig heeft. Wanneer de reactie feiten of beweringen bevat die niet algemeen als algemene kennis worden beschouwd (zoals statistieken, recente gebeurtenissen, enz.), zorgt PAX ervoor dat de agent betrouwbare, actuele externe bronnen ophaalt en raadpleegt.

Pseudo-proces:

  • Als een bewering geen algemene kennis is → externe zoek-API’s uitvoeren
  • Resultaten verzamelen, elke belangrijke uitspraak koppelen aan relevante referenties
  • Gestructureerde placeholders invoegen in de reactie (niet gewoon URL’s of ruwe voetnoten)

2. Probabilistische vertrouwensscore

PAX vertrouwt niet alleen op menselijke intuïtie. Het meet hoe “zeker” het taalmodel was bij het genereren van elk deel van zijn antwoord, door de interne waarschijnlijkheden te analyseren die tijdens tekstgeneratie worden gebruikt. Hierdoor kan het systeem een numerieke vertrouwensscore toekennen aan elke zin, en aan het antwoord als geheel. Gebieden met lage zekerheid kunnen daardoor automatisch worden gemarkeerd.

Pseudo-proces:

  • Voor elk respons-token/-woord de waarschijnlijkheid van het model voor die keuze ophalen
  • Over zinnen heen aggregeren
  • Scores voor vertrouwen/betrouwbaarheid per zin en als geheel produceren

3. Geobserveerde consistentie

In plaats van één antwoord te accepteren, stelt PAX dezelfde vraag meerdere keren aan de LLM, waarbij embeddings (vectorrepresentaties van betekenis) worden gebruikt om overeenstemming en consistentie tussen plausibele reacties te meten.

  • Hoge overeenstemming suggereert dat het antwoord robuust/stabiel is
  • Sterk uiteenlopende reacties zijn waarschuwingssignalen: mogelijk risico of ambiguïteit

Pseudo-proces:

  • Stuur de vraag meerdere keren naar de LLM; verzamel reacties
  • Bereken semantische overeenstemmingsscores tussen outputs
  • Rapporteer een “consistentiescore” voor de gebruiker

4. Zelfbeoordeling

PAX vraagt optioneel een andere LLM (of ensemble) om de volledige interactie, citaties en waarschijnlijkheidsscores te beoordelen, en zijn eigen eindoordeel te geven, zowel als een getal (0-1) als een narratieve uitleg. Dit voegt een meta-laag van zelfreflectie toe.

Pseudo-proces:

  • Voer conversatie/rapport aan een beoordelingsagent (ander model)
  • Agent bekritiseert feitelijkheid, samenhang, integriteit van citaties en vertrouwen
  • Geeft een uiteindelijke vertrouwensscore met uitleg voor auditbaarheid

Interactiestroom

De interactiestroom van PAX verloopt als volgt:

  • Gebruiker stuurt een prompt.
  • PAX-agent verwerkt de prompt, raadpleegt waar nodig externe API’s en bouwt een reactie op met gestructureerde bronvermeldingen.
  • Het systeem:
    • Kent per verklaring vertrouwens-/zekerheidsscores toe
    • Registreert welke delen worden ondersteund door welk bewijs
    • Genereert optioneel een zelfreflectieve samenvatting en vertrouwensscore

Het resultaat is een zeer transparant antwoord met een numerieke score en gekoppelde referenties, samen met een controleerbaar record van alle ondersteunende data.

Inspiratie

De methoden die zijn gebruikt om PAX te laten werken waren sterk geïnspireerd door het werk van CleanLabs. Met name hun scoringsalgoritme/methode zoals uiteengezet HIER. Binnen deze algoritme/methode wordt het volgende gebruikt:

  1. Zelfreflectie: Dit is een proces waarbij aan de LLM expliciet wordt gevraagd om de reactie te beoordelen en expliciet aan te geven hoe zelfverzekerd goed deze reactie lijkt te zijn.

  2. Probabilistische voorspelling: Dit is “een proces waarbij we kijken naar de per-token waarschijnlijkheden die door een LLM worden toegekend terwijl het een reactie genereert op basis van de aanvraag (auto-regressief token voor token)”.

  3. Geobserveerde consistentie: Deze scoring is een proces waarbij de LLM probabilistisch meerdere plausibele reacties genereert waarvan het denkt dat die goed kunnen zijn, en we meten hoe tegenstrijdig deze reacties onderling zijn (of met een gegeven reactie).

Waarom is dit belangrijk?

Traditionele LLM-implementaties kunnen feiten hallucineren of verouderde/geloofwaardige maar onjuiste informatie geven. Voor missiekritieke toepassingen zoals onderzoek, gezondheidszorg, juridisch advies en technisch advies is niet-verifieerbare AI simpelweg niet goed genoeg.

PAX heeft als doel om vertrouwen in AI meetbaar en verklaarbaar te maken. De aanpak:

  • Vereist bewijs van het type “laat je werk zien” voor niet-triviale beweringen.
  • Kwantificeert hoeveel vertrouwen aan elke output moet worden toegekend.
  • Stelt gebruikers in staat te auditeren en te begrijpen waarom een antwoord wel of niet vertrouwd moet worden.

Onderzoeksstatus en volgende stappen

PAX is momenteel in actieve ontwikkeling als een privaat onderzoeksproject onder de paraplu van Osgil. Belangrijke aandachtspunten zijn onder meer:

  • Verlaging van de latentie van externe zoekopdrachten en scoring.
  • Experimenteren met gebruikersperceptie versus geautomatiseerde vertrouwensscores.
  • Bouwen van domeinspecifieke plugins voor wetenschap, nieuws en regelgevende toepassingen.
  • Voorbereiden van benchmarkdatasets voor open onderzoek en mogelijke publicatie.

Slotwoorden

PAX gaat over het transformeren van LLM’s van “waarschijnlijke black-box-generatoren” naar transparante, citeerbare en numeriek betrouwbare assistenten, wat cruciaal is voor echte, risicovolle taken. Als je geïnteresseerd bent in samenwerking, audits, of de toekomst van betrouwbare generatieve AI wilt bespreken, neem dan gerust contact op. Dank je wel voor het lezen!