Godna zaufania AI z PAX

Tło

PAX (Proactive Agent for eXemplary Trustworthiness) rozpoczął swoje życie jako duży zwrot od mojego wcześniejszego projektu, TARS, który koncentrował się na autonomicznym testowaniu penetracyjnym cyberbezpieczeństwa. Gdy rozwijałem TARS, stało się jasne, że jedną z największych barier dla praktycznych, niezawodnych agentów AI nie jest wyłącznie automatyzacja zadań, lecz ustanowienie wiarygodności odpowiedzi wygenerowanej przez AI. Zwłaszcza wtedy, gdy te wyniki mogą wpływać na decyzje w świecie rzeczywistym, które mogą mieć ogromne konsekwencje.

Zamiast po prostu automatyzować zadania testowania penetracyjnego cyberbezpieczeństwa za pomocą TARS, chciałem rozwiązać fundamentalny problem: Skąd wiemy, że możemy ufać temu, co mówi LLM?

TARS został opracowany jako MVP dla mojego pierwszego startupu, Osgil, którego współzałożyłem. Naszym celem było zautomatyzowanie testów penetracyjnych cyberbezpieczeństwa przy użyciu agentów AI. TARS umożliwił nam pozyskanie finansowania pre-seed z akceleratora Forum Ventures. Jednak gdy zwróciliśmy się do firm z branży obronności i cyberbezpieczeństwa, odkryliśmy, że te organizacje nie ufały agentom AI na tyle, aby wykonywały i raportowały krytyczne zadania, takie jak testy penetracyjne. Ponadto prawie wszystkie z nich chciały przede wszystkim prowadzić interesy z firmami cyberbezpieczeństwa, aby mieć kozła ofiarnego na wypadek, gdyby coś poszło nie tak. Zasadniczo decydenci w tych firmach nie dbali o swoje bezpieczeństwo, chyba że musieli, a gdy już musieli, jednym z ich kryteriów było posiadanie kozła ofiarnego na wypadek, gdyby coś poszło nie tak, jako formy ubezpieczenia. Pod koniec 2024 roku zautomatyzowane ataki cybernetyczne zasilane przez AI wciąż nie stanowią dużego zagrożenia, więc decydenci nie widzieli realnej potrzeby dla naszego rozwiązania. Z powodu tego braku popytu rynkowego zmieniliśmy kierunek na skupienie się na redukcji halucynacji w modelach LLM. Poprzez poprawę niezawodności LLM wierzymy, że nasza praca może przynieść korzyści szerokiemu zakresowi przyszłych zastosowań agentów AI poza cyberbezpieczeństwem.

Nawiązanie do tradycji Transformers

Nazwa PAX jest ukłonem w stronę uniwersum Transformers. Zanim stał się ikonicznym Optimusem Prime, pierwotne imię tej postaci brzmiało Orion Pax. Ta idea transformacji, od możliwości do odpowiedzialności, zainspirowała misję PAX polegającą na przejściu od surowej, imponującej zdolności LLM do czegoś na tyle wiarygodnego, by można było naprawdę na tym polegać.

Wizja projektu

PAX to agent badawczy i framework, który systematycznie:

  • Mierzy wiarygodność dowolnej odpowiedzi LLM.
  • Redukuje halucynacje i niepoparte stwierdzenia.
  • Wymusza i śledzi przypisanie do weryfikowalnych źródeł.
  • Dostarcza wyjaśnialne, uporządkowane raporty oceniające zarówno odpowiedzi, jak i twierdzenia.

Celem tego projektu jest sprawienie, by LLM były nie tylko prawdopodobne, ale udowadnialnie wiarygodne, z przejrzystymi miarami ryzyka i pewności.

Szybkie i podstawowe demo

Przegląd działania PAX

1. Wymuszone przypisywanie źródeł

Dla każdego zapytania użytkownika PAX przekierowuje prompt przez agenta, który ściśle rozróżnia między wiedzą powszechną a informacjami wymagającymi weryfikacji. Gdy odpowiedź zawiera fakty lub twierdzenia, które nie są powszechnie uznawane za wiedzę ogólną (takie jak statystyki, niedawne wydarzenia itd.), PAX zapewnia, że agent pobiera i przywołuje zaufane, aktualne źródła zewnętrzne.

Pseudo-proces:

  • Jeśli twierdzenie nie jest wiedzą powszechną → uruchom zewnętrzne API wyszukiwania
  • Zbierz wyniki, przypisz każde ważne stwierdzenie do odpowiednich odniesień
  • Wstaw ustrukturyzowane placeholdery w odpowiedzi (nie zwykłe URL-e ani surowe przypisy)

2. Probabilistyczna punktacja pewności

PAX nie polega wyłącznie na ludzkiej intuicji. Mierzy, jak „pewny” był model językowy podczas generowania każdej części odpowiedzi, analizując wewnętrzne prawdopodobieństwa używane podczas generowania tekstu. Dzięki temu system może przypisać numeryczny wynik zaufania do każdego zdania oraz do całej odpowiedzi. Obszary o niskiej pewności mogą być więc automatycznie oznaczane.

Pseudo-proces:

  • Dla każdego tokenu/słowa odpowiedzi pobierz prawdopodobieństwo modelu dla tego wyboru
  • Zagreguj to w obrębie zdań
  • Wygeneruj wyniki zaufania/wiarygodności dla poszczególnych zdań oraz ogólny wynik

3. Obserwowana spójność

Zamiast akceptować jedną odpowiedź, PAX zadaje LLM to samo pytanie wielokrotnie, używając embeddingów (wektorowych reprezentacji znaczenia) do pomiaru zgodności i spójności między prawdopodobnymi odpowiedziami.

  • Wysoka zgodność sugeruje, że odpowiedź jest solidna/stabilna
  • Znacznie różniące się odpowiedzi są sygnałem ostrzegawczym: możliwe ryzyko lub niejednoznaczność

Pseudo-proces:

  • Wyślij pytanie do LLM wielokrotnie; zbierz odpowiedzi
  • Oblicz wyniki podobieństwa semantycznego między wyjściami
  • Przedstaw użytkownikowi „wynik spójności”

4. Samoocena

PAX opcjonalnie prosi inny LLM (lub zespół modeli) o przejrzenie całej interakcji, cytowań i wyników prawdopodobieństwa oraz o wydanie własnego ostatecznego werdyktu, zarówno jako liczby (0–1), jak i narracyjnego wyjaśnienia. Dodaje to warstwę meta-samoanalizy.

Pseudo-proces:

  • Przekaż rozmowę/raport do agenta oceniającego (innego modelu)
  • Agent krytykuje zgodność z faktami, spójność, integralność cytowań i pewność
  • Wynikiem jest końcowy wynik zaufania wraz z wyjaśnieniem dla celów audytowych

Przebieg interakcji

Przebieg interakcji w PAX wygląda następująco:

  • Użytkownik wysyła prompt.
  • Agent PAX przetwarza prompt, w razie potrzeby konsultuje zewnętrzne API i buduje odpowiedź z ustrukturyzowanymi przypisaniami źródeł.
  • System:
    • Przypisuje wyniki zaufania/pewności dla poszczególnych stwierdzeń
    • Rejestruje, które części są wspierane przez jakie dowody
    • Opcjonalnie generuje samo-refleksyjne podsumowanie i wynik zaufania

Rezultatem jest wysoce przejrzysta odpowiedź z numerycznym wynikiem i powiązanymi odnośnikami, wraz z audytowalnym zapisem wszystkich danych wspierających.

Inspiracja

Metody użyte do działania PAX były w dużej mierze inspirowane pracami wykonanymi przez CleanLabs. Szczególnie ich algorytmem/metodą punktacji, opisaną TUTAJ. W ramach tego algorytmu/metody wykorzystywane są następujące elementy:

  1. Samo-refleksja: Jest to proces, w którym LLM jest proszony o wyraźne ocenienie odpowiedzi i wyraźne określenie, jak bardzo pewnie dobra wydaje się ta odpowiedź.

  2. Predykcja probabilistyczna: Jest to „proces, w którym bierzemy pod uwagę prawdopodobieństwa przypisane do poszczególnych tokenów przez LLM podczas generowania odpowiedzi na podstawie zapytania (autoregresyjnie, token po tokenie)”.

  3. Obserwowana spójność: Ta punktacja jest procesem, w którym LLM probabilistycznie generuje wiele prawdopodobnych odpowiedzi, które jego zdaniem mogą być dobre, a my mierzymy, jak bardzo sprzeczne są one ze sobą nawzajem (lub z daną odpowiedzią).

Dlaczego to ma znaczenie?

Tradycyjne wdrożenia LLM mogą halucynować fakty lub podawać nieaktualne, lecz brzmiące wiarygodnie, ale fałszywe informacje. W zastosowaniach o krytycznym znaczeniu, takich jak badania, opieka zdrowotna, prawo i porady techniczne, nieweryfikowalne AI po prostu nie są wystarczająco dobre.

PAX ma na celu uczynienie zaufania do AI mierzalnym i wyjaśnialnym. Jego podejście:

  • Wymaga dowodów typu „pokaż swoją pracę” dla nietrywialnych twierdzeń.
  • Kwantyfikuje, ile pewności należy przypisać każdemu wynikowi.
  • Pozwala użytkownikom audytować i rozumieć, dlaczego odpowiedzi należy ufać lub nie należy jej ufać.

Status badań i następne kroki

PAX jest obecnie w aktywnym rozwoju jako prywatny projekt badawczy pod egidą Osgil. Kluczowe obszary skupienia obejmują:

  • Zmniejszanie opóźnień wyszukiwania zewnętrznego i punktacji.
  • Eksperymentowanie z percepcją użytkownika a automatycznymi wynikami zaufania.
  • Budowanie wtyczek specyficznych dla domen nauki, wiadomości i zastosowań regulacyjnych.
  • Przygotowywanie zbiorów danych benchmarkowych do otwartych badań i ewentualnego udostępnienia.

Ostatnie słowa

PAX chodzi o przekształcenie LLM z „prawdopodobnych generatorów czarnej skrzynki” w przejrzystych, cytowalnych i numerycznie godnych zaufania asystentów, co ma kluczowe znaczenie dla rzeczywistych, obarczonych wysoką stawką zadań. Jeśli interesuje Cię współpraca, audyty albo chcesz porozmawiać o przyszłości godnej zaufania generatywnej AI, skontaktuj się proszę. Dziękuję za przeczytanie!