ปัญญาประดิษฐ์ที่น่าเชื่อถือด้วย PAX

ภูมิหลัง

PAX (Proactive Agent for eXemplary Trustworthiness หรือเอเจนต์เชิงรุกเพื่อความน่าเชื่อถืออันเป็นแบบอย่าง) เริ่มต้นขึ้นจากการเปลี่ยนทิศทางครั้งใหญ่จากโครงการก่อนหน้าของฉัน TARS ซึ่งมุ่งเป้าหมายไปที่การทดสอบเจาะระบบความมั่นคงปลอดภัยทางไซเบอร์โดยอัตโนมัติ ขณะที่ฉันกำลังพัฒนา TARS ก็เห็นได้ชัดว่าอุปสรรคที่ใหญ่ที่สุดประการหนึ่งต่อการสร้างเอเจนต์ AI ที่ใช้งานได้จริงและเชื่อถือได้ ไม่ใช่เพียงการทำงานให้เป็นอัตโนมัติเท่านั้น แต่ยังรวมถึง การสร้างความน่าเชื่อถือให้กับคำตอบที่สร้างโดย AI โดยเฉพาะเมื่อผลลัพธ์เหล่านั้นอาจส่งผลต่อการตัดสินใจในโลกจริง ซึ่งอาจมีผลกระทบอย่างมหาศาล

แทนที่จะทำให้เฉพาะงานทดสอบเจาะระบบความมั่นคงปลอดภัยทางไซเบอร์เป็นอัตโนมัติด้วย TARS ฉันต้องการแก้ไขปัญหาพื้นฐานประการหนึ่ง: เราจะรู้ได้อย่างไรว่าเราสามารถเชื่อถือสิ่งที่ LLM พูดได้?

TARS ได้รับการพัฒนาในฐานะ MVP สำหรับสตาร์ตอัปแห่งแรกของฉัน Osgil ซึ่งฉันเป็นผู้ร่วมก่อตั้ง เป้าหมายของเราคือการทำให้การทดสอบเจาะระบบความมั่นคงปลอดภัยทางไซเบอร์เป็นอัตโนมัติโดยใช้เอเจนต์ AI TARS ช่วยให้เราได้รับเงินทุนระยะก่อนเมล็ดพันธุ์จากตัวเร่งการลงทุน Forum Ventures อย่างไรก็ตาม เมื่อเราเข้าพบบริษัทด้านกลาโหมและความมั่นคงปลอดภัยทางไซเบอร์ เราพบว่าองค์กรเหล่านั้นไม่ไว้วางใจให้เอเจนต์ AI ดำเนินการและรายงานงานสำคัญ เช่น การทดสอบเจาะระบบ นอกจากนี้ เกือบทั้งหมดต้องการทำธุรกิจกับบริษัทด้านความมั่นคงปลอดภัยทางไซเบอร์เป็นหลัก เพื่อให้มีผู้รับผิดแทนในกรณีที่เกิดเรื่องผิดพลาด โดยพื้นฐานแล้ว ผู้มีอำนาจตัดสินใจในบริษัทเหล่านี้ไม่ได้ใส่ใจเรื่องความปลอดภัยของตนเอง เว้นแต่จะหลีกเลี่ยงไม่ได้ และเมื่อพวกเขาใส่ใจ หนึ่งในเกณฑ์ของพวกเขาก็คือการมีผู้รับผิดแทนในกรณีที่เกิดข้อผิดพลาด เพื่อเป็นรูปแบบหนึ่งของการประกันภัย ณ ช่วงปลายปี 2024 การโจมตีทางไซเบอร์ที่ขับเคลื่อนด้วย AI โดยอัตโนมัติยังไม่ใช่ข้อกังวลสำคัญ ดังนั้นผู้มีอำนาจตัดสินใจจึงไม่เห็นความจำเป็นที่แท้จริงสำหรับโซลูชันของเรา เนื่องจากขาดความต้องการของตลาด เราจึงเปลี่ยนทิศทางมาให้ความสำคัญกับการลดภาพหลอนในโมเดล LLM ด้วยการปรับปรุงความน่าเชื่อถือของ LLM เราเชื่อว่างานของเราจะเป็นประโยชน์ต่อการประยุกต์ใช้เอเจนต์ AI ในอนาคตได้หลากหลายรูปแบบ นอกเหนือจากความมั่นคงปลอดภัยทางไซเบอร์

แรงผลักดันจากตำนาน Transformers

ชื่อ PAX เป็นการพาดพิงถึงจักรวาล Transformers ก่อนที่จะกลายเป็น Optimus Prime อันโด่งดัง ชื่อดั้งเดิมของตัวละครนี้คือ Orion Pax แนวคิดเรื่องการเปลี่ยนแปลงจากศักยภาพไปสู่ความรับผิดชอบนี้เป็นแรงบันดาลใจให้ภารกิจของ PAX ในการเปลี่ยนจากความสามารถดิบอันน่าประทับใจของ LLM ไปสู่สิ่งที่น่าเชื่อถือมากพอที่จะพึ่งพาได้อย่างแท้จริง

วิสัยทัศน์ของโครงการ

PAX คือเอเจนต์และเฟรมเวิร์กเพื่อการวิจัยที่ดำเนินการอย่างเป็นระบบดังนี้:

• วัดความน่าเชื่อถือของคำตอบจาก LLM ใด ๆ
• ลดภาพหลอนและข้อความที่ไม่มีหลักฐานสนับสนุน
• บังคับใช้และติดตามการระบุแหล่งที่มาที่ตรวจสอบได้
• จัดทำรายงานที่อธิบายได้และมีโครงสร้าง โดยให้คะแนนทั้งคำตอบและข้อกล่าวอ้าง

เป้าหมายของโครงการนี้คือการทำให้ LLM ไม่เพียงดูสมเหตุสมผล แต่ยัง พิสูจน์ได้ว่า น่าเชื่อถือ พร้อมมาตรวัดความเสี่ยงและความมั่นใจที่โปร่งใส

การสาธิตอย่างรวดเร็วและพื้นฐาน

ภาพรวมวิธีการทำงานของ PAX

1. การระบุแหล่งที่มาที่บังคับใช้

สำหรับคำถามของผู้ใช้ทุกคำถาม PAX จะส่งพรอมต์ผ่านเอเจนต์ที่แยกแยะอย่างเคร่งครัดระหว่างความรู้ทั่วไปกับข้อมูลที่จำเป็นต้องตรวจสอบ เมื่อคำตอบมีข้อเท็จจริงหรือข้อกล่าวอ้างที่ไม่ได้รับการยอมรับอย่างกว้างขวางว่าเป็นความรู้ทั่วไป เช่น สถิติ เหตุการณ์ล่าสุด เป็นต้น PAX จะทำให้แน่ใจว่าเอเจนต์เรียกใช้และอ้างอิงแหล่งข้อมูลภายนอกที่เชื่อถือได้และเป็นปัจจุบัน

กระบวนการเทียม:

• หากข้อกล่าวอ้างไม่ใช่ความรู้ทั่วไป → เรียกใช้ API การค้นหาภายนอก
• รวบรวมผลลัพธ์ จับคู่ข้อความสำคัญทุกข้อความกับเอกสารอ้างอิงที่เกี่ยวข้อง
• แทรกตัวแทนตำแหน่งที่มีโครงสร้างลงในคำตอบ (ไม่ใช่ URL ธรรมดาหรือเชิงอรรถดิบ)

2. การให้คะแนนความมั่นใจเชิงความน่าจะเป็น

PAX ไม่ได้พึ่งพาเพียงสัญชาตญาณของมนุษย์ แต่จะวัดว่าโมเดลภาษามี “ความมั่นใจ” เพียงใดในการสร้างคำตอบแต่ละส่วน โดยวิเคราะห์ความน่าจะเป็นภายในที่ใช้ระหว่างการสร้างข้อความ วิธีนี้ช่วยให้ระบบกำหนด คะแนนความน่าเชื่อถือเชิงตัวเลข ให้กับแต่ละประโยคและคำตอบโดยรวมได้ ดังนั้นจึงสามารถทำเครื่องหมายส่วนที่มีความมั่นใจต่ำได้โดยอัตโนมัติ

กระบวนการเทียม:

• สำหรับโทเค็น/คำแต่ละรายการในคำตอบ ดึงค่าความน่าจะเป็นของโมเดลสำหรับตัวเลือกนั้น
• รวมค่าข้ามประโยค
• สร้างคะแนนความไว้วางใจ/ความน่าเชื่อถือรายประโยคและโดยรวม

3. ความสอดคล้องที่สังเกตได้

แทนที่จะยอมรับคำตอบเพียงคำตอบเดียว PAX จะถามคำถามเดียวกันกับ LLM หลายครั้ง โดยใช้การฝังเวกเตอร์ (ตัวแทนความหมายในรูปแบบเวกเตอร์) เพื่อวัดความเห็นพ้องและความสอดคล้องระหว่างคำตอบที่เป็นไปได้

• ความเห็นพ้องในระดับสูงบ่งชี้ว่าคำตอบมีความแข็งแกร่ง/เสถียร
• คำตอบที่แตกต่างกันอย่างมากเป็นสัญญาณเตือน: อาจมีความเสี่ยงหรือความกำกวม

กระบวนการเทียม:

• ส่งคำถามไปยัง LLM หลายครั้ง รวบรวมคำตอบ
• คำนวณคะแนนความคล้ายคลึงเชิงความหมายระหว่างผลลัพธ์
• รายงาน “คะแนนความสอดคล้อง” ให้ผู้ใช้

4. การประเมินตนเอง

PAX จะขอให้ LLM อีกตัวหนึ่ง (หรือกลุ่มโมเดล) ตรวจสอบปฏิสัมพันธ์ทั้งหมด การอ้างอิง และคะแนนความน่าจะเป็นตามตัวเลือก จากนั้นให้คำตัดสินขั้นสุดท้ายของตนเอง ทั้งในรูปแบบตัวเลข (0-1) และคำอธิบายเชิงบรรยาย วิธีนี้จะเพิ่มชั้นเมตาสำหรับการสะท้อนตนเอง

กระบวนการเทียม:

• ป้อนบทสนทนา/รายงานให้เอเจนต์ประเมิน (โมเดลอื่น)
• เอเจนต์วิจารณ์ความเป็นข้อเท็จจริง ความสอดคล้อง ความสมบูรณ์ของการอ้างอิง และความมั่นใจ
• ส่งออกคะแนนความไว้วางใจขั้นสุดท้ายพร้อมคำอธิบายเพื่อให้ตรวจสอบได้

ลำดับการโต้ตอบ

ลำดับการโต้ตอบของ PAX มีดังนี้:

• ผู้ใช้ส่งพรอมต์
• เอเจนต์ PAX ประมวลผลพรอมต์ ปรึกษา API ภายนอกตามความจำเป็น และสร้างคำตอบพร้อมการระบุแหล่งที่มาอย่างมีโครงสร้าง
• ระบบ:
  • กำหนดคะแนนความไว้วางใจ/ความมั่นใจให้กับข้อความแต่ละข้อความ
  • บันทึกว่าส่วนใดได้รับการสนับสนุนจากหลักฐานใด
  • เลือกสร้างบทสรุปแบบสะท้อนตนเองและคะแนนความไว้วางใจ

ผลลัพธ์คือคำตอบที่โปร่งใสอย่างยิ่ง พร้อมคะแนนเชิงตัวเลขและเอกสารอ้างอิงที่เชื่อมโยงกัน ตลอดจนบันทึกข้อมูลสนับสนุนทั้งหมดที่สามารถตรวจสอบได้

แรงบันดาลใจ

วิธีการที่ใช้ทำให้ PAX ทำงานได้รับแรงบันดาลใจอย่างมากจากผลงานของ CleanLabs โดยเฉพาะอัลกอริทึม/วิธีการให้คะแนนของพวกเขา ดังที่อธิบายไว้อย่างละเอียด ที่นี่ ภายในอัลกอริทึม/วิธีการนี้ มีการใช้สิ่งต่อไปนี้:

1. การสะท้อนตนเอง: นี่คือกระบวนการที่ขอให้ LLM ให้คะแนนคำตอบอย่างชัดเจน และระบุอย่างชัดเจนว่าคำตอบนี้ดูดีเพียงใดด้วยความมั่นใจระดับใด

2. การพยากรณ์เชิงความน่าจะเป็น: นี่คือ “กระบวนการที่เราพิจารณาความน่าจะเป็นรายโทเค็นซึ่งกำหนดโดย LLM ขณะที่โมเดลดังกล่าวสร้างคำตอบตามคำขอ (แบบถดถอยอัตโนมัติ ทีละโทเค็น)”

3. ความสอดคล้องที่สังเกตได้: การให้คะแนนนี้คือกระบวนการที่ LLM สร้างคำตอบที่เป็นไปได้หลายคำตอบตามความน่าจะเป็น ซึ่งคิดว่าอาจเป็นคำตอบที่ดี และเราวัดว่าคำตอบเหล่านี้ขัดแย้งกันเอง (หรือขัดแย้งกับคำตอบที่กำหนด) มากเพียงใด

เหตุใดสิ่งนี้จึงสำคัญ?

การนำ LLM ไปใช้งานแบบดั้งเดิมอาจสร้างภาพหลอนเกี่ยวกับข้อเท็จจริง หรือให้ข้อมูลที่ล้าสมัย/ดูน่าเชื่อถือแต่เป็นเท็จ สำหรับการใช้งานที่มีความสำคัญต่อภารกิจ เช่น การวิจัย การดูแลสุขภาพ คำแนะนำทางกฎหมาย และคำแนะนำทางเทคนิค AI ที่ไม่สามารถตรวจสอบได้ย่อมไม่ดีพอ

PAX มุ่งทำให้ ความไว้วางใจ ใน AI สามารถวัดและอธิบายได้ แนวทางของ PAX:

• ต้องการหลักฐานแบบ “แสดงวิธีทำงานของคุณ” สำหรับข้อกล่าวอ้างที่ไม่ใช่เรื่องเล็กน้อย
• แปลงระดับความมั่นใจที่ควรมีต่อผลลัพธ์ทุกอย่างให้เป็นตัวเลข
• ช่วยให้ผู้ใช้ตรวจสอบและเข้าใจว่าเหตุใดจึงควร (หรือไม่ควร) เชื่อถือคำตอบ

สถานะการวิจัยและขั้นตอนถัดไป

ปัจจุบัน PAX อยู่ระหว่าง การพัฒนาอย่างต่อเนื่อง ในฐานะโครงการวิจัยส่วนตัวภายใต้การดูแลของ Osgil ประเด็นสำคัญ ได้แก่:

• ลดเวลาแฝงของการค้นหาภายนอกและการให้คะแนน
• ทดลองเปรียบเทียบคะแนนความไว้วางใจจากการรับรู้ของผู้ใช้กับคะแนนความไว้วางใจอัตโนมัติ
• สร้างปลั๊กอินเฉพาะด้านสำหรับการใช้งานด้านวิทยาศาสตร์ ข่าวสาร และกฎระเบียบ
• เตรียมชุดข้อมูลมาตรฐานสำหรับการวิจัยแบบเปิดและการเผยแพร่ที่อาจเกิดขึ้น

คำกล่าวส่งท้าย

PAX มุ่งเปลี่ยน LLM จาก “ตัวสร้างคำตอบที่ดูสมเหตุสมผลแบบกล่องดำ” ให้กลายเป็น ผู้ช่วยที่โปร่งใส อ้างอิงแหล่งที่มาได้ และเชื่อถือได้ในเชิงตัวเลข ซึ่งเป็นสิ่งสำคัญสำหรับงานในโลกจริงที่มีเดิมพันสูง หากคุณสนใจการทำงานร่วมกัน การตรวจสอบ หรือการพูดคุยเกี่ยวกับอนาคตของ AI เชิงสร้างสรรค์ที่น่าเชื่อถือ โปรดติดต่อมา ขอบคุณที่อ่าน!