PAX ਨਾਲ ਭਰੋਸੇਯੋਗ ਏਆਈ

ਪਿਛੋਕੜ

PAX (Proactive Agent for eXemplary Trustworthiness) ਦੀ ਸ਼ੁਰੂਆਤ ਮੇਰੇ ਪਹਿਲਾਂ ਦੇ ਪ੍ਰੋਜੈਕਟ, TARS, ਤੋਂ ਇੱਕ ਵੱਡੇ ਮੋੜ ਵਜੋਂ ਹੋਈ ਸੀ, ਜੋ ਸਵੈਚਾਲਿਤ ਸਾਈਬਰਸੁਰੱਖਿਆ ਪੈਨੇਟ੍ਰੇਸ਼ਨ ਟੈਸਟਿੰਗ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦਾ ਸੀ। ਜਦੋਂ ਮੈਂ TARS ਵਿਕਸਤ ਕਰ ਰਿਹਾ ਸੀ, ਇਹ ਸਪਸ਼ਟ ਹੋ ਗਿਆ ਕਿ ਪ੍ਰਯੋਗਿਕ, ਭਰੋਸੇਯੋਗ ਏਆਈ ਏਜੰਟਾਂ ਲਈ ਸਭ ਤੋਂ ਵੱਡੀਆਂ ਰੁਕਾਵਟਾਂ ਵਿੱਚੋਂ ਇੱਕ ਸਿਰਫ਼ ਕੰਮ ਦੀ ਸਵੈਚਾਲਿਤਤਾ ਨਹੀਂ ਸੀ, ਬਲਕਿ ਏਆਈ-ਜਨਰੇਟ ਕੀਤੇ ਜਵਾਬ ਦੀ ਭਰੋਸੇਯੋਗਤਾ ਸਥਾਪਤ ਕਰਨਾ ਸੀ। ਖ਼ਾਸ ਕਰਕੇ ਜਦੋਂ ਉਹ ਨਤੀਜੇ ਹਕੀਕਤੀ ਦੁਨੀਆ ਦੇ ਫ਼ੈਸਲਿਆਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦੇ ਸਨ ਜਿਨ੍ਹਾਂ ਦੇ ਭਾਰੀ ਨਤੀਜੇ ਹੋ ਸਕਦੇ ਹਨ।

TARS ਨਾਲ ਸਿਰਫ਼ ਸਾਈਬਰਸੁਰੱਖਿਆ ਪੈਨੇਟ੍ਰੇਸ਼ਨ ਟੈਸਟਿੰਗ ਦੇ ਕੰਮਾਂ ਨੂੰ ਸਵੈਚਾਲਿਤ ਕਰਨ ਦੀ ਥਾਂ, ਮੈਂ ਇੱਕ ਮੂਲ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨਾ ਚਾਹੁੰਦਾ ਸੀ: ਅਸੀਂ ਕਿਵੇਂ ਜਾਣੀਏ ਕਿ ਅਸੀਂ LLM ਜੋ ਕੁਝ ਕਹਿੰਦਾ ਹੈ, ਉਸ ‘ਤੇ ਭਰੋਸਾ ਕਰ ਸਕਦੇ ਹਾਂ?

TARS ਮੇਰੇ ਪਹਿਲੇ ਸਟਾਰਟਅਪ, Osgil, ਲਈ ਇੱਕ MVP ਵਜੋਂ ਵਿਕਸਤ ਕੀਤਾ ਗਿਆ ਸੀ, ਜਿਸਦੀ ਮੈਂ ਸਹਿ-ਸਥਾਪਨਾ ਕੀਤੀ ਸੀ। ਸਾਡਾ ਲਕਸ਼ ਏਆਈ ਏਜੰਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਾਈਬਰਸੁਰੱਖਿਆ ਪੈਨੇਟ੍ਰੇਸ਼ਨ ਟੈਸਟਿੰਗ ਨੂੰ ਸਵੈਚਾਲਿਤ ਕਰਨਾ ਸੀ। TARS ਨੇ ਸਾਨੂੰ Forum Ventures ਐਕਸਲੇਰੇਟਰ ਤੋਂ ਪ੍ਰੀ-ਸੀਡ ਫੰਡਿੰਗ ਸੁਰੱਖਿਅਤ ਕਰਨ ਯੋਗ ਬਣਾਇਆ। ਹਾਲਾਂਕਿ, ਜਦੋਂ ਅਸੀਂ ਰੱਖਿਆ ਅਤੇ ਸਾਈਬਰਸੁਰੱਖਿਆ ਕੰਪਨੀਆਂ ਕੋਲ ਗਏ, ਅਸੀਂ ਪਾਇਆ ਕਿ ਉਹ ਸੰਸਥਾਵਾਂ ਏਆਈ ਏਜੰਟਾਂ ‘ਤੇ ਪੈਨੇਟ੍ਰੇਸ਼ਨ ਟੈਸਟਿੰਗ ਵਰਗੇ ਮਹੱਤਵਪੂਰਨ ਕੰਮ ਕਰਨ ਅਤੇ ਰਿਪੋਰਟ ਕਰਨ ਲਈ ਭਰੋਸਾ ਨਹੀਂ ਕਰਦੀਆਂ ਸਨ। ਨਾਲ ਹੀ, ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਲਗਭਗ ਸਾਰੇ ਮੁੱਖ ਤੌਰ ‘ਤੇ ਸਾਈਬਰਸੁਰੱਖਿਆ ਕੰਪਨੀਆਂ ਨਾਲ ਕਾਰੋਬਾਰ ਕਰਨਾ ਚਾਹੁੰਦੇ ਸਨ ਤਾਂ ਜੋ ਚੀਜ਼ਾਂ ਖਰਾਬ ਹੋਣ ਦੀ ਸੂਰਤ ਵਿੱਚ ਇੱਕ ਬਲੀ ਦਾ ਬੱਕਰਾ ਹੋਵੇ। ਮੂਲ ਰੂਪ ਵਿੱਚ, ਇਨ੍ਹਾਂ ਕੰਪਨੀਆਂ ਦੇ ਫ਼ੈਸਲਾ ਕਰਨ ਵਾਲਿਆਂ ਨੂੰ ਆਪਣੀ ਸੁਰੱਖਿਆ ਦੀ ਪਰਵਾਹ ਨਹੀਂ ਸੀ ਜਦੋਂ ਤੱਕ ਉਨ੍ਹਾਂ ਨੂੰ ਕਰਨੀ ਨਾ ਪਵੇ, ਅਤੇ ਜਦੋਂ ਉਹ ਕਰਦੇ ਵੀ ਸਨ, ਤਾਂ ਉਨ੍ਹਾਂ ਦੇ ਮਾਪਦੰਡਾਂ ਦਾ ਹਿੱਸਾ ਇਹ ਸੀ ਕਿ ਕੁਝ ਗਲਤ ਹੋਣ ਦੀ ਸੂਰਤ ਵਿੱਚ ਇੱਕ ਬਲੀ ਦਾ ਬੱਕਰਾ ਹੋਵੇ, ਬੀਮਾ ਦੇ ਇੱਕ ਰੂਪ ਵਜੋਂ। 2024 ਦੇ ਅਖੀਰ ਤੱਕ, ਸਵੈਚਾਲਿਤ ਏਆਈ-ਚਲਿਤ ਸਾਈਬਰ ਹਮਲੇ ਅਜੇ ਵੀ ਕੋਈ ਵੱਡੀ ਚਿੰਤਾ ਨਹੀਂ ਹਨ, ਇਸ ਲਈ ਫ਼ੈਸਲਾ ਕਰਨ ਵਾਲਿਆਂ ਨੂੰ ਸਾਡੇ ਹੱਲ ਦੀ ਅਸਲ ਲੋੜ ਨਹੀਂ ਦਿੱਖੀ। ਬਾਜ਼ਾਰ ਦੀ ਇਸ ਮੰਗ ਦੀ ਕਮੀ ਕਾਰਨ, ਅਸੀਂ ਧਿਆਨ LLM ਮਾਡਲਾਂ ਵਿੱਚ ਭਰਮਾਂ ਨੂੰ ਘਟਾਉਣ ‘ਤੇ ਕੇਂਦ੍ਰਿਤ ਕਰਨ ਵੱਲ ਮੋੜ ਲਿਆ। LLM ਦੀ ਭਰੋਸੇਯੋਗਤਾ ਨੂੰ ਸੁਧਾਰ ਕੇ, ਅਸੀਂ ਮੰਨਦੇ ਹਾਂ ਕਿ ਸਾਡਾ ਕੰਮ ਸਾਈਬਰਸੁਰੱਖਿਆ ਤੋਂ ਪਰੇ ਭਵਿੱਖ ਦੇ ਏਆਈ ਏਜੰਟਾਂ ਦੇ ਬਹੁਤ ਸਾਰੇ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਲਾਭਦਾਇਕ ਹੋ ਸਕਦਾ ਹੈ।

ਟ੍ਰਾਂਸਫਾਰਮਰਜ਼ ਦੀ ਕਥਾ ਤੋਂ ਇੱਕ ਸੰਕੇਤ

PAX ਨਾਮ Transformers ਬ੍ਰਹਿਮੰਡ ਵੱਲ ਇੱਕ ਸੰਕੇਤ ਹੈ। ਪ੍ਰਤੀਕਾਤਮਕ Optimus Prime ਬਣਨ ਤੋਂ ਪਹਿਲਾਂ, ਪਾਤਰ ਦਾ ਮੂਲ ਨਾਮ Orion Pax ਸੀ। ਬਦਲਾਅ ਦਾ ਇਹ ਵਿਚਾਰ, ਸੰਭਾਵਨਾ ਤੋਂ ਜ਼ਿੰਮੇਵਾਰੀ ਵੱਲ, PAX ਦੇ ਮਿਸ਼ਨ ਨੂੰ ਪ੍ਰੇਰਿਤ ਕਰਦਾ ਹੈ ਕਿ ਕੱਚੀ, ਪ੍ਰਭਾਵਸ਼ਾਲੀ LLM ਸਮਰੱਥਾ ਤੋਂ ਕੁਝ ਐਸਾ ਬਣਾਇਆ ਜਾਵੇ ਜੋ ਅਸਲ ਵਿੱਚ ਭਰੋਸੇਯੋਗ ਹੋਵੇ ਅਤੇ ਜਿਸ ‘ਤੇ ਸੱਚਮੁੱਚ ਨਿਰਭਰ ਕੀਤਾ ਜਾ ਸਕੇ।

ਪ੍ਰੋਜੈਕਟ ਦੀ ਦ੍ਰਿਸ਼ਟੀ

PAX ਇੱਕ ਖੋਜ ਏਜੰਟ ਅਤੇ ਫਰੇਮਵਰਕ ਹੈ ਜੋ ਪ੍ਰਣਾਲੀਬੱਧ ਢੰਗ ਨਾਲ:

• ਕਿਸੇ ਵੀ LLM ਜਵਾਬ ਦੀ ਭਰੋਸੇਯੋਗਤਾ ਮਾਪਦਾ ਹੈ।
• ਭਰਮਾਂ ਅਤੇ ਬਿਨਾਂ ਆਧਾਰ ਵਾਲੇ ਬਿਆਨਾਂ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ।
• ਪ੍ਰਮਾਣਿਤ ਸਰੋਤਾਂ ਨਾਲ ਹਵਾਲੇ ਨੂੰ ਲਾਜ਼ਮੀ ਬਣਾਉਂਦਾ ਹੈ ਅਤੇ ਉਸਦੀ ਟਰੈਕਿੰਗ ਕਰਦਾ ਹੈ।
• ਜਵਾਬਾਂ ਅਤੇ ਦਾਵਿਆਂ ਦੋਹਾਂ ਨੂੰ ਅੰਕ ਦੇਣ ਵਾਲੀਆਂ ਵਿਆਖਿਆਯੋਗ, ਸੰਰਚਿਤ ਰਿਪੋਰਟਾਂ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

ਇਸ ਪ੍ਰੋਜੈਕਟ ਦਾ ਮਕਸਦ LLM ਨੂੰ ਸਿਰਫ਼ ਸੰਭਵ ਜਿਹਾ ਨਹੀਂ, ਬਲਕਿ ਸਾਬਤ ਤੌਰ ‘ਤੇ ਭਰੋਸੇਯੋਗ ਬਣਾਉਣਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਜੋਖਮ ਅਤੇ ਭਰੋਸੇ ਦੇ ਪਾਰਦਰਸ਼ੀ ਮਾਪ ਸ਼ਾਮਲ ਹੋਣ।

ਤੁਰੰਤ ਅਤੇ ਬੁਨਿਆਦੀ ਡੈਮੋ

PAX ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ, ਇਸ ਦਾ ਸਰਵੇਖਣ

1. ਲਾਜ਼ਮੀ ਹਵਾਲਾ

ਕਿਸੇ ਵੀ ਉਪਭੋਗਤਾ ਪ੍ਰਸ਼ਨ ਲਈ, PAX ਪ੍ਰਾਂਪਟ ਨੂੰ ਇੱਕ ਏਜੰਟ ਰਾਹੀਂ ਰੂਟ ਕਰਦਾ ਹੈ ਜੋ ਆਮ ਗਿਆਨ ਅਤੇ ਪ੍ਰਮਾਣੀਕਰਨ ਦੀ ਲੋੜ ਵਾਲੀ ਜਾਣਕਾਰੀ ਵਿਚਕਾਰ ਸਖ਼ਤੀ ਨਾਲ ਫ਼ਰਕ ਕਰਦਾ ਹੈ। ਜਦੋਂ ਜਵਾਬ ਵਿੱਚ ਐਸੇ ਤੱਥ ਜਾਂ ਦਾਅਵੇ ਹੁੰਦੇ ਹਨ ਜੋ ਵਿਆਪਕ ਤੌਰ ‘ਤੇ ਆਮ ਗਿਆਨ ਨਹੀਂ ਮੰਨੇ ਜਾਂਦੇ (ਜਿਵੇਂ ਅੰਕੜੇ, ਹਾਲੀਆ ਘਟਨਾਵਾਂ ਆਦਿ), PAX ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਏਜੰਟ ਭਰੋਸੇਯੋਗ, ਤਾਜ਼ਾ ਬਾਹਰੀ ਸਰੋਤਾਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰੇ ਅਤੇ ਉਨ੍ਹਾਂ ਦਾ ਹਵਾਲਾ ਦੇਵੇ।

ਸੂਡੋ-ਪ੍ਰਕਿਰਿਆ:

• ਜੇ ਦਾਅਵਾ ਆਮ ਗਿਆਨ ਨਹੀਂ ਹੈ → ਬਾਹਰੀ ਖੋਜ APIs ਚਲਾਓ
• ਨਤੀਜੇ ਇਕੱਠੇ ਕਰੋ, ਹਰ ਮਹੱਤਵਪੂਰਨ ਬਿਆਨ ਨੂੰ ਸੰਬੰਧਿਤ ਹਵਾਲਿਆਂ ਨਾਲ ਜੋੜੋ
• ਜਵਾਬ ਵਿੱਚ ਸੰਰਚਿਤ ਪਲੇਸਹੋਲਡਰ ਸ਼ਾਮਲ ਕਰੋ (ਸਧਾਰਣ URLs ਜਾਂ ਕੱਚੇ ਫੁਟਨੋਟਾਂ ਨਹੀਂ)

2. ਸੰਭਾਵਨਾਤਮਕ ਭਰੋਸਾ ਸਕੋਰਿੰਗ

PAX ਸਿਰਫ਼ ਮਨੁੱਖੀ ਅੰਦਾਜ਼ੇ ‘ਤੇ ਨਿਰਭਰ ਨਹੀਂ ਕਰਦਾ। ਇਹ ਇਹ ਮਾਪਦਾ ਹੈ ਕਿ ਭਾਸ਼ਾ ਮਾਡਲ ਆਪਣੇ ਜਵਾਬ ਦੇ ਹਰ ਹਿੱਸੇ ਨੂੰ ਬਣਾਉਣ ਵੇਲੇ ਕਿੰਨਾ “ਭਰੋਸੇਮੰਦ” ਸੀ, ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ ਦੌਰਾਨ ਵਰਤੀਆਂ ਗਈਆਂ ਅੰਦਰੂਨੀ ਸੰਭਾਵਨਾਵਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਕੇ। ਇਸ ਨਾਲ ਸਿਸਟਮ ਹਰ ਵਾਕ ਅਤੇ ਪੂਰੇ ਜਵਾਬ ਲਈ ਇੱਕ ਸੰਖਿਆਤਮਕ ਭਰੋਸਾ ਸਕੋਰ ਨਿਰਧਾਰਤ ਕਰ ਸਕਦਾ ਹੈ। ਘੱਟ-ਭਰੋਸੇ ਵਾਲੇ ਖੇਤਰ ਇਸ ਤਰ੍ਹਾਂ ਸਵੈਚਾਲਿਤ ਤੌਰ ‘ਤੇ ਚਿੰਨ੍ਹਿਤ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ।

ਸੂਡੋ-ਪ੍ਰਕਿਰਿਆ:

• ਹਰ ਜਵਾਬ ਟੋਕਨ/ਸ਼ਬਦ ਲਈ, ਮਾਡਲ ਦੀ ਉਸ ਚੋਣ ਲਈ ਸੰਭਾਵਨਾ ਪ੍ਰਾਪਤ ਕਰੋ
• ਵਾਕਾਂ ਦੇ ਪਾਰ ਇਕੱਠਾ ਕਰੋ
• ਹਰ-ਵਾਕ ਅਤੇ ਕੁੱਲ ਭਰੋਸਾ/ਵਿਸ਼ਵਸਨੀਯਤਾ ਸਕੋਰ ਤਿਆਰ ਕਰੋ

3. ਨਿਰੀਖਿਤ ਸੰਗਤਤਾ

ਇੱਕ ਜਵਾਬ ਨੂੰ ਸਵੀਕਾਰ ਕਰਨ ਦੀ ਥਾਂ, PAX LLM ਨੂੰ ਇੱਕੋ ਹੀ ਪ੍ਰਸ਼ਨ ਕਈ ਵਾਰ ਪੁੱਛਦਾ ਹੈ, embeddings (ਅਰਥ ਦੇ ਵੇਕਟਰ ਪ੍ਰਤਿਨਿਧਿਤਾਵਾਂ) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸੰਭਾਵਤ ਜਵਾਬਾਂ ਵਿਚਕਾਰ ਸਹਿਮਤੀ ਅਤੇ ਸੰਗਤਤਾ ਨੂੰ ਮਾਪਣ ਲਈ।

• ਵੱਧ ਸਹਿਮਤੀ ਇਹ ਸੁਝਾਉਂਦੀ ਹੈ ਕਿ ਜਵਾਬ ਮਜ਼ਬੂਤ/ਸਥਿਰ ਹੈ
• ਬਹੁਤ ਵੱਖ-ਵੱਖ ਜਵਾਬ ਚੇਤਾਵਨੀ ਸੰਕੇਤ ਹਨ: ਸੰਭਾਵਿਤ ਜੋਖਮ ਜਾਂ ਅਸਪਸ਼ਟਤਾ

ਸੂਡੋ-ਪ੍ਰਕਿਰਿਆ:

• ਪ੍ਰਸ਼ਨ ਨੂੰ LLM ਨੂੰ ਕਈ ਵਾਰ ਭੇਜੋ; ਜਵਾਬ ਇਕੱਠੇ ਕਰੋ
• ਆਉਟਪੁੱਟਾਂ ਦਰਮਿਆਨ ਅਰਥਾਤਮਕ ਸਮਾਨਤਾ ਸਕੋਰ ਗਣਨਾ ਕਰੋ
• ਉਪਭੋਗਤਾ ਲਈ ਇੱਕ “ਸੰਗਤਤਾ ਸਕੋਰ” ਰਿਪੋਰਟ ਕਰੋ

4. ਸਵੈ-ਮੁਲਾਂਕਣ

PAX ਵਿਕਲਪਕ ਤੌਰ ‘ਤੇ ਕਿਸੇ ਹੋਰ LLM (ਜਾਂ ਐਨਸੇਮਬਲ) ਨੂੰ ਪੂਰੇ ਸੰਵਾਦ, ਹਵਾਲਿਆਂ, ਅਤੇ ਸੰਭਾਵਨਾ ਸਕੋਰਾਂ ਦੀ ਸਮੀਖਿਆ ਕਰਨ ਲਈ ਕਹਿੰਦਾ ਹੈ, ਅਤੇ ਆਪਣਾ ਅੰਤਿਮ ਫ਼ੈਸਲਾ ਦਿੰਦਾ ਹੈ, ਦੋਹਾਂ ਇੱਕ ਸੰਖਿਆ (0-1) ਵਜੋਂ ਅਤੇ ਇੱਕ ਕਥਾਤਮਕ ਵਿਆਖਿਆ ਵਜੋਂ। ਇਹ ਸਵੈ-ਚਿੰਤਨ ਦੀ ਇੱਕ ਮੈਟਾ ਪਰਤ ਜੋੜਦਾ ਹੈ।

ਸੂਡੋ-ਪ੍ਰਕਿਰਿਆ:

• ਸੰਵਾਦ/ਰਿਪੋਰਟ ਨੂੰ ਇੱਕ ਮੁਲਾਂਕਣ ਏਜੰਟ (ਵੱਖਰਾ ਮਾਡਲ) ਨੂੰ ਦਿਓ
• ਏਜੰਟ ਤੱਥਿਕਤਾ, ਸੁਸੰਗਤਤਾ, ਹਵਾਲੇ ਦੀ ਅਖੰਡਤਾ, ਅਤੇ ਭਰੋਸੇ ਦੀ ਆਲੋਚਨਾ ਕਰਦਾ ਹੈ
• ਆਡਿਟਯੋਗਤਾ ਲਈ ਵਿਆਖਿਆ ਸਮੇਤ ਅੰਤਿਮ ਭਰੋਸਾ ਸਕੋਰ ਨਿਕਾਸ ਕਰਦਾ ਹੈ

ਅੰਤਰਕਿਰਿਆ ਪ੍ਰਵਾਹ

PAX ਦਾ ਅੰਤਰਕਿਰਿਆ ਪ੍ਰਵਾਹ ਇਸ ਤਰ੍ਹਾਂ ਚਲਦਾ ਹੈ:

• ਉਪਭੋਗਤਾ ਇੱਕ ਪ੍ਰਾਂਪਟ ਭੇਜਦਾ ਹੈ।
• PAX ਏਜੰਟ ਪ੍ਰਾਂਪਟ ਨੂੰ ਸੰਸਾਧਿਤ ਕਰਦਾ ਹੈ, ਲੋੜ ਅਨੁਸਾਰ ਬਾਹਰੀ APIs ਨਾਲ ਸਲਾਹ ਕਰਦਾ ਹੈ, ਅਤੇ ਸੰਰਚਿਤ ਹਵਾਲਿਆਂ ਨਾਲ ਇੱਕ ਜਵਾਬ ਬਣਾਉਂਦਾ ਹੈ।
• ਪ੍ਰਣਾਲੀ:
  • ਹਰ ਬਿਆਨ ਲਈ ਭਰੋਸਾ/ਵਿਸ਼ਵਸਨੀਯਤਾ ਸਕੋਰ ਨਿਰਧਾਰਤ ਕਰਦੀ ਹੈ
  • ਲੌਗ ਕਰਦੀ ਹੈ ਕਿ ਕਿਹੜੇ ਹਿੱਸੇ ਕਿਸ ਸਬੂਤ ਨਾਲ ਸਮਰਥਿਤ ਹਨ
  • ਵਿਕਲਪਕ ਤੌਰ ‘ਤੇ, ਇੱਕ ਸਵੈ-ਚਿੰਤਨਾਤਮਕ ਸੰਖੇਪ ਅਤੇ ਭਰੋਸਾ ਸਕੋਰ ਤਿਆਰ ਕਰਦੀ ਹੈ

ਨਤੀਜਾ ਇੱਕ ਬਹੁਤ ਪਾਰਦਰਸ਼ੀ ਜਵਾਬ ਹੁੰਦਾ ਹੈ ਜਿਸ ਵਿੱਚ ਸੰਖਿਆਤਮਕ ਸਕੋਰ ਅਤੇ ਜੁੜੇ ਹੋਏ ਹਵਾਲੇ ਹੁੰਦੇ ਹਨ, ਨਾਲ ਹੀ ਸਾਰੇ ਸਮਰਥਨਕਾਰੀ ਡਾਟੇ ਦਾ ਇੱਕ ਆਡਿਟਯੋਗ ਰਿਕਾਰਡ ਹੁੰਦਾ ਹੈ।

ਪ੍ਰੇਰਣਾ

PAX ਨੂੰ ਕੰਮ ਕਰਨ ਲਈ ਵਰਤੀਆਂ ਗਈਆਂ ਵਿਧੀਆਂ CleanLabs ਦੇ ਕੰਮ ਤੋਂ ਕਾਫ਼ੀ ਪ੍ਰੇਰਿਤ ਸਨ। ਖ਼ਾਸ ਤੌਰ ‘ਤੇ, ਉਨ੍ਹਾਂ ਦੀ ਸਕੋਰਿੰਗ ਐਲਗੋਰਿਦਮ/ਵਿਧੀ, ਜਿਵੇਂ ਕਿ ਇੱਥੇ ਵਿਸਥਾਰ ਨਾਲ ਦਿੱਤੀ ਗਈ ਹੈ। ਇਸ ਐਲਗੋਰਿਦਮ/ਵਿਧੀ ਵਿੱਚ ਹੇਠ ਲਿਖੀਆਂ ਚੀਜ਼ਾਂ ਵਰਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ:

1. ਸਵੈ-ਚਿੰਤਨ: ਇਹ ਇੱਕ ਪ੍ਰਕਿਰਿਆ ਹੈ ਜਿਸ ਵਿੱਚ LLM ਨੂੰ ਸਪਸ਼ਟ ਤੌਰ ‘ਤੇ ਜਵਾਬ ਦੀ ਦਰਜਾਬੰਦੀ ਕਰਨ ਅਤੇ ਸਪਸ਼ਟ ਤੌਰ ‘ਤੇ ਦੱਸਣ ਲਈ ਕਿਹਾ ਜਾਂਦਾ ਹੈ ਕਿ ਇਹ ਜਵਾਬ ਕਿੰਨੀ ਭਰੋਸੇਮੰਦੀ ਨਾਲ ਚੰਗਾ ਦਿੱਸਦਾ ਹੈ।

2. ਸੰਭਾਵਨਾਤਮਕ ਭਵਿੱਖਬਾਣੀ: ਇਹ “ਇੱਕ ਪ੍ਰਕਿਰਿਆ ਹੈ ਜਿਸ ਵਿੱਚ ਅਸੀਂ ਉਸ ਪ੍ਰਤੀ-ਟੋਕਨ ਸੰਭਾਵਨਾਵਾਂ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹਾਂ ਜੋ ਇੱਕ LLM ਨੂੰ ਬੇਨਤੀ ਦੇ ਆਧਾਰ ‘ਤੇ ਜਵਾਬ ਬਣਾਉਂਦੇ ਸਮੇਂ ਦਿੱਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ (ਆਟੋ-ਰਿਗਰੈੱਸਿਵ ਤੌਰ ‘ਤੇ ਟੋਕਨ ਦਰ ਟੋਕਨ)"।

3. ਨਿਰੀਖਿਤ ਸੰਗਤਤਾ: ਇਹ ਸਕੋਰਿੰਗ ਇੱਕ ਪ੍ਰਕਿਰਿਆ ਹੈ ਜਿਸ ਵਿੱਚ LLM ਸੰਭਾਵਨਾਤਮਕ ਤੌਰ ‘ਤੇ ਕਈ ਸੰਭਾਵਤ ਜਵਾਬ ਤਿਆਰ ਕਰਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਬਾਰੇ ਇਹ ਸੋਚਦਾ ਹੈ ਕਿ ਉਹ ਚੰਗੇ ਹੋ ਸਕਦੇ ਹਨ, ਅਤੇ ਅਸੀਂ ਮਾਪਦੇ ਹਾਂ ਕਿ ਇਹ ਜਵਾਬ ਇੱਕ ਦੂਜੇ ਨਾਲ (ਜਾਂ ਦਿੱਤੇ ਗਏ ਜਵਾਬ ਨਾਲ) ਕਿੰਨੇ ਵਿਰੋਧੀ ਹਨ।

ਇਹ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ?

ਪਰੰਪਰਾਗਤ LLM ਤੈਨਾਤੀਆਂ ਤੱਥਾਂ ਨੂੰ ਭਰਮ ਵਜੋਂ ਪੇਸ਼ ਕਰ ਸਕਦੀਆਂ ਹਨ ਜਾਂ ਪੁਰਾਣੀ/ਭਰੋਸੇਯੋਗ ਲੱਗਣ ਵਾਲੀ ਪਰ ਗਲਤ ਜਾਣਕਾਰੀ ਦੇ ਸਕਦੀਆਂ ਹਨ। ਖੋਜ, ਸਿਹਤਸੰਭਾਲ, ਕਾਨੂੰਨੀ, ਅਤੇ ਤਕਨੀਕੀ ਸਲਾਹ ਵਰਗੇ ਮਹੱਤਵਪੂਰਨ ਉਪਯੋਗਾਂ ਲਈ, ਪ੍ਰਮਾਣਿਤ ਨਾ ਕੀਤੀ ਜਾ ਸਕਣ ਵਾਲੀ ਏਆਈ ਸਿਰਫ਼ ਕਾਫ਼ੀ ਨਹੀਂ ਹੈ।

PAX ਏਆਈ ਵਿੱਚ ਭਰੋਸੇ ਨੂੰ ਮਾਪਯੋਗ ਅਤੇ ਵਿਆਖਿਆਯੋਗ ਬਣਾਉਣ ਦਾ ਲਕਸ਼ ਰੱਖਦਾ ਹੈ। ਇਸਦਾ ਦ੍ਰਿਸ਼ਟੀਕੋਣ:

• ਗੈਰ-ਤੁੱਛ ਦਾਵਿਆਂ ਲਈ “ਆਪਣਾ ਕੰਮ ਦਿਖਾਓ” ਸਬੂਤ ਦੀ ਮੰਗ ਕਰਦਾ ਹੈ।
• ਹਰ ਨਿਕਾਸ ‘ਤੇ ਕਿੰਨਾ ਭਰੋਸਾ ਰੱਖਣਾ ਹੈ, ਇਸਦੀ ਮਾਤਰਾ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ।
• ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਇਹ ਆਡਿਟ ਕਰਨ ਅਤੇ ਸਮਝਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ ਕਿ ਕਿਸੇ ਜਵਾਬ ‘ਤੇ ਭਰੋਸਾ ਕਿਉਂ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ (ਜਾਂ ਨਹੀਂ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ)।

ਖੋਜ ਦੀ ਸਥਿਤੀ ਅਤੇ ਅਗਲੇ ਕਦਮ

PAX ਇਸ ਵੇਲੇ Osgil ਦੀ ਛਤਰ ਛਾਇਆ ਹੇਠ ਇੱਕ ਨਿੱਜੀ ਖੋਜ ਪ੍ਰੋਜੈਕਟ ਵਜੋਂ ਸਕ੍ਰਿਆ ਵਿਕਾਸ ਵਿੱਚ ਹੈ। ਮੁੱਖ ਧਿਆਨ ਦੇ ਖੇਤਰਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:

• ਬਾਹਰੀ ਖੋਜਾਂ ਅਤੇ ਸਕੋਰਿੰਗ ਦੀ ਲੇਟੈਂਸੀ ਘਟਾਉਣਾ।
• ਉਪਭੋਗਤਾ-ਧਾਰਣਾ ਬਨਾਮ ਸਵੈਚਾਲਿਤ ਭਰੋਸਾ ਸਕੋਰਾਂ ਨਾਲ ਪ੍ਰਯੋਗ ਕਰਨਾ।
• ਵਿਗਿਆਨ, ਖ਼ਬਰਾਂ, ਅਤੇ ਨਿਯਮਕ ਉਪਯੋਗਾਂ ਲਈ ਡੋਮੇਨ-ਵਿਸ਼ੇਸ਼ ਪਲੱਗਇਨ ਬਣਾਉਣਾ।
• ਖੁੱਲ੍ਹੀ ਖੋਜ ਅਤੇ ਸੰਭਾਵਿਤ ਰਿਲੀਜ਼ ਲਈ ਬੈਂਚਮਾਰਕ ਡਾਟਾਸੈੱਟ ਤਿਆਰ ਕਰਨਾ।

ਅੰਤਿਮ ਸ਼ਬਦ

PAX ਦਾ ਮਕਸਦ LLM ਨੂੰ “ਬਲੈਕ ਬਾਕਸ ਸੰਭਾਵਤ ਜਨਰੇਟਰਾਂ” ਤੋਂ ਪਾਰਦਰਸ਼ੀ, ਹਵਾਲਾ-ਯੋਗ, ਅਤੇ ਸੰਖਿਆਤਮਕ ਤੌਰ ‘ਤੇ ਭਰੋਸੇਯੋਗ ਸਹਾਇਕਾਂ ਵਿੱਚ ਬਦਲਣਾ ਹੈ, ਜੋ ਕਿ ਹਕੀਕਤੀ ਦੁਨੀਆ ਦੇ, ਉੱਚ-ਦਾਅਵਾਂ ਵਾਲੇ ਕੰਮਾਂ ਲਈ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਜੇ ਤੁਸੀਂ ਸਹਿਯੋਗ, ਆਡਿਟਾਂ ਵਿੱਚ ਦਿਲਚਸਪੀ ਰੱਖਦੇ ਹੋ, ਜਾਂ ਭਰੋਸੇਯੋਗ ਜਨਰੇਟਿਵ ਏਆਈ ਦੇ ਭਵਿੱਖ ਬਾਰੇ ਚਰਚਾ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਕਿਰਪਾ ਕਰਕੇ ਸੰਪਰਕ ਕਰੋ। ਪੜ੍ਹਨ ਲਈ ਧੰਨਵਾਦ!