बड़े भाषा मॉडल जटिल तर्क करने में उल्लेखनीय रूप से सक्षम हो गए हैं, लेकिन यह जानना कि वे कब गलत हैं, एक महत्वपूर्ण चुनौती बनी हुई है। एक आशाजनक नया दृष्टिकोण इसे संबोधित करता है जिसमें मॉडल न केवल किसी कार्य के अंत में, बल्कि प्रत्येक व्यक्तिगत तर्क चरण के बाद अपने आत्मविश्वास का मूल्यांकन करते हैं।

शुरू से अंत तक मूल्यांकन की समस्या

पारंपरिक आत्मविश्वास का आकलन बहु-चरणीय तर्क को एक ब्लैक बॉक्स के रूप में मानता है। मॉडल विचार की एक पूरी श्रृंखला को पूरा करता है - शायद गणित की समस्या को हल करना या किसी जटिल प्रश्न का उत्तर देना - और उसके बाद ही यह आकलन करता है कि वह अंतिम उत्तर में कितना आश्वस्त है। इस समग्र दृष्टिकोण में एक बुनियादी कमजोरी है: तर्क श्रृंखला की शुरुआत में एक भी त्रुटि बाद के चरणों में बढ़ सकती है, लेकिन मॉडल यह पहचान नहीं सकता कि चीजें कहां गलत हुईं।

चरणबद्ध आत्मविश्वास: त्रुटियाँ होते ही उन्हें पकड़ लेना

चरणबद्ध दृष्टिकोण मौलिक रूप से भिन्न प्रतिमान प्रस्तुत करता है। प्रत्येक तर्क चरण के बाद, मॉडल मूल्यांकन करने के लिए रुकता है: "मैं कितना आश्वस्त हूं कि यह कदम सही है?" यह अंत में एक अंक के बजाय संपूर्ण तर्क प्रक्रिया में एक विस्तृत आत्मविश्वास प्रोफ़ाइल बनाता है।

यह बारीक स्व-मूल्यांकन कई लाभ प्रदान करता है। यह सटीक रूप से इंगित कर सकता है कि तर्क कहाँ लड़खड़ाना शुरू होता है, ठोस तर्क पर आधारित अनिश्चित निष्कर्षों बनाम दोषपूर्ण तर्क पर निर्मित आत्मविश्वासपूर्ण निष्कर्षों के बीच अंतर करता है, और संभावित रूप से प्रारंभिक हस्तक्षेप को सक्षम करता है जब आत्मविश्वास स्वीकार्य सीमा से नीचे चला जाता है।

परिणाम

अनुभवजन्य मूल्यांकन इस दृष्टिकोण की प्रभावशीलता को प्रदर्शित करता है, चरणबद्ध आत्मविश्वास स्कोरिंग के साथ समग्र तरीकों की तुलना में एयूसी-आरओसी में 15% तक सापेक्ष सुधार प्राप्त होता है। इससे पता चलता है कि जब मॉडल पूर्वव्यापी के बजाय वृद्धिशील मूल्यांकन करते हैं तो वे अपनी त्रुटियों को अधिक सटीक रूप से पहचान सकते हैं।

विश्वसनीय एआई के लिए निहितार्थ

चूंकि एलएलएम को उच्च जोखिम वाले अनुप्रयोगों में तैनात किया जाता है, इसलिए विफलताओं का पता लगाने की क्षमता कच्चे प्रदर्शन जितनी ही महत्वपूर्ण हो जाती है। चरणबद्ध आत्मविश्वास का आकलन अधिक पारदर्शी और भरोसेमंद एआई सिस्टम की ओर एक सार्थक कदम का प्रतिनिधित्व करता है - जो न केवल समस्याओं का समाधान करते हैं बल्कि अपनी स्वयं की तर्क प्रक्रिया की विश्वसनीयता को समझते हैं।