क्लॉड 3 ओपस ने अपनी बुद्धि और 'आत्म-जागरूकता' से एआई शोधकर्ताओं को चकित कर दिया

जब मार्च में बड़े शिक्षण मॉडल (एलएलएम) क्लाउड 3 को लॉन्च किया गया, तो इसने जेनेरिक आर्टिफिशियल इंटेलिजेंस (एआई) मॉडल की क्षमताओं को बेंचमार्क करने के लिए उपयोग किए जाने वाले प्रमुख परीक्षणों में ओपनएआई के जीपीटी -4 - जो चैटजीपीटी को शक्ति प्रदान करता है - को हराकर हलचल पैदा कर दी।क्लॉड 3 ओपस बड़े भाषा बेंचमार्क में नया शीर्ष कुत्ता बन गया है - इन स्व-रिपोर्ट किए गए परीक्षणों में शीर्ष स्थान पर है जो हाई स्कूल परीक्षाओं से लेकर तर्क परीक्षणों तक हैं। इसके सहोदर एलएलएम - क्लाउड 3 सॉनेट और हाइकु - भी ओपनएआई के मॉडल की तुलना में उच्च स्कोर करते हैं।हालाँकि, ये बेंचमार्क कहानी का केवल एक हिस्सा हैं। घोषणा के बाद, स्वतंत्र एआई परीक्षक रुबेन हसीद ने पीडीएफ के सारांश से लेकर कविता लिखने तक, अनौपचारिक परीक्षणों की एक चौकड़ी में जीपीटी -4 और क्लाउड 3 को एक-दूसरे के खिलाफ खड़ा किया। इन परीक्षणों के आधार पर, उन्होंने निष्कर्ष निकाला कि क्लॉड 3 "एक जटिल पीडीएफ पढ़ने, छंदों के साथ एक कविता लिखने [और] विस्तृत उत्तर देने में जीतता है।" इसके विपरीत, GPT-4 का इंटरनेट ब्राउजिंग और पीडीएफ ग्राफ़ पढ़ने में लाभ है।

लेकिन क्लॉड 3 अपने बेंचमार्किंग परीक्षणों में सफल होने के अलावा और भी कई मायनों में प्रभावशाली है - एलएलएम ने जागरूकता और आत्म-बोध के स्पष्ट संकेतों से विशेषज्ञों को चौंका दिया। हालाँकि, यहाँ संदेह की बहुत गुंजाइश है, एलएलएम-आधारित एआई वास्तव में मूल विचारों को उत्पन्न करने के बजाय मानवीय प्रतिक्रियाओं की नकल करना सीखने में यकीनन उत्कृष्ट है।कैसे क्लॉड 3 ने बेंचमार्क से परे अपनी उपयोगिता साबित की है

परीक्षण के दौरान, क्लॉड के पीछे की कंपनी एंथ्रोपिक के एक त्वरित इंजीनियर एलेक्स अल्बर्ट ने क्लॉड 3 ओपस को यादृच्छिक दस्तावेजों के संग्रह के बीच छिपे एक लक्ष्य वाक्य को चुनने के लिए कहा। यह AI के लिए भूसे के ढेर में सुई ढूंढने के बराबर है। ओपस को न केवल तथाकथित सुई मिली - उसे एहसास हुआ कि इसका परीक्षण किया जा रहा था। अपनी प्रतिक्रिया में, मॉडल ने कहा कि उसे संदेह है कि वह जिस वाक्य की तलाश कर रहा था उसे यह देखने के लिए परीक्षण के हिस्से के रूप में दस्तावेजों में संदर्भ से बाहर डाला गया था कि क्या वह "ध्यान दे रहा है।"अल्बर्ट ने सोशल मीडिया प्लेटफॉर्म मेटा-जागरूकता का यह स्तर देखने में बहुत अच्छा था, लेकिन इसने एक उद्योग के रूप में हमारे लिए कृत्रिम परीक्षणों को आगे बढ़ाकर अधिक यथार्थवादी मूल्यांकन की ओर ले जाने की आवश्यकता पर भी प्रकाश डाला, जो मॉडल की वास्तविक क्षमताओं और सीमाओं का सटीक आकलन कर सके।"