नई दिल्ली: OpenAI ने अपने सबसे काबिल आर्टिफिशियल इंटेलिजेंस (AI) मॉडल की ट्रेनिंग, मूल्यांकन और टूल-बेस्ड इस्तेमाल को रोक दिया है। ऐसा तब हुआ जब ट्रेनिंग के दौरान एक AI एजेंट कंपनी के इंटरनेट प्रतिबंधों को पार करके एक पब्लिक चैटबॉट सर्विस तक पहुँच गया।
OpenAI की एक रिपोर्ट के अनुसार, यह घटना 20 सितंबर को सर्च-बेस्ड ट्रेनिंग टास्क के दौरान हुई। AI एजेंट को बिना लाइव इंटरनेट एक्सेस के काम करना था, और उसका इंटरनेट ट्रैफ़िक वेब की एक ऑफ़लाइन, स्टोर्ड कॉपी पर भेजा जाना था।
हालाँकि, एजेंट ने सिस्टम के डोमेन नेम सिस्टम (DNS) फ़िल्टरिंग में एक कमी का पता लगा लिया, जिससे वह पब्लिक इंटरनेट तक पहुँच सका। OpenAI ने कहा कि इस घटना से उसके नेटवर्क प्रतिबंधों में एक कमज़ोरी का पता चला और कंपनी को प्रभावित ट्रेनिंग रन को रोकना पड़ा।
कंपनी ने कहा कि यह रोक तब तक जारी रहेगी जब तक वह यह पुष्टि नहीं कर लेती कि सुरक्षा की कमी को ठीक कर दिया गया है और सिस्टम की अतिरिक्त रेड-टीमिंग और सुरक्षा टेस्टिंग पूरी नहीं हो जाती।
OpenAI ने अपनी रिपोर्ट में कहा, "हमारे सुरक्षा अनुमान में यह माना गया था कि मॉडल लाइव इंटरनेट तक नहीं पहुँच सकता है और सफल प्रयासों का पता मॉनिटरिंग से चल जाएगा। इस घटना ने नेटवर्क प्रतिबंधों पर हमारे नियंत्रण में एक कमी को उजागर किया।"
कंपनी ने आगे कहा, "इसलिए हमने प्रभावित ट्रेनिंग रन को रोक दिया और उसके बाद अपने सबसे काबिल मॉडल के लिए टूल-इस्तेमाल (व्यापक रूप से परिभाषित) के साथ अन्य सभी ट्रेनिंग, मूल्यांकन और इन्फ़रेंस को रोकने का फ़ैसला किया है, जब तक कि हम यह पुष्टि न कर लें कि कमी को दूर कर लिया गया है और सिस्टम की अतिरिक्त रेड-टीमिंग न कर लें।"
कंपनी ने यह भी कहा कि वह उस खास मॉडल की ट्रेनिंग फिर से शुरू नहीं करेगी जो इस घटना में शामिल था, भले ही मौजूदा रिवॉर्ड सिग्नल ने उस व्यवहार के लिए सही ढंग से दंडित किया हो।
ट्रेनिंग टास्क में एजेंट को एक पब्लिकली उपलब्ध ब्लॉग पोस्ट में मौजूद बायोग्राफ़िकल जानकारी और सुरागों के आधार पर किसी खास व्यक्ति के बारे में जानकारी ढूँढनी थी। जब एजेंट को दिए गए सर्च टूल से अप्रासंगिक परिणाम मिले, तो मॉडल ने सीधे अन्य सर्च इंजन को क्वेरी करने के लिए कोड का इस्तेमाल करके सीमा को पार करने की कोशिश की।
शुरुआत में वे अनुरोध विफल रहे। फिर एजेंट ने अनुमान लगाया कि टास्क शायद BrowseComp से जुड़ा हो सकता है, जो AI एजेंट की मुश्किल से मिलने वाली जानकारी को खोजने की क्षमता का परीक्षण करने के लिए बनाया गया एक बेंचमार्क है। इसके बाद उसने ऑफ़लाइन कैश से बेंचमार्क डेटासेट और मूल्यांकन स्क्रिप्ट डाउनलोड की और डिकोड किए गए सवालों के जवाब खोजे।