संयुक्त राज्य अमेरिका: एनवीडिया ने सोमवार को एक नए सुरक्षा मंच का अनावरण किया, जिसके बारे में चिप निर्माता ने कहा कि यह कृत्रिम बुद्धिमत्ता एजेंटों को दुष्ट बनने से रोक सकता है। कंपनी ने कहा कि उसके ओपन एजेंट सेफ्टी प्लेटफ़ॉर्म में ऐसे सॉफ़्टवेयर शामिल हैं जो "एजेंटों के लिए सीमाएँ निर्धारित करते हैं" और शीर्ष एआई कंपनियों से उनके मॉडलों के भागने और अन्य संगठनों में सेंध लगाने के बारे में खुलासे की एक श्रृंखला का अनुसरण करते हैं।
इस खुलासे ने उन्नत कृत्रिम बुद्धिमत्ता प्रणालियों की सुरक्षा के बारे में एक तीखी बहस छेड़ दी है, जिसमें आत्म-सुधार करने वाले मॉडल भी शामिल हैं, जिनके बारे में कुछ डर मानव नियंत्रण से बाहर हो सकता है।
एनवीडिया के अधिकारियों ने एक मीडिया ब्रीफिंग में कहा कि नई प्रणाली ओपनएआई एजेंटों के झुंड से जुड़ी एक हालिया घटना को रोक सकती है, जिसने एआई स्टार्टअप हगिंग फेस को स्वायत्त रूप से हैक कर लिया था।
कंपनी के एंटरप्राइज एआई के उपाध्यक्ष जस्टिन बोइटानो ने एआई में सबसे आगे रहने वाली कंपनियों का जिक्र करते हुए कहा, "हम जो जानते हैं, उसके अनुसार यह नया सुरक्षा प्लेटफॉर्म उल्लंघन को रोक सकता था, अगर इसका इस्तेमाल मॉडल मूल्यांकन के लिए फ्रंटियर लैब में किया जा रहा होता।"
यह एक हाई-प्रोफाइल उल्लंघन था जिसने एआई के बारे में चिंताओं को बढ़ा दिया था, इसके बाद ओपनएआई के मॉडल से जुड़ी इसी तरह की घटनाएं हुईं, जिसमें एक ऑस्ट्रेलियाई स्वास्थ्य विभाग की वेबसाइट का उल्लंघन भी शामिल था।
एंथ्रोपिक और मेटा ने यह भी खुलासा किया है कि उनके एआई सिस्टम ने अन्य संगठनों को हैक कर लिया है।
एनवीडिया का सॉफ्टवेयर, जिसे ओपनशेल कहा जाता है, खुला स्रोत है और डेवलपर्स को "औपचारिक रूप से सत्यापित करने की सुविधा देता है कि एक एजेंट के पास अपना काम करने के लिए पर्याप्त अधिकार है और इससे अधिक नहीं," बोइटानो ने कहा।
कंपनी ने कहा कि प्लेटफ़ॉर्म में सेंट्री नामक एक अलग सुरक्षा परत भी शामिल है जो एआई एजेंट गतिविधि पर लगातार निगरानी रखने के लिए एक चिप पर चलती है और यदि कोई एजेंट अपने लक्ष्य से आगे बढ़ने की कोशिश करता है तो वह "तुरंत हस्तक्षेप" कर सकता है।
बोइटानो ने कहा, "ओपनशेल एजेंट के कार्यों को नियंत्रित करता है, और फिर सेंट्री स्वतंत्र रूप से निगरानी करता है और संदिग्ध व्यवहार को नियंत्रित करता है।"
लॉन्च के समय 100 से अधिक कंपनियां इस सिस्टम का उपयोग कर रही हैं, जिनमें माइक्रोसॉफ्ट, पर्प्लेक्सिटी, एक्सेंचर और जेपी मॉर्गन चेज़ शामिल हैं।