सोशल मीडिया प्लेटफॉर्म X के आर्टिफिशियल इंटेलिजेंस चैटबॉट ग्रोक से बनी परेशान करने वाली तस्वीरों पर गुस्सा, नई टेक्नोलॉजी के गलत इस्तेमाल को लेकर दुनिया भर में बढ़ती चिंताओं को दिखाता है। अमेरिकी अरबपति एलन मस्क की कंपनी ग्रोक अपने यूज़र्स को बिना उनकी मर्ज़ी के लोगों के 'डिजिटल कपड़े उतारने' और सेलिब्रिटीज़ और यहाँ तक कि कम उम्र के बच्चों की भी सेक्सुअल तस्वीरें पोस्ट करने की इजाज़त देती है। यह एक घटिया और घिनौना ट्रेंड है जिसे हर कीमत पर रोकना ज़रूरी है। भारत समेत दुनिया भर के रेगुलेटर इस नई परेशानी को रोकने के तरीके ढूंढ रहे हैं, जो X की ढीली कंटेंट मॉडरेशन पॉलिसी और पावरफुल जेनरेटिव AI टूल्स की पहुँच का नतीजा है। पिछले साल अगस्त में, xAI ने ग्रोक इमेजिन नाम का एक इमेज-जेनरेटिंग फीचर लॉन्च किया था, जिसमें एक "स्पाइसी" मोड था जिसका इस्तेमाल कथित तौर पर सेक्सुअल तस्वीरें बनाने के लिए किया गया था। ग्रोक अपने नरम रवैये और सुरक्षा उपायों में साफ़ कमियों की वजह से बड़े चैटबॉट्स में सबसे अलग लगता है। यूज़र्स ने पाया कि ग्रोक रिक्वेस्ट पर महिलाओं और लड़कियों की असली तस्वीरों में नकली, सेक्सुअली उत्तेजक एडिट कर रहा है। एक अंदाज़े के मुताबिक, ग्रोक हर मिनट एक बिना मर्ज़ी वाली सेक्सुअल इमेज बनाता था। चिंता की बात यह है कि ग्रोक ऐसे कंटेंट को बनाना और कस्टमाइज़ करना आसान बना देता है। और बॉट का असली असर एक बड़े सोशल-मीडिया प्लेटफ़ॉर्म के साथ इसके इंटीग्रेशन से आता है, जिससे यह बिना मर्ज़ी वाली, सेक्सुअल इमेज को वायरल घटनाओं में बदल सकता है। केंद्र सरकार के हालिया निर्देश के बाद, X ने अब 3,500 से ज़्यादा कंटेंट ब्लॉक कर दिए हैं और 600 से ज़्यादा अकाउंट डिलीट कर दिए हैं और देश के ऑनलाइन कंटेंट कानूनों के हिसाब से काम करने का वादा किया है।
भारत अकेला नहीं है जो ग्रोक AI का इस्तेमाल करके साफ़ कंटेंट बनाने पर एतराज़ कर रहा है। इंडोनेशिया ने हाल ही में AI से बने पोर्नोग्राफ़िक कंटेंट की चिंताओं के चलते चैटबॉट को सस्पेंड कर दिया था, और UK, फ़्रांस और मलेशिया ने भी पहले कंटेंट बनाने का विरोध किया है। हालिया मामला एक रेगुलेटरी चुनौती पेश करता है जो X से भी आगे तक जाती है। इन्फॉर्मेशन टेक्नोलॉजी एक्ट के सेक्शन 79 के तहत, प्लेटफ़ॉर्म को यूज़र्स द्वारा पोस्ट किए गए कंटेंट के लिए ज़िम्मेदारी से सेफ़ हार्बर इम्यूनिटी मिलती है, बशर्ते वे ड्यू डिलिजेंस की ज़रूरतों का पालन करें। लेकिन ग्रोक जैसे जेनरेटिव AI सिस्टम एक साफ़ जगह नहीं रखते — वे न तो यूज़र कंटेंट भेजने वाले पैसिव प्लेटफ़ॉर्म हैं और न ही पारंपरिक यूज़र जो खुद से कंटेंट बनाते हैं। ग्रोक को पैसिव प्लेटफ़ॉर्म के बजाय कंटेंट क्रिएटर के तौर पर क्लासिफ़ाई करने के कानूनी असर की जांच करने की ज़रूरत है। इससे यह मिसाल कायम करने में मदद मिलेगी कि भारत अलग-अलग प्लेटफ़ॉर्म पर AI से बने मटीरियल को कैसे रेगुलेट करता है। यह रेगुलेशन दूसरे प्लेटफ़ॉर्म पर भी लागू होना चाहिए अगर उनके AI बॉट गैर-कानूनी कंटेंट बनाते हैं। ग्रोक प्लेटफ़ॉर्म का गलत इस्तेमाल सिर्फ़ फ़ेक अकाउंट तक ही सीमित नहीं था, बल्कि इसमें महिलाओं द्वारा अपलोड किए गए असली फ़ोटो और वीडियो भी शामिल थे, जिन्हें बाद में AI प्रॉम्प्ट और सिंथेटिक आउटपुट के ज़रिए बदला गया। अब तक, भारत का रेगुलेटरी रिस्पॉन्स नुकसान पर ज़्यादा फ़ोकस रहा है। AI से बने साफ़ कंटेंट पर रोक लगाने के लिए एक प्रोएक्टिव पॉलिसी की तुरंत ज़रूरत है।