नाबालिग की जेमिनी के साथ अश्लील वीडियो चैट के कारण गूगल ने पूरे परिवार के अकाउंट बैन कर दिए

एक Reddit पोस्ट ने एक ऐसे मामले की ओर ध्यान खींचा है जिसमें Google ने एक ही परिवार के कई अकाउंट सस्पेंड कर दिए, क्योंकि एक नाबालिग ने उसके Gemini Live फ़ीचर का इस्तेमाल एक साफ़ वीडियो इंटरैक्शन के लिए किया था।

Reddit पर शेयर की गई पोस्ट में बताया गया है कि कैसे एक बच्चे ने Gemini Live को एक्सेस किया, जो Google का रियल-टाइम AI फ़ीचर है जो वॉइस और वीडियो-बेस्ड इंटरैक्शन की इजाज़त देता है, और एक ऐसे सेशन में शामिल हुआ जिसमें कथित तौर पर न्यूडिटी शामिल थी। इस एक्टिविटी को Google के ऑटोमेटेड सेफ़्टी सिस्टम ने फ़्लैग किया था, जो साफ़ कंटेंट का पता लगाने और उस पर एक्शन लेने के लिए डिज़ाइन किए गए हैं, खासकर जब नाबालिग शामिल हों।

इसके बाद, कंपनी ने परिवार से जुड़े अकाउंट डिसेबल कर दिए। Reddit यूज़र के अनुसार, सस्पेंशन सिर्फ़ इंटरैक्शन के दौरान इस्तेमाल किए गए अकाउंट तक ही सीमित नहीं था, बल्कि परिवार के सभी Google अकाउंट तक बढ़ा दिया गया था, जिससे Gmail, Google Photos और Google Drive जैसी सर्विसेज़ का एक्सेस प्रभावित हुआ।

Google ने Android Authority को दिए एक बयान में कन्फ़र्म किया कि वह बच्चों की सेफ़्टी और साफ़ कंटेंट से जुड़े उल्लंघन को गंभीरता से लेता है और उसी के अनुसार अपनी पॉलिसी लागू करता है। हालांकि कंपनी ने इस खास मामले पर कोई कमेंट नहीं किया, लेकिन उसने कहा कि उसके सिस्टम उसके प्लेटफ़ॉर्म पर नुकसानदायक या असुरक्षित इस्तेमाल का पता लगाने और उसे रोकने के लिए डिज़ाइन किए गए हैं।

जेमिनी लाइव, गूगल के बड़े जेमिनी AI प्लैटफ़ॉर्म का हिस्सा है और वॉइस और कैमरा इनपुट के ज़रिए रियल-टाइम इंटरैक्शन देता है। इस फ़ीचर को AI के साथ जुड़ने का एक ज़्यादा इंटरैक्टिव तरीका बताया गया है, लेकिन यह मॉडरेशन में भी मुश्किलें लाता है, खासकर लाइव सिनेरियो में।

रेडिट पोस्ट से पता चलता है कि इस मामले में एनफ़ोर्समेंट अपने आप शुरू हो गया था, और प्रभावित यूज़र्स के लिए तुरंत सीमित उपाय थे। यह साफ़ नहीं है कि परिवार अपने अकाउंट का एक्सेस वापस पा सका है या नहीं।

गूगल की पॉलिसीज़ सेक्शुअली एक्सप्लिसिट कंटेंट पर रोक लगाती हैं और जब नाबालिग शामिल होते हैं तो सख़्त सेफ़्टी के उपाय लागू करती हैं। ऐसे मामलों में, एनफ़ोर्समेंट एक्शन इंडिविजुअल अकाउंट से आगे बढ़कर उसी फ़ैमिली ग्रुप में जुड़े दूसरे अकाउंट्स तक भी जा सकते हैं।

यह घटना इस बात पर ज़ोर देती है कि रियल-टाइम AI इंटरैक्शन पर ऑटोमेटेड मॉडरेशन सिस्टम कैसे लागू किए जा रहे हैं, और कैसे एनफ़ोर्समेंट एक शेयर्ड इकोसिस्टम के अंदर कनेक्टेड अकाउंट्स पर स्केल कर सकता है।