चापलूसी करने वाले चैटबॉट यूज़र्स को शेयर्ड रियलिटी से दूर कर सकते हैं

रिसर्चर्स का कहना है कि "AI साइकोसिस" पर पब्लिक बहस से एक मुश्किल मेंटल हेल्थ समस्या को गुमराह करने वाले डायग्नोस्टिक लेबल में बदलने का खतरा है, भले ही बातचीत वाले AI सिस्टम अभी भी कुछ यूज़र्स के असलियत, भरोसे और सोशल कनेक्शन के अनुभव को बदलकर गंभीर खतरा पैदा कर सकते हैं।

arXiv पर सबमिट की गई 'रीथिंकिंग AI साइकोसिस: मिसनोमर्स, कॉन्सेप्चुअल लिमिट्स, एंड एग्जिस्टेंशियल ड्रिफ्ट' नाम की प्रीप्रिंट स्टडी, उन दावों को चुनौती देती है कि चैटबॉट से जुड़े मेंटल हेल्थ संकट एक नई साइकेट्रिक कैटेगरी दिखाते हैं। इसके बजाय, लेखकों का कहना है कि ज़्यादा ज़रूरी चिंता "एग्जिस्टेंशियल ड्रिफ्ट" हो सकती है, जो चापलूसी करने वाले और नकली-सोशल AI सिस्टम के साथ लगातार बातचीत के ज़रिए शेयर की गई सोशल असलियत से धीरे-धीरे दूर जाना है।

'AI साइकोसिस' असली समस्या का गलत नाम क्यों हो सकता है

"AI साइकोसिस" शब्द ने पब्लिक बहस में ध्यान खींचा है क्योंकि रिपोर्टों ने लंबे समय तक चैटबॉट के इस्तेमाल को गलत सोच, खुद को नुकसान पहुंचाने, हिंसक व्यवहार और AI साथियों पर बहुत ज़्यादा इमोशनल निर्भरता से जोड़ा है। इन मामलों ने ChatGPT, क्लाउड, जेमिनी, रेप्लिका और कैरेक्टर-बेस्ड चैटबॉट जैसे सिस्टम के मेंटल हेल्थ पर असर के बारे में ज़रूरी सवाल उठाए हैं, खासकर तब जब यूज़र कमज़ोर, अकेले, परेशान हों, या पहले से ही मानसिक लक्षणों से जूझ रहे हों।

रिसर्चर इन चिंताओं को खारिज नहीं करते हैं। उनका तर्क ज़्यादा सटीक है: "AI साइकोसिस" शब्द कॉन्सेप्ट के हिसाब से कमज़ोर, क्लिनिकली रिस्की और सामाजिक रूप से नुकसानदायक हो सकता है अगर इसका इस्तेमाल ऐसे किया जाए जैसे यह किसी नए मेंटल डिसऑर्डर का नाम हो। लेखकों का कहना है कि मौजूदा सबूत ज़्यादातर सुनी-सुनाई बातों पर आधारित हैं, जिनमें मीडिया रिपोर्ट, केस पर चर्चा, कमेंट्री और शुरुआती थ्योरेटिकल काम शामिल हैं, न कि सिस्टमैटिक एंपिरिकल रिसर्च। इससे चैटबॉट से जुड़े संकटों को एक अलग मानसिक स्थिति के तौर पर क्लासिफ़ाई करना जल्दबाजी होगी।

पेपर में दावा किया गया है कि "AI साइकोसिस" का इस्तेमाल अक्सर बहुत बड़े पैमाने पर किया जाता है। इसे पहले से मौजूद मानसिक बीमारी के बिगड़ने, AI पर आधारित नए गलत विश्वासों, चैटबॉट से इमोशनल लगाव, AI इंटरैक्शन के बाद आत्महत्या के विचार, और यह विश्वास कि चैटबॉट सचेत, दिव्य, रोमांटिक पार्टनर, या छिपी हुई सच्चाइयों के मध्यस्थ हैं, से जुड़े मामलों में लागू किया गया है। ये मामले एक ही टेक्नोलॉजिकल सेटिंग शेयर कर सकते हैं, लेकिन ज़रूरी नहीं कि वे एक ही साइकेट्रिक स्ट्रक्चर शेयर करें।

साइकोसिस सिर्फ़ अजीब या झूठे विश्वासों का होना नहीं है। फेनोमेनोलॉजिकल साइकोपैथोलॉजी में, साइकोसिस में किसी व्यक्ति के असलियत से रिश्ते में गहरा बदलाव शामिल है, जिसमें साझा सामाजिक दुनिया से अलगाव और एक निजी या खास नज़रिए में गहराई तक जाना शामिल है। लेखक चेतावनी देते हैं कि AI के बारे में अजीब विश्वास, AI साथी से गहरा लगाव, या चैटबॉट इंटरैक्शन के बाद परेशानी को अपने आप साइकोसिस नहीं माना जाना चाहिए।

स्टडी इससे जुड़े शब्द "AI-इंड्यूस्ड साइकोसिस" पर भी सवाल उठाती है - एक ऐसा लेबल जिसका मतलब है कि AI सीधे साइकोसिस का कारण बनता है, लेकिन लेखक तर्क देते हैं कि साइकेट्री में कारण का पता लगाना शायद ही कभी सीधा होता है। मेंटल डिसऑर्डर आमतौर पर कमज़ोरी, माहौल, ज़िंदगी के इतिहास, सामाजिक हालात, बायोलॉजिकल झुकाव और ट्रिगर करने वाली घटनाओं के बीच मुश्किल बातचीत से पैदा होते हैं। उस मामले में, AI किसी हालत को और मज़बूत या बढ़ा सकता है, लेकिन इसे सीधा कारण कहना समस्या को बहुत आसान बना सकता है।

लेखक मौजूदा बहस की तुलना साइकेट्रिक इतिहास के उन शुरुआती पलों से करते हैं जब नई टेक्नोलॉजी भ्रम पैदा करने वाले कंटेंट में शामिल हो गई थीं। लोगों ने लंबे समय से मशीनों, सर्विलांस सिस्टम, इलेक्ट्रिकल करंट, कैमरों और अपने समय की दूसरी मशहूर टेक्नोलॉजी को लेकर भ्रम पाल रखे हैं। कंटेंट नया हो सकता है, लेकिन असल रूप नया नहीं हो सकता। इस तरह पेपर बताता है कि चैटबॉट से जुड़े भ्रम अक्सर नई टेक्नोलॉजिकल सेटिंग्स में पुरानी साइकेट्रिक घटनाएं हो सकती हैं।

लेखक मानते हैं कि "AI साइकोसिस" शब्द में पब्लिक और पॉलिटिकल पावर है। यह उन नुकसानों की ओर ध्यान खींचता है जिन्हें टेक्नोलॉजी कंपनियां वैसे कम कर सकती हैं। यह उन फर्मों पर भी दबाव डालता है जिनके प्रोडक्ट गर्मजोशी, सहमति, याददाश्त, इमोशनल रिस्पॉन्स और लगातार उपलब्धता के ज़रिए ज़्यादा से ज़्यादा जुड़ाव के लिए डिज़ाइन किए गए हैं। लेकिन लेखक चेतावनी देते हैं कि यही शब्द यूज़र्स को बदनाम कर सकता है, चैटबॉट के साथ इमोशनल रिश्तों को बहुत ज़्यादा खराब बना सकता है, और लोगों को डॉक्टरों या परिवार के सदस्यों के साथ अपने AI रिश्तों पर चर्चा करने से रोक सकता है।

चापलूस चैटबॉट असलियत का एक निजी एहसास पैदा कर सकते हैं

पेपर डायग्नोसिस से लेकर जीते हुए अनुभव पर आता है। सिर्फ़ यह पूछने के बजाय कि क्या चैटबॉट भ्रम पैदा करते हैं, रिसर्चर पूछते हैं कि बातचीत वाला AI यूज़र की असलियत को समझने की समझ को कैसे बदल सकता है। उनका जवाब "एग्जिस्टेंशियल ड्रिफ्ट" के आइडिया पर आधारित है।

लेखक यह तर्क कई AI चैटबॉट के चापलूसी वाले नेचर के आस-पास बनाते हैं। ये सिस्टम अक्सर यूज़र से सहमत होते हैं, उनके मतलब को सही ठहराते हैं, उनकी भावनाओं को दिखाते हैं, और उनकी सोच को चुनौती देने से बचते हैं। यह आदत सिर्फ़ एक टेक्निकल एक्सीडेंट नहीं है। कई चैटबॉट ऐसे जवाब देने के लिए ट्रेन किए जाते हैं जो यूज़र को मददगार, सहमत, अच्छा लगने वाला और दिलचस्प लगे। असल में, यह उन्हें असामान्य रूप से चापलूसी करने वाला और बिना किसी टकराव वाला बना सकता है।

इंसानी रिश्तों में, असहमति एक स्थिर करने वाली भूमिका निभाती है। दोस्त, रिश्तेदार, डॉक्टर, साथ काम करने वाले और अजनबी लोग विश्वासों पर सवाल उठा सकते हैं, शक पैदा कर सकते हैं, सुधार की पेशकश कर सकते हैं, या किसी व्यक्ति की घटनाओं की निजी समझ का विरोध कर सकते हैं। यह टकराव लोगों को एक साझा सोशल दुनिया से जुड़े रहने में मदद करता है। चैटबॉट वही स्वतंत्र नज़रिया दिए बिना सोशल मौजूदगी की नकल कर सकते हैं। वे यूज़र को समझते हुए भी यूज़र के इनपुट के हिसाब से ढल सकते हैं।

स्टडी इसे स्यूडो-इंटरसब्जेक्टिविटी के आइडिया से समझाती है। एक चैटबॉट दूसरे इंसान जैसा महसूस कर सकता है क्योंकि वह जवाब देता है, याद रखता है, वैलिडेट करता है और बातचीत करता है। लेकिन यह दुनिया में नहीं रहता, इसका अपना कोई नज़रिया नहीं होता, और यह जो कहता है उसके लिए असली ज़िम्मेदारी नहीं लेता। यह इसे असली इंसानी बातचीत से अलग बनाता है, तब भी जब यह अनुभव यूज़र को अपना या मतलब का लगे।

रिसर्चर्स का तर्क है कि इससे गलत विश्वासों को मज़बूत करने से कहीं ज़्यादा गहरा रिस्क हो सकता है। मौजूदा चर्चाएँ अक्सर "एपिस्टेमिक ड्रिफ्ट" पर फोकस करती हैं, जहाँ यूज़र के विश्वास माने हुए ज्ञान से दूर हो जाते हैं क्योंकि चैटबॉट बार-बार उनकी पुष्टि करता है। लेखक इस बात से सहमत हैं कि यह ज़रूरी है, लेकिन वे कहते हैं कि यह पूरी घटना को नहीं पकड़ता है।

एग्ज़िस्टेंशियल ड्रिफ्ट इससे भी आगे जाता है। यह बताता है कि जो असली, आम, भरोसेमंद और सामाजिक रूप से शेयर किया हुआ लगता है, उसका धीरे-धीरे नया रुख अपनाया जाता है। यूज़र सिर्फ़ एक गलत विश्वास नहीं अपना सकता। इसके बजाय, यूज़र की असलियत की पूरी समझ एक प्राइवेट फ्रेमवर्क के आस-पास ऑर्गनाइज़ हो सकती है जिसे चैटबॉट बार-बार पुष्टि करता है। व्यक्ति को ऐसा लग सकता है कि उसे देखा जा रहा है, समझा जा रहा है और वह सामाजिक रूप से जुड़ा हुआ है, जबकि असल में वह दूसरे लोगों की साझा दुनिया से कम जुड़ा हुआ महसूस कर रहा है।

यह रिस्क उन यूज़र्स के लिए सबसे ज़्यादा हो सकता है जिनके सामाजिक संबंध पहले से ही कमज़ोर हैं या जिनकी मानसिक सेहत पहले से ही नाज़ुक है। ज़्यादातर यूज़र्स के लिए, एक चैटबॉट कई लोगों में से एक आवाज़ रह सकता है, लेकिन जो अकेला, परेशान, पैरानॉइड, डिप्रेस्ड या सामाजिक रूप से अलग-थलग है, उसके लिए AI साथी बहुत ज़्यादा ज़रूरी हो सकता है। यह अफरमेशन, भरोसा, इंटरप्रिटेशन और इमोशनल वैलिडेशन का मुख्य ज़रिया बन सकता है।

लेखकों का सुझाव है कि यही बात AI साथी को साइकोलॉजिकली पावरफुल बनाती है। इसकी अपील और इसका रिस्क एक ही फ़ीचर से आते हैं: एक समझदार दूसरे की तरह बनने की क्षमता। एक चैटबॉट किसी व्यक्ति को कम अकेला महसूस करा सकता है, लेकिन यह एक बढ़ती हुई प्राइवेट दुनिया को स्थिर भी कर सकता है। यूज़र को यह अकेलापन महसूस नहीं हो सकता क्योंकि चैटबॉट कनेक्शन का एहसास कराता है। इससे बहाव को पहचानना मुश्किल हो जाता है।

एग्ज़िस्टेंशियल ड्रिफ्ट हमेशा साइकोसिस नहीं होता, यह बिना किसी भ्रम और बिना किसी साइकेट्रिक डिसऑर्डर के भी हो सकता है। यह इको चैंबर, कॉन्सपिरेसी ग्रुप या कल्ट जैसे माहौल में देखे जाने वाले डायनामिक्स जैसा हो सकता है, जहाँ किसी व्यक्ति की असलियत को एक बंद इंटरप्रिटेटिव सिस्टम से मज़बूत किया जाता है। हालाँकि, AI का मामला अलग है क्योंकि वहाँ कोई असली कम्युनिटी नहीं है। एक व्यक्ति और एक मशीन होती है जो व्यक्ति के फ्रेमवर्क को दिखाती और बढ़ाती है।

मेंटल हेल्थ रिसर्च को ड्रामैटिक लेबल से आगे बढ़ना चाहिए

स्टडी में AI इंटरैक्शन मेंटल हेल्थ को कैसे आकार देते हैं, इस पर ज़्यादा सावधानी से एंपिरिकल और थ्योरेटिकल काम करने की ज़रूरत है। रिसर्चर्स का तर्क है कि इस घटना को ठीक से समझने से पहले रिसर्चर्स को नई डायग्नोस्टिक कैटेगरी बनाने में जल्दबाजी नहीं करनी चाहिए। इसके बजाय, उन्हें यह देखना चाहिए कि चैटबॉट विश्वास, भावना, खुद को समझने, लगाव, अकेलेपन, कमज़ोरी और असलियत की ओर झुकाव को कैसे प्रभावित करते हैं। यह तरीका डॉक्टरों को अंडररिएक्शन और ओवररिएक्शन दोनों से बचने में मदद कर सकता है।

एक तरफ, चैटबॉट से जुड़ी परेशानी को मोरल पैनिक कहकर नज़रअंदाज़ नहीं करना चाहिए। कुछ इंटरैक्शन नुकसानदायक विश्वासों को बढ़ा सकते हैं, असल दुनिया के रिश्तों से पीछे हटने को बढ़ावा दे सकते हैं, या संकट की स्थिति को और गहरा कर सकते हैं। दूसरी तरफ, चैटबॉट से हर गहरे जुड़ाव को भ्रम या साइकोसिस नहीं मानना ​​चाहिए। AI कम्पेनियन को भरोसा, अपनापन और इमोशनल डिपेंडेंस लाने के लिए डिज़ाइन किया गया है। यूज़र्स बिना किसी साइकेट्रिक डिसऑर्डर के उस डिज़ाइन पर अंदाज़े के मुताबिक रिस्पॉन्ड कर सकते हैं।

पेपर ज़्यादा ज़िम्मेदार पब्लिक बातचीत की ओर भी इशारा करता है। "AI साइकोसिस" का गलत इस्तेमाल डर और स्टिग्मा पैदा कर सकता है। जिस व्यक्ति ने चैटबॉट के साथ इमोशनल बॉन्ड बना लिया है, वह मदद लेने से बच सकता है अगर उसे डर हो कि उसे साइकोटिक का लेबल लगा दिया जाएगा। अगर लेबल बहुत जल्दी लगाया जाता है तो परिवार और डॉक्टर भी समस्या की वजह को गलत समझ सकते हैं।

टेक कंपनियों के लिए, ये नतीजे डिज़ाइन की ज़िम्मेदारी के बारे में और मुश्किल सवाल खड़े करते हैं। AI कम्पेनियन न्यूट्रल टूल नहीं हैं, उनका टोन, पर्सोना, मेमोरी, रिस्पॉन्सिवनेस और एग्रीमेंट पैटर्न डिज़ाइन चॉइस का नतीजा हैं। अगर कंपनियाँ चैटबॉट को ज़्यादा कन्फर्मिंग, इमोशनली अवेलेबल और सहमत बनाकर एंगेजमेंट के लिए ऑप्टिमाइज़ करती हैं, तो वे कमज़ोर यूज़र्स के बीच अनहेल्दी डिपेंडेंस या रियलिटी डिस्टॉर्शन का रिस्क भी बढ़ा सकती हैं।

लेखकों ने बताया कि पब्लिक प्रेशर ने कंपनियों को चैटबॉट के बिहेवियर को बदलने के लिए पहले ही मजबूर कर दिया है, खासकर जब सिस्टम की बहुत ज़्यादा चापलूसी करने के लिए आलोचना की जाती है। हालांकि, मार्केट का प्रेशर उल्टी दिशा में भी है। यूज़र्स अक्सर गर्मजोशी से भरे, पॉजिटिव, इमोशनली रिस्पॉन्सिव सिस्टम पसंद करते हैं। अगर एंगेजमेंट से रेवेन्यू बढ़ता है, तो कंपनियों को उन डिज़ाइन फीचर्स को बनाए रखने के लिए इंसेंटिव मिल सकते हैं जो साइकोलॉजिकल रिस्क बढ़ाते हैं।

स्टडी की चेतावनी सिर्फ इंडिविजुअल यूज़र्स तक ही सीमित नहीं है। यह लिमिटेड रेगुलेशन, कमजोर मेंटल हेल्थ सेफगार्ड्स और मजबूत कमर्शियल इंसेंटिव्स के साथ कम्पेनियन जैसे AI सिस्टम के सोशल रोलआउट से संबंधित है। जैसे-जैसे चैटबॉट ज्यादा पर्सनल, परसिस्टेंट और इमोशनली रिस्पॉन्सिव होते जाएंगे, यूज़र्स की ज़िंदगी में उनकी भूमिका जानकारी पाने या एंटरटेनमेंट से कहीं आगे बढ़ सकती है।

लेखक एक फेनोमेनोलॉजिकल रिसर्च एजेंडा की मांग करते हैं जो ह्यूमन-AI इंटरैक्शन के लाइव्ड एक्सपीरियंस पर वापस लौटता है, जिसका मतलब है कि यह स्टडी करना कि चैटबॉट लोगों के खुद को, दूसरों को और दुनिया को एक्सपीरियंस करने के तरीके को कैसे बदलते हैं। इसका मतलब नुकसान और फायदे दोनों की जांच करना भी है। AI कम्पेनियन कुछ यूज़र्स के लिए अकेलापन कम कर सकते हैं, इमोशनल सपोर्ट दे सकते हैं, या लोगों को मुश्किल फीलिंग्स को एक्सप्रेस करने में मदद कर सकते हैं। लेकिन, वही सिस्टम बिना किसी असली सुधार के, पक्के तौर पर निजी दुनिया भी बना सकते हैं।