LLM की गणितीय तर्क क्षमताओं में महत्वपूर्ण सीमाओं को उजागर किया

Technology टेक्नोलॉजी: Apple के शोधकर्ताओं द्वारा हाल ही में किए गए शोध में ChatGPT और LLaMA जैसे बड़े भाषा मॉडल (LLM) की गणितीय तर्क क्षमताओं में महत्वपूर्ण सीमाओं को उजागर किया गया है। प्राकृतिक भाषा प्रसंस्करण में उल्लेखनीय प्रगति के बावजूद, निष्कर्ष बताते हैं कि ये मॉडल वास्तविक तार्किक तर्क से रहित हैं। इसके बजाय, वे मुख्य रूप से अपने प्रशिक्षण डेटासेट में देखे गए पैटर्न पर निर्भर करते हैं। इन सीमाओं का मूल्यांकन करने के लिए, टीम ने GSM-Symbolic नामक एक बेंचमार्क बनाया, जिसे विशेष रूप से गणितीय प्रश्नों के प्रतीकात्मक बदलावों के माध्यम से LLM की गणितीय तर्क क्षमताओं का आकलन करने के लिए डिज़ाइन किया गया था।

परिणामों ने प्रश्नों में मामूली बदलावों का सामना करने पर मॉडल से असंगत प्रदर्शन का खुलासा किया, यह सुझाव देते हुए कि वे वास्तविक तर्क के माध्यम से नहीं बल्कि संभाव्य पैटर्न मिलान के माध्यम से मुद्दों से निपटते हैं। शोध यह भी दर्शाता है कि समस्याओं की जटिलता बढ़ने के साथ सटीकता में महत्वपूर्ण गिरावट आती है। एक उदाहरण में, गणित की समस्या में अप्रासंगिक जानकारी पेश करने से गलत उत्तर मिले, जिससे समस्या-समाधान के लिए आवश्यक महत्वपूर्ण और तुच्छ विवरणों के बीच अंतर करने में मॉडल की अक्षमता का प्रदर्शन हुआ। यह महत्वपूर्ण अध्ययन ऐसे समय में सामने आया है जब एप्पल आर्टिफिशियल इंटेलिजेंस में अपनी उपस्थिति को बढ़ाना चाहता है, गूगल और ओपनएआई जैसे प्रमुख खिलाड़ियों के साथ प्रतिस्पर्धा कर रहा है। गणितीय तर्क में पहचानी गई सीमाएँ एप्पल के लिए अपना स्वयं का एआई समाधान विकसित करने की नींव रख सकती हैं, जिसे संभवतः एप्पल इंटेलिजेंस नाम दिया जा सकता है। हालाँकि, यह ध्यान रखना महत्वपूर्ण है कि अध्ययन अन्य क्षेत्रों का पता नहीं लगाता है जहाँ एलएलएम दक्षता प्रदर्शित करते हैं, जैसे कि टेक्स्ट जनरेशन और जटिल भाषा कार्य।