अनुसंधान- प्रशिक्षण एल्गोरिदम तोड़ता है गहरे भौतिक तंत्रिका नेटवर्क की बाधाओं को

वाशिंगटन डीसी: ईपीएफएल शोधकर्ताओं ने एक एल्गोरिदम बनाया जो एक एनालॉग न्यूरल नेटवर्क को डिजिटल नेटवर्क की तरह ही सटीक रूप से प्रशिक्षित कर सकता है, जिससे बिजली की खपत करने वाले डीप लर्निंग हार्डवेयर के लिए अधिक कुशल विकल्पों के विकास की अनुमति मिलती है।

पारंपरिक प्रोग्रामिंग के बजाय एल्गोरिथम ‘लर्निंग’ के माध्यम से बड़ी मात्रा में डेटा संसाधित करने की उनकी क्षमता के साथ, अक्सर ऐसा लगता है कि चैट-जीपीटी जैसे गहरे तंत्रिका नेटवर्क की क्षमता असीमित है। लेकिन जैसे-जैसे इन प्रणालियों का दायरा और प्रभाव बढ़ा है, वैसे-वैसे उनका आकार, जटिलता और ऊर्जा खपत भी बढ़ी है – जिनमें से उत्तरार्द्ध वैश्विक कार्बन उत्सर्जन में योगदान के बारे में चिंताएं बढ़ाने के लिए काफी महत्वपूर्ण है।

और जबकि हम अक्सर एनालॉग से डिजिटल में बदलाव के संदर्भ में तकनीकी प्रगति के बारे में सोचते हैं, शोधकर्ता अब डिजिटल डीप न्यूरल नेटवर्क के भौतिक विकल्पों में इस समस्या का उत्तर तलाश रहे हैं। ऐसे ही एक शोधकर्ता हैं स्कूल ऑफ इंजीनियरिंग में ईपीएफएल की वेव इंजीनियरिंग प्रयोगशाला के रोमेन फ़्ल्यूरी।

साइंस में प्रकाशित एक पेपर में, उन्होंने और उनके सहयोगियों ने भौतिक प्रणालियों के प्रशिक्षण के लिए एक एल्गोरिदम का वर्णन किया है जो अन्य तरीकों की तुलना में बेहतर गति, बढ़ी हुई मजबूती और कम बिजली की खपत दिखाता है।

“हमने तीन तरंग-आधारित भौतिक प्रणालियों पर अपने प्रशिक्षण एल्गोरिदम का सफलतापूर्वक परीक्षण किया है जो इलेक्ट्रॉनों के बजाय जानकारी ले जाने के लिए ध्वनि तरंगों, प्रकाश तरंगों और माइक्रोवेव का उपयोग करते हैं। लेकिन हमारे बहुमुखी दृष्टिकोण का उपयोग किसी भी भौतिक प्रणाली को प्रशिक्षित करने के लिए किया जा सकता है,” पहले लेखक और कहते हैं वामपंथी उग्रवादी शोधकर्ता अली मोमेनी।

एक “जैविक रूप से अधिक प्रशंसनीय” दृष्टिकोण
तंत्रिका नेटवर्क प्रशिक्षण से तात्पर्य छवि या वाक् पहचान जैसे कार्य के लिए मापदंडों के इष्टतम मूल्यों को उत्पन्न करने में सिस्टम को सीखने में मदद करना है। इसमें पारंपरिक रूप से दो चरण शामिल हैं: एक फॉरवर्ड पास, जहां डेटा नेटवर्क के माध्यम से भेजा जाता है और आउटपुट के आधार पर एक त्रुटि फ़ंक्शन की गणना की जाती है; और एक बैकवर्ड पास (जिसे बैकप्रॉपैगेशन या बीपी के रूप में भी जाना जाता है), जहां सभी नेटवर्क मापदंडों के संबंध में त्रुटि फ़ंक्शन के ग्रेडिएंट की गणना की जाती है।

बार-बार दोहराए जाने पर, सिस्टम तेजी से सटीक मान लौटाने के लिए इन दो गणनाओं के आधार पर खुद को अपडेट करता है। समस्या? अत्यधिक ऊर्जा-गहन होने के अलावा, बीपी भौतिक प्रणालियों के लिए खराब अनुकूल है। वास्तव में, भौतिक प्रणालियों के प्रशिक्षण के लिए आमतौर पर बीपी चरण के लिए एक डिजिटल ट्विन की आवश्यकता होती है, जो अक्षम है और वास्तविकता-सिमुलेशन बेमेल का जोखिम उठाता है।

वैज्ञानिकों का विचार प्रत्येक नेटवर्क परत को स्थानीय रूप से अद्यतन करने के लिए भौतिक प्रणाली के माध्यम से बीपी चरण को दूसरे फॉरवर्ड पास से बदलना था। बिजली के उपयोग को कम करने और डिजिटल ट्विन की आवश्यकता को समाप्त करने के अलावा, यह विधि मानव सीखने को बेहतर ढंग से दर्शाती है।

मोमेनी बताते हैं, “तंत्रिका नेटवर्क की संरचना मस्तिष्क से प्रेरित होती है, लेकिन यह संभावना नहीं है कि मस्तिष्क बीपी के माध्यम से सीखता है।” “यहाँ विचार यह है कि यदि हम प्रत्येक भौतिक परत को स्थानीय स्तर पर प्रशिक्षित करते हैं, तो हम पहले इसका डिजिटल मॉडल बनाने के बजाय अपनी वास्तविक भौतिक प्रणाली का उपयोग कर सकते हैं।

इसलिए हमने एक ऐसा दृष्टिकोण विकसित किया है जो जैविक रूप से अधिक प्रशंसनीय है।”

सीएनआरएस आईईटीआर के फिलिप डेल हॉग्ने और माइक्रोसॉफ्ट रिसर्च के बाबाक रहमानी के साथ ईपीएफएल शोधकर्ताओं ने प्रयोगात्मक ध्वनिक और माइक्रोवेव सिस्टम को प्रशिक्षित करने के लिए अपने भौतिक स्थानीय शिक्षण एल्गोरिदम (पीएचवाईएलएल) का उपयोग किया और स्वर ध्वनियों और छवियों जैसे डेटा को वर्गीकृत करने के लिए एक मॉडल ऑप्टिकल सिस्टम का उपयोग किया। बीपी-आधारित प्रशिक्षण में तुलनीय सटीकता दिखाने के साथ-साथ, यह विधि आधुनिक स्थिति की तुलना में अप्रत्याशित बाहरी गड़बड़ी के संपर्क में आने वाली प्रणालियों में भी मजबूत और अनुकूलनीय थी।

एक अनुरूप भविष्य?
जबकि वामपंथी उग्रवाद का दृष्टिकोण गहरे भौतिक तंत्रिका नेटवर्क का पहला बीपी-मुक्त प्रशिक्षण है, मापदंडों के कुछ डिजिटल अपडेट अभी भी आवश्यक हैं। मोमेनी कहते हैं, “यह एक हाइब्रिड प्रशिक्षण दृष्टिकोण है, लेकिन हमारा उद्देश्य डिजिटल गणना को यथासंभव कम करना है।”
शोधकर्ता अब अपने एल्गोरिदम को छोटे पैमाने के ऑप्टिकल सिस्टम पर लागू करने की उम्मीद करते हैं, जिसका अंतिम लक्ष्य नेटवर्क स्केलेबिलिटी बढ़ाना है।

“हमारे प्रयोगों में, हमने 10 परतों तक के तंत्रिका नेटवर्क का उपयोग किया, लेकिन क्या यह अभी भी अरबों मापदंडों के साथ 100 परतों के साथ काम करेगा? यह अगला कदम है, और भौतिक प्रणालियों की तकनीकी सीमाओं पर काबू पाने की आवश्यकता होगी।”