आईआईआईटी-एच के शोधकर्ता मशीनों को फिल्मों का उपयोग करके भावनाओं की व्याख्या करना सिखे

हैदराबाद: अंतर्राष्ट्रीय सूचना प्रौद्योगिकी संस्थान, हैदराबाद (IIIT-H) के शोधकर्ता मानवीय भावनाओं और मानसिक अवस्थाओं को पहचानने और उनकी व्याख्या करने के लिए शिक्षण मशीनें हैं। यह प्रभावी कंप्यूटिंग के विकसित क्षेत्र का एक हिस्सा है।

एक नए मशीन लर्निंग (एमएल) मॉडल के साथ जो जटिल फिल्म दृश्यों से भावनाओं का विश्लेषण करता है, IIIT-H सेंटर फॉर विज़ुअल इंफॉर्मेशन टेक्नोलॉजी (CVIT) के शोधकर्ताओं ने कृत्रिम बुद्धिमत्ता (AI) को लक्ष्य के करीब ले लिया है।

एक अध्ययन में, 'आप कैसा महसूस कर रहे हैं'? फिल्म के दृश्यों में भावनाओं और मानसिक अवस्थाओं को सीखना, 'प्राथमिक लेखक ध्रुव श्रीवास्तव सह-लेखक आदित्य कुमार सिंह और प्रोफेसर मकरंद तपस्वी के साथ एक मशीन लर्निंग (एमएल) मॉडल पेश करते हैं जो न केवल भावनाओं को समझने और लेबल करने के लिए एक ट्रांसफॉर्मर-आधारित वास्तुकला पर निर्भर करता है। दृश्य में प्रत्येक फिल्म के चरित्र के लिए बल्कि समग्र दृश्य के लिए भी।

सिनेमा में रोजमर्रा की जिंदगी में मौजूद जटिलताओं को प्रतिबिंबित करने वाली बड़ी मात्रा में भावनात्मक डेटा रखने के साथ, अनुसंधान समूह ने फिल्मों को अपने शुरुआती बिंदु के रूप में अपनाया। हालांकि, स्थैतिक छवियों के विपरीत, फिल्में व्याख्या करने के लिए मशीनों के लिए बेहद जटिल हैं।

अपने मॉडल को प्रशिक्षित करने के लिए, शोधकर्ताओं की टीम ने प्रो. तपस्वी द्वारा मूवीग्राफ्स नामक अपने पिछले काम में एकत्रित मूवी क्लिप के मौजूदा डेटासेट का उपयोग किया जो फिल्म के दृश्यों में चित्रित सामाजिक स्थितियों के विस्तृत ग्राफ-आधारित एनोटेशन प्रदान करता है।

वास्तव में, EmoTx को तीन-आयामी प्रक्रिया के माध्यम से प्रत्येक दृश्य में पात्रों की भावनाओं और मानसिक अवस्थाओं को सटीक रूप से लेबल करने के लिए प्रशिक्षित किया गया था - एक, पूर्ण वीडियो और इसमें शामिल क्रियाओं का विश्लेषण करके, दो, विभिन्न पात्रों की व्यक्तिगत चेहरे की विशेषताओं की व्याख्या करके और तीन, प्रत्येक दृश्य में संवादों के साथ उपशीर्षक निकालकर।