पेंटागन अपने एआई सिस्टम में कमजोरियों को दूर करने के लिए काम कर रहा है, जिसका फायदा हमलावरों द्वारा विज़ुअल ट्रिक्स या हेरफेर किए गए संकेतों का उपयोग करके उठाया जा सकता है। उनका अनुसंधान कार्यक्रम, गारंटीिंग एआई रोबस्टनेस अगेंस्ट डिसेप्शन (GARD), 2022 से इन "प्रतिकूल हमलों" की जांच कर रहा है।
शोधकर्ताओं ने दिखाया है कि कैसे हानिरहित प्रतीत होने वाले पैटर्न एआई को वस्तुओं की गलत पहचान करने में मूर्ख बना सकते हैं, जिससे संभावित रूप से युद्ध के मैदान पर विनाशकारी परिणाम हो सकते हैं। उदाहरण के लिए, एक एआई यात्रियों से भरी बस को गलती से टैंक समझ सकता है यदि उस पर सही "दृश्य शोर" का टैग लगा हो।
पेंटागन के स्वायत्त हथियारों के विकास के बारे में सार्वजनिक चिंताओं के बीच ये चिंताएँ सामने आई हैं। इसे संबोधित करने के लिए, रक्षा विभाग ने हाल ही में अपने एआई विकास नियमों को अद्यतन किया है, जिसमें "जिम्मेदार व्यवहार" पर जोर दिया गया है और सभी तैनात प्रणालियों के लिए अनुमोदन की आवश्यकता है।
मामूली वित्त पोषित गार्ड कार्यक्रम ने ऐसे हमलों के खिलाफ सुरक्षा विकसित करने में प्रगति की है। उन्होंने नवगठित रक्षा विभाग के मुख्य डिजिटल और एआई कार्यालय (सीडीएओ) को कुछ उपकरण भी प्रदान किए हैं।
हालाँकि, कुछ वकालत समूह चिंतित हैं। उन्हें चिंता है कि एआई-संचालित हथियार स्थितियों की गलत व्याख्या कर सकते हैं और बिना किसी कारण के हमला कर सकते हैं, यहां तक कि किसी के जानबूझकर संकेतों में हेरफेर किए बिना भी। उनका तर्क है कि ऐसे हथियारों से विशेषकर तनावपूर्ण क्षेत्रों में अनपेक्षित तनाव बढ़ सकता है
पेंटागन सक्रिय रूप से स्वायत्त हथियारों के साथ अपने शस्त्रागार का आधुनिकीकरण कर रहा है, इन कमजोरियों को संबोधित करने और इस तकनीक के जिम्मेदार विकास को सुनिश्चित करने की तात्कालिकता पर प्रकाश डाल रहा है।
डिफेंस एडवांस्ड रिसर्च प्रोजेक्ट्स एजेंसी के एक बयान के अनुसार, टू सिक्स टेक्नोलॉजीज, आईबीएम, एमआईटीआरई, शिकागो विश्वविद्यालय और गूगल रिसर्च के जीएआरडी शोधकर्ताओं ने निम्नलिखित वर्चुअल टेस्टबेड, टूलबॉक्स, बेंचमार्किंग डेटासेट और प्रशिक्षण सामग्री तैयार की है जो अब व्यापक रूप से उपलब्ध हैं। अनुसंधान समुदाय: