हालांकि, नेटक्राफ्ट की एक नई रिपोर्ट का दावा है कि इन एआई टूल में लगाए गए ट्रस्ट को गलत तरीके से समाप्त किया जा सकता है, क्योंकि उपयोगकर्ता फ़िशिंग हमलों का शिकार हो सकते हैं। इसमें कहा गया है कि ये एआई उपकरण मतिभ्रम से ग्रस्त हैं, जिसके परिणामस्वरूप गलत URL होते हैं जो बड़े पैमाने पर फ़िशिंग घोटाले हो सकते हैं।
रिपोर्ट के अनुसार, Openai के GPT-4.1 मॉडल के परिवार को वेबसाइट लिंक के लिए वित्त, खुदरा, तकनीक और उपयोगिताओं जैसे उद्योगों में 50 अलग-अलग ब्रांडों में लॉग इन करने के लिए कहा गया था। जबकि चैटबॉट को 66% मामलों में सही URL मिला, इसने उन्हें 34% मामलों में गलत कर दिया। यह, रिपोर्ट का दावा है, उपयोगकर्ताओं को संभावित हानिकारक URL खोलने के लिए प्रेरित कर सकता है और बड़े पैमाने पर फ़िशिंग अभियानों के लिए दरवाजा खोल सकता है।
इसके अलावा, रिपोर्ट में कहा गया है कि वैध उत्पाद प्रलेखन या समर्थन हब होने का नाटक करते हुए क्रिप्टो उपयोगकर्ताओं को लक्षित करने वाले 17,000 से अधिक एआई-लिखित गिटबुक फ़िशिंग पेज हैं। यह नोट करता है कि ये साइटें स्वच्छ, तेज और भाषाई रूप से एआई की खपत के लिए ट्यून की गई हैं – जिससे वे मनुष्यों के लिए अच्छे और मशीनों के लिए अप्रतिरोध्य दिखते हैं।
यह संभावित रूप से एक बड़ी भेद्यता हो सकती है, जहां एआई चैटबॉट्स पर भरोसा करने वाले उपयोगकर्ता फ़िशिंग वेबसाइट खोलते हैं, और इस खामियों से अवगत हमलावर इन लावारिस वेबसाइटों को फ़िशिंग घोटाले चलाने के लिए पंजीकृत कर सकते हैं।
रिपोर्ट में एक वास्तविक दुनिया के उदाहरण पर भी ध्यान दिया गया है, जहां वेल्स फारगो के आधिकारिक URL के लिए पूछे जाने पर पेरप्लेक्सिटी एआई ने एक फ़िशिंग साइट का सुझाव दिया था।
छोटे ब्रांडों को इस तरह के एआई मतिभ्रम से अधिक प्रभावित कहा जाता है, यह देखते हुए कि वे एलएलएम प्रशिक्षण डेटा में दिखाई देने की संभावना कम हैं।
हमलावर एआई का लाभ उठाना चाहते हैं
नेटक्राफ्ट ने ‘जहर’ एआई कोडिंग सहायकों के लिए एक और परिष्कृत अभियान को भी उजागर किया। हमलावरों ने वैध सोलाना ब्लॉकचेन को लागू करने के लिए डिज़ाइन किया गया एक नकली एपीआई बनाया, और डेवलपर्स अपनी परियोजनाओं में दुर्भावनापूर्ण एपीआई सहित अनजाने में जाल का शिकार हो गए। इससे सीधे हमलावरों के बटुए में लेनदेन का मार्ग था।
एक अन्य परिदृश्य में, हमलावरों ने एआई प्रशिक्षण पाइपलाइनों द्वारा अनुक्रमित होने के लिए, मूनशॉट-वॉल्यूम-बॉट नामक एक नकली परियोजना को बढ़ावा देने के लिए ब्लॉग ट्यूटोरियल, फोरम क्यू एंड एएस, और दर्जनों जीथब रेपो को लॉन्च किया।
