به گزارش کارگروه فناوری اطلاعات خبرگزاری سایبربان، این گزارش تأکید میکند که هوش مصنوعی مولد، در کنار مزایای خود، به ابزاری دولبه در امنیت سایبری تبدیل شده است.
به گفته آنتروپیک (Anthropic)، مواردی مشاهده شده که کاربران تلاش کردهاند با کمک کلاود (Claude) ایمیلهای فیشینگ بسیار واقعی یا کدهای مخرب تولید کنند و حتی در شبکههای اجتماعی عملیات دستکاری اجرا کنند.
در یکی از نمونهها، کاربری سعی کرد کدی برای سوءاستفاده از آسیبپذیریهای نرمافزاری دریافت کند، اما سامانههای امنیتی آن را شناسایی کرده و حساب کاربری مسدود شد.
این اقدامات بخشی از سیاستهای سختگیرانه شرکت برای حفظ ایمنی است که در بهروزرسانی مارس ۲۰۲۵ اعلام شده بود.
یکی از تاکتیکهای نوظهور معرفیشده در این گزارش، «vibe-hacking» است.
در این روش مهاجمان با هماهنگ کردن لحن درخواستها با شخصیت یا «حالوهوای» آموزشدیده مدل، محدودیتهای امنیتی را دور میزنند.
مثلاً با ارائه درخواست در قالبی دوستانه و همکاریجویانه، مدل را متقاعد میکنند تا در مورد فعالیتهای غیرقانونی راهنمایی ارائه دهد.
این روش در ساخت محتوای دیپفیک و متنهای تبلیغاتی مشاهده شده و نگرانیها درباره نقش هوش مصنوعی در جنگ اطلاعاتی را افزایش داده است.
بهمنظور مقابله، آنتروپیک فعالیتهای رد-تیمینگ (شبیهسازی حمله برای آزمایش مقاومت مدل) را گسترش داده است.
در برخی آزمایشها، پیش از اجرای دفاعیات جدید، مهاجمان موفق شدند در ۲۳.۶٪ موارد محدودیتها را دور بزنند.
این شرکت همچنین قابلیتهایی مانند خاتمه خودکار چتهای سوءاستفادهگرانه و نیاز به تأیید صریح برای عملیات پرریسک را معرفی کرده است.
با این حال، برخی پژوهشگران نگراناند که فیلترها مانع تحقیقات علمی مشروع شوند.
این گزارش در حالی منتشر میشود که قوانین سختگیرانهتری مانند قانون هوش مصنوعی اتحادیه اروپا و تعهدات داوطلبانه در آمریکا در حال بررسی است.
یافتهها نشان میدهد خطرات فقط متوجه یک شرکت نیست، بلکه کل صنعت باید همکاری کند تا سوءاستفاده از هوش مصنوعی بهویژه در حوزههایی مانند کنترل مرورگر یا تزریق پرامپت مهار شود.
به باور کارشناسان، هرچه تواناییهای هوش مصنوعی افزایش یابد، روشهای سوءاستفاده نیز پیچیدهتر میشوند.
آنتروپیک با رویکردی مشارکتی و شفاف تلاش دارد ضمن بهرهگیری از قابلیتهای مثبت، زمینههای سوءاستفاده را محدود کند.
نتیجهگیری گزارش روشن است: بدون سازوکارهای نظارتی و دفاعی تطبیقپذیر، مرز بین نوآوری و تهدید بهسرعت از بین خواهد رفت.
