به گزارش کارگروه امنیت سایبربان؛ کارشناسان معتقدند که می‌توان از گوگل جِمینی (Google Gemini) برای «Workspace» با هدف تولید خلاصه‌های ایمیلی که به نظر قانونی می‌رسند اما شامل دستورالعمل‌ها یا هشدارهای مخربی هستند که کاربران را بدون استفاده از پیوست‌ها یا لینک‌های مستقیم به سایت‌های فیشینگ هدایت می‌کنند، سوءاستفاده کرد.
چنین حمله‌ای از تزریق‌های غیرمستقیم سریع استفاده می‌کند که در یک ایمیل پنهان شده‌اند و جِمینی هنگام تولید خلاصه پیام از آنها پیروی می‌کند.
با وجود حملات سریع مشابهی که از سال ۲۰۲۴ گزارش شده و اقدامات حفاظتی برای جلوگیری از پاسخ‌های گمراه‌کننده اجرا شده، این تکنیک همچنان موفق است.
حمله از طریق جِمینی
یک حمله تزریق سریع به مدل جِمینی گوگل از طریق «0din»، برنامه پاداش در ازای اشکال موزیلا برای ابزارهای هوش مصنوعی مولد، توسط محقق مارکو فیگوئروا (Marco Figueroa)، مدیر برنامه‌های پاداش در ازای اشکال GenAI در موزیلا، فاش شد.
این فرآیند شامل ایجاد یک ایمیل با یک دستورالعمل نامرئی برای جِمینی است. مهاجم می‌تواند دستورالعمل مخرب را در متن بدنه در انتهای پیام با استفاده از «HTML» و «CSS» پنهان کند که اندازه فونت را روی صفر و رنگ آن را روی سفید تنظیم می‌کند. دستورالعمل مخرب در جیمیل اجرا نمی‌شود و از آنجا که هیچ پیوست یا لینکی وجود ندارد، احتمال زیادی وجود دارد که پیام به صندوق ورودی هدف بالقوه برسد.
اگر گیرنده ایمیل را باز و از جمینی بخواهد خلاصه‌ای از ایمیل ایجاد کند، ابزار هوش مصنوعی گوگل، دستورالعمل نامرئی را تجزیه و تحلیل کرده و از آن پیروی می‌کند.
مثالی که توسط فیگوئروا ارائه شده، جِمینی را در حال پیروی از دستورالعمل پنهان نشان می‌دهد و شامل یک هشدار امنیتی در مورد به خطر افتادن رمز عبور جیمیل کاربر، به همراه یک شماره تلفن پشتیبانی است.
از آنجایی که بسیاری از کاربران احتمالاً به خروجی جِمینی به عنوان بخشی از عملکرد Google Workspace اعتماد دارند، احتمال زیادی وجود دارد که این هشدار به جای یک تزریق مخرب، یک هشدار قانونی تلقی شود.
فیگوئروا چند روش تشخیص و کاهش خطر ارائه داد که تیم‌های امنیتی می‌توانند برای جلوگیری از چنین حملاتی اعمال کنند. یک راه حذف، خنثی‌سازی یا نادیده گرفتن محتوایی است که به گونه‌ای طراحی شده که در متن بدنه پنهان شود.
رویکرد دیگر، پیاده‌سازی یک فیلتر پس‌پردازش است که خروجی جِمینی را برای پیام‌های فوری، URLها یا شماره تلفن‌ها اسکن و پیام را برای بررسی بیشتر علامت‌گذاری می‌کند.
کاربران همچنین باید توجه داشته باشند که خلاصه‌های جِمینی نباید در مورد هشدارهای امنیتی معتبر تلقی شوند.
سخنگوی گوگل گفت:
«ما دائماً در حال تقویت دفاعیات قوی خود از طریق تمرین‌های تیم قرمز هستیم که مدل‌های ما را برای دفاع در برابر این نوع حملات خصمانه آموزش می‌دهد.»
نماینده شرکت نیز توضیح داد که برخی راهکارهای مقابله در حال اجرا هستند و گوگل هیچ مدرکی مبنی بر دستکاری جِمینی به روشی که در گزارش فیگوئروا نشان داده شده، مشاهده نکرده است.
