به گزارش کارگروه فناوری اطلاعات سایبربان، شرکت آنتروپیک از قابلیت جدیدی در مدل‌های هوش مصنوعی کلود خود رونمایی کرده است که به آنها اجازه می‌دهد مکالماتی را که مضر یا غیرمولد می‌دانند، پایان دهند.
این ویژگی به‌گونه‌ای طراحی شده است که به سیستم‌های هوش مصنوعی اجازه می‌دهد از ورودی‌های سمی یا تناقضات اخلاقی جدا شوند و این نشان‌دهنده حرکت به سمت رفتارهای ایمن‌تر و خودمختارتر است.
این تصمیم پس از بررسی داخلی بیش از 700 هزار تعامل کلود گرفته شده است، که در آن محققان هزاران ارزش را که نحوه‌ی پاسخ سیستم را در سناریوهای دنیای واقعی شکل می‌دهند، شناسایی کردند.
آنتروپیک با فعال‌کردن کلود برای خروج از تبادلات مشکل‌ساز، امیدوار است قابلیت اعتماد را بهبود بخشد و درعین‌حال از مدل‌های خود در برابر موقعیت‌هایی که ممکن است عملکرد را در طول زمان کاهش دهند، محافظت کند.
واکنش صنعت متفاوت بوده است. بسیاری از محققان این گام را به‌عنوان طرحی برای طراحی مسئولانه هوش مصنوعی ستودند. در مقابل، برخی دیگر ابراز نگرانی کردند که اجازه‌دادن به مدل‌ها برای خاتمه خودکار مکالمات می‌تواند تعامل کاربر را محدود کند یا تعصبات ناخواسته‌ای ایجاد کند.
منتقدان همچنین هشدار دادند که مفهوم رفاه مدل، خطر انسان‌انگاری بیش از حد هوش مصنوعی را به همراه دارد و به طور بالقوه تمرکز را از ایمنی انسان دور می‌کند.
این به‌روزرسانی در کنار سایر نوآوری‌های اخیر آنتروپیک، از جمله ویژگی‌های حافظه که به کاربران امکان می‌دهد تاریخچه مکالمات را حفظ کنند، ارائه می‌شود.
