فریب دادن هوش مصنوعی با دستکاری داده ها

ساخت نمونه های خصمانه، به منظور حصول اطمینان از این که الگوریتم ها و شبکه های عصبی به اندازه ی همتایان زیستی خود قدرتمند هستند، از اهمیت بالایی برخوردار است.

درنهایت انتظار می رود که یک شی، بدون در نظر گرفتن اندازه، رنگ و جهت گیری آن یا میزان اختلال و تداخلی که روی آن قرار گرفته است، به عنوان آنچه که هست شناسایی شود.

این سامانه ها نباید عمدا و به راحتی فریب بخورند. البته ایده ی توانایی فریب دادن هوش مصنوعی به طور نامحسوس، پیامد های گسترده تری در صداقت کلی و سطح عملکرد این فناوری دارد. این مسئله موجب نگرانی های امنیتی عمیق تری نیز می شود.

در مطالعاتی که سال 2018 در مجله ی «دیدگاه رایانه و تشخیص الگو» (Computer Vision and Pattern Recognition) منتشر شد، پژوهشگران توانستند با استفاده از نمونه های خصمانه ، یک سیستم عصبی را به طبقه بندی اشتباه علائم جاده ای وا دارند.

یکی دیگر از بررسی هایی که در همان سال توسط محققان دانشگاه کالیفرنیا برکلی انجام شد، نشان داد که نمونه های خصمانه مخفی شده در صداهای ضبط شده می تواند یک سامانه ی تشخیص صدا را فریب دهد. به این صورت که سیستم از آنچه که به ظاهر یک پیام معمولی به هر فردی است، یک پیام کاملا متفاوت به دلخواه مهاجم رونویسی می کند. تصور کنید که یک هکر قادر به ارسال یک پیام صوتی به الکسا (Alexa) یا برنامه های مشابه است. این پیام ها می توانند در ظاهر یک پرس و جوی ساده درمورد آب و هوای روز باشند؛ اما در واقع حاوی کد و دستوالعمل های مخرب هستند.

مطالعات انجام شده، به چندین خطر احتمالی واقعی اشاره دارد. مهاجمان مخرب می توانند از نمونه های خصمانه بهره ببرند تا تصاویر واضحی را از میان فیلترها عبور دهند، ویروس ها و بدافزارها را وارد سیستم کنند، از دوربین های نظارتی به طور مخفیانه عبور کنند و حتی وسایل نقلیه ی مستقل و نیمه مستقل را فریب داده تا چراغ های راهنمایی، علائم و خط کشی معابر را نادیده بگیرند.

با این که حملات یاد شده هنوز در دنیای واقعی اتفاق نیافتاده اند؛ ولی آن ها نشانگر یک تهدید بسیار واقعی و اجتناب ناپذیر هستند؛ مگر اینکه محققان و توسعه دهندگان بتوانند از آن جلوگیری کنند.

هیچ ترفندی ساده نیست

چالش امروزه ی محققان هوش مصنوعی این است که روش های رایج برای ساخت نمونه های خصمانه، با اینکه موثرند، اما کیفیت و دقت مورد پسند محققان و توسعه دهندگان را ارائه نمی دهند. به خصوص زمانی که این نمونه ها، روی برنامه هایی به غیر از تشخیص عکس اعمال می شوند. همانند برای مثال می توان به برنامه های تشخیص گفتار، تخمین حالت بدن انسان -که حالت بدن را در یک فضای مشخص، شناسایی می کند- یا ترجمه های ماشینی که زبان ها را از یک ماشین به دیگری ترجمه می کند، اشاره کرد.

یک نمونه ی خصمانه معمولی، توسط وارد کردن اختلال به یک مجموعه داده ساخته می شود. در مورد یک تصویر، ممکن است مقادیر و وزن پیکسل های موجود در یک عکس را تغییر دهند. در مورد صدا ممکن است اختلالات پس زمینه ی نامحسوس به محتوا اضافه شود یا تحریف کلمات صورت گیرد. همه ی این موارد، چالش هایی هستند که انسان ها به راحتی بر آن چیره می شوند؛ اما می توانند برای هوش مصنوعی مشکل ساز باشند.

مشکل روش های مذکور این است که نتایج آن ها لزوما به راه کاری فوری برای بهبود شبکه یا سامانه ی عصبی تبدیل نمی شوند. برای مثال، کیفیت سامانه های تشخیص گفتار، با میزان خطای کلمات آن ها سنجیده می شود. بنابراین اگر امکان فریب سامانه وجود دارد تا کلمه ی سیب را با کلمه ی پرتقال اشتباه بگیرد، برای پژوهشگران سوال است که راه حل چیست؟ آیا سیستم باید برای شناسایی این واژه های خاص بیشتر آموزش ببیند؟ آیا باید درک بهتری از متن کلی یک جمله داده شود تا سیستم در پی بردن به اینکه کلمه ی مورد نظر چیست، بهتر عمل کند؟ شاید یک راه حل کامل دیگر؟

افزون بر این، روش های ایجاد نمونه های خصمانه، میان مدل ها انتقال نمی یابد. شبکه های عصبی، ماهیت لایه ای دارند که لایه های مختلف، وظایف خاص خود را انجام می دهند. به این معنا که محققان برای حمله به مدل های خاص، نیاز به ساخت نمونه های خصمانه متفاوت دارند. این کار می تواند زمان بر و پیچیده باشد.

با این حال، گروه های تحقیقاتی در حال تلاش برای مقابله با مشکل یاد شده هستند. در سال 2017، پژوهشگران بخش تحقیق هوش مصنوعی فیسبوک (FAIR) در پاریس و دانشگاه بار ایلان اسرائیل، تحقیقی را در مورد مدلی جدید و انعطاف پذیر به نام هودینی (Houdini) منتشر کردند. این مدل به منظور سنجش شبکه های عصبی برای خطاهای طبقه بندی شده ی بالقوه ی خطرناک ساخته شده است.

هدف هودینی حرکت به سمت یک روش جامع است که می تواند نمونه های خصمانه قدرتمندی را در میان مدل ها و برنامه ها ایجاد کند. هرچه ساخت این گونه نمونه ها برای محققان آسان تر باشد، آن ها بهتر می توانند روی بهبود هوش مصنوعی کار کنند.

همانند صاحب اسم این روش، هودینی، هوش مصنوعی را فریب داده تا چیزهایی را که نباید، ببیند و بشنود. همه ی این کارها با اختلالات نامحسوس تری نسبت به آنچه شیوه های قدیمی ایجاد می کردند، صورت می گیرد.

هودینی با سطح پیچیده ای به هوش مصنوعی حمله می کند که به نمونه های خصمانه اجازه می دهد تا در برنامه های فراتر از تشخیص تصویر اعمال شوند. درنتیجه، درک عمیق تری از چگونگی کارکرد شبکه های عصبی و الگوریتم ها و نحوه و دلیل اشتباهات آن ها را به محققان ارائه می دهد.

بستن این شکاف بین انتظارات کارشناسان و اینکه چگونه الگوریتم های هوش مصنوعی عمل می کنند، گام مهمی است. به خصوص برای پیشبرد هوش مصنوعی به سوی برنامه های پیچیده ی فزاینده مانند وسایل نقلیه مستقل و اوتوماسیون صنعتی سطح بالا. گذشته از  هک های مخرب، حتی خطاها و توهمات ناخواسته توسط هوش مصنوعی می تواند باعث از دست رفتن زمان و پول در محل کار شود.

همانطور که هری هودینی خود یک بار گفت:

آنچه که چشم ها می بینند و گوش ها می شنوند، ذهن باور می کند.