توسعه تکنیک های آموزشی مدل های هوش مصنوعی

به گزارش کارگروه فناوری اطلاعات سایبربان،شرکت های هوش مصنوعی مانند OpenAI با توسعه تکنیک های آموزشی که از روش های شبیه به انسان برای فکر کردن الگوریتم ها استفاده می کنند، به دنبال غلبه بر تاخیرها و چالش های غیرمنتظره در پیگیری مدل های زبانی بزرگ تر هستند.

ده ها دانشمند، محقق و سرمایه گذار هوش مصنوعی اعلام کردند که این تکنیک ها که در پس مدل اخیر اُپن ای آی (OpenAI)قرار دارند، می توانند مسابقه تسلیحاتی هوش مصنوعی را تغییر شکل دهند و پیامدهایی برای انواع منابعی که شرکت های هوش مصنوعی تقاضای سیری ناپذیری برای آن ها دارند، از انرژی گرفته تا انواع تراشه ها داشته باشند. 

پس از انتشار چت بات پرطرفدار چت جی پی تی (ChatGPT)در دو سال پیش، شرکت های فناوری که سود زیادی از رونق هوش مصنوعی برده اند، اعلام کرده اند که افزایش مدل های فعلی از طریق اضافه کردن داده ها و قدرت محاسباتی بیشتر، همواره به بهبود مدل های هوش مصنوعی منجر خواهد شد.

ایلیا سوتسکور، هم بنیان گذار آزمایشگاه های هوش مصنوعی ابرهوش مصنوعی (SSI) و OpenAI، گفت:

 نتایج حاصل از مقیاس دهی پیش از آموزش، مرحله آموزش یک مدل هوش مصنوعی که از حجم عظیمی از داده های بدون برچسب برای درک الگوها و ساختارهای زبانی استفاده می کند، متوقف شده است. دهه ۲۰۱۰ عصر مقیاس پذیری بود، حالا دوباره به عصر شگفتی و اکتشاف بازگشته ایم. همه به دنبال مدل بعدی هستند.

سوتسکور به عنوان یکی از مدافعان اولیه دستیابی به جهش های عظیم در پیشرفت هوش مصنوعی مولد از طریق استفاده از داده ها و قدرت محاسباتی بیشتر در پیش آموزش شناخته می شود که در نهایت باعث ایجاد ChatGPT شد. 

به گفته سه منبع آگاه ، محققان آزمایشگاه های بزرگ هوش مصنوعی در رقابت برای انتشار یک مدل زبانی بزرگ که از مدل GPT -4  ، عملکرد بهتری دارد، با تاخیر و نتایج ناامیدکننده ای مواجه شده اند.

به اصطلاح "اجرای آموزشی" برای مدل های بزرگ می تواند با اجرای هم زمان صدها تراشه، ده ها میلیون دلار صرفه جویی کند. باتوجه به پیچیدگی سیستم، احتمال خرابی ناشی از سخت افزار بیشتر است؛ محققان ممکن است تا پایان اجرا که ممکن است ماه ها طول بکشد، از عملکرد نهایی مدل ها اطلاع نداشته باشند.

مشکل دیگر این است که مدل های زبانی بزرگ حجم عظیمی از داده ها را جمع آوری می کنند و مدل های هوش مصنوعی تمام داده های قابل دسترس در جهان را از بین برده اند. کمبود برق همچنین مانع از اجرای آموزش شده است، چرا که این فرآیند به مقادیر زیادی انرژی نیاز دارد.

برای غلبه بر این چالش ها، محققان در حال بررسی "محاسبه زمان آزمون" هستند، تکنیکی که مدل های هوش مصنوعی موجود را در طول فاز به اصطلاح "استنتاج" یا زمانی که مدل مورد استفاده قرار می گیرد، بهبود می بخشد. به عنوان مثال، به جای انتخاب فوری یک پاسخ، یک مدل می تواند چندین احتمال را در زمان واقعی تولید و ارزیابی کند و در نهایت بهترین مسیر رو به جلو را انتخاب نماید.

این روش به مدل ها اجازه می دهد تا قدرت پردازشی بیشتری را به وظایف چالش برانگیز مانند مسائل ریاضی یا کدنویسی یا عملیات های پیچیده ای که نیاز به استدلال و تصمیم گیری شبیه به انسان دارند، اختصاص دهند.