«چتجیپیتی» در آزمون ورودی دانشگاه آمریکایی بهتر از دانشجویان عمل کرد
به گزارش کارگروه فناوری اطلاعات سایبربان به نقل از گاردین، محققان دریافتند که مدل هوش مصنوعی GPT-3 در آزمون SAT که آزمونی برای پذیرش در دانشگاههای آمریکاست، عملکرد بهتری از دانشجویان داشته است.
روانشناسان دانشگاه کالیفرنیا - لسآنجلس تواناییهای GPT-3 را برای پیشبینی تصویر بعدی در آرایهای پیچیده از اشکال بررسی کردند.
این تصاویر ابتدا به قالب متنی تبدیل شده بودند تا مدل بتواند آنها را پردازش کند. علاوه بر این، محققان اطمینان حاصل کردند که این مدل قبلا هرگز با این سؤالات مواجه نشده است.
سپس همین سوالات برای ۴۰ دانشجوی کالیفرنیا - لسآنجلس (UCLA) مطرح شد. در نهایت محققان دریافتند که GPT-3 توانسته ۸۰ درصد از سوالات را به درستی حل کند که بسیار بالاتر از میانگین نمره دانشجویان بود که زیر ۶۰ درصد است.
محققان همچنین مدل را وادار کردند تا برخی از سؤالات تمثیلی SAT را حل کند. در این سوالات باید جفت کلماتی که به نوعی به هم مرتبط هستند، انتخاب میشد.
پژوهشگران سوالاتی را انتخاب کردند که قبلا در اینترنت منتشر نشده بود. این سوالات به دانشجویان هم ارائه شد و در نهایت وقتی نتیجه با نمرات SAT متقاضیان ورود به دانشگاه کالیفرنیا - لسآنجلس (UCLA) مقایسه شد، تیم UCLA دریافت که هوش مصنوعی از انسانها بهتر عمل کرده است.
GPT-3 در آزمایش دیگری عملکرد ضعیفتری داشت. در این آزمایش محققان از هوش مصنوعی و دانشجویان داوطلب خواستند که یک متن نثر را با یک داستان کوتاه متفاوت که همان معنی را بیان میکند، تطبیق دهند.
این پژوهش نشان داد که GPT-3 ظرفیت بالایی برای تشخیص الگوها و استنتاج روابط، تطابق یا حتی پیشی گرفتن از تواناییهای انسانی در بیشتر تنظیمات دارد.
«تیلور وب» نویسنده اصلی این مطالعه گفت: مدلی که «چت جی پی تی» را هدایت میکند، هنوز به استاندارد هوش جامع مصنوعی نرسیده و در سطح انسانی نیست.
