چت‌بات ChatGPT در آزمون ورودی دانشگاه‌های آمریکا بهتر از دانشجویان عمل کرد

به گزارش گاردین، پژوهشگران متوجه شدند که مدل زبانی بزرگ GPT-3 درزمینه حل  مسائل استدلالی  که معمولاً در آزمون‌های هوش یا آزمون‌های استاندارد نظیر SAT دیده می‌شود، عملکردی مشابه دانشجویان آمریکایی داشته است.

روانشناسان دانشگاه کالیفرنیا، لس‌آنجلس توانایی‌های GPT-3 در  پیش‌بینی تصویر بعدی  در دنباله‌ای از تصاویر را بررسی کردند. البته این تصاویر ابتدا به متن تبدیل شده بودند تا مدل هوش مصنوعی توانایی تشخیص آن‌ها را داشته باشد. به‌علاوه، محققان مطمئن شده بودند که این مدل قبلاً هرگز با این سؤالات مواجه نشده است.

GPT-3 در حل سؤالات استدلالی و تمثیلی از دانشجویان بهتر است

سپس همین سؤالات استدلالی به 40 دانشجوی دانشگاه کالیفرنیا، لس‌آنجلس داده شد. درنهایت مشخص شد که GPT-3 توانسته است به  80 درصد  از سؤال‌ها به‌درستی پاسخ دهد، درحالی‌که میانگین امتیاز دانشجویان  60 درصد  بوده است.

محققان در ادامه  سؤالات تمثیلی  آزمون SAT را هم به هوش مصنوعی دادند. در این سؤالات باید جفت کلماتی انتخاب می‌شد که به نحوی با یکدیگر پیوند داشتند. پژوهشگران سؤالاتی را انتخاب کردند که باور داشتند پیش‌تر در اینترنت منتشر نشده‌اند و GPT-3 احتمالاً آن‌ها را ندیده است. سپس این سؤالات به دانشجویان UCLA هم داده شد و نتیجه این بود که هوش مصنوعی از میانگین انسان‌ها بهتر عمل کرده بود.

البته GPT-3 در یک آزمایش عملکرد  ضعیف‌تری  داشت. محققان متون نثری را به این هوش مصنوعی ارائه کردند تا آن‌ها را به داستان‌های کوتاهی با معنای مشابه وصل کند. اما عملکرد این مدل ضعیف‌تر از دانشجویان بود.

این پژوهش نشان داد که GPT-3 ظرفیت بالایی برای تشخیص الگوها و استنتاج روابط دارد. بااین‌حال، هنوز به سطح هوش جامع مصنوعی که بسیاری از آن هراس دارند، نرسیده است.

نتایج این تحقیق در مجله Nature Human Behaviour منتشر شده است.