Большая языковая модель GPT-4 от OpenAI правильно ответила на 85% вопросов теста Американского совета психиатрии и неврологии — средний человеческий показатель составляет 73,8%.
Исследование проводила группа немецких ученых университетской больницы и онкологического центра в Гейдельберге.
Для сравнения ранняя версия GPT-3.5 набрала только 66,8%. При этом обе модели продемонстрировали низкую эффективность в задачах, требующих «мышления более высокого порядка».
По мнению экспертов, полученные результаты служат рекомендацией к использованию языковых моделей в клинической неврологии после «некоторых модификаций».
Однако ученые отметили, что, несмотря на большие перспективы технологии, врачам следует с осторожностью использовать ее на практике, поскольку она все еще несовершенна в отношении когнитивных задач.
В июле разработчики выпустили новый плагин для ChatGPT, который может анализировать данные, создавать код на Python, строить графики и решать математические задачи. Нейросети удалось научно опровергнуть теорию «плоской Земли».
Ранее эксперты Стэнфорда и Калифорнийского университета опубликовали исследование, в котором утверждается, что новейшие модели чат-ботов от OpenAI стали работать хуже после «общения» с живыми пользователям.
Напомним, в августе аналитики обратили внимание, что ИИ на 15% успешнее справляются с прохождением CAPTCHA, чем живые люди.