ЧатGPT разучился решать математические задачи
После недавнего обновления языковой модели самого популярного искусственного интеллекта ChatGPT до версии GPT-4 нейросеть стала значительно «глупее», чем была ранее. Этот факт иллюстрирует июньское исследование Стэнфордского университета, о котором сообщается на портале iXBT.
Ученые задавали чат-боту вопросы, в том числе из области математики, и оценивали правильность его ответов. К примеру, чат-бот должен был ответить, является ли число 17 077 простым. ИИ попросили расписывать каждый шаг своего решения подобных задач, так как ранее GPT значительно чаще давал правильные ответы, расписывая ход своих «размышлений». Сейчас это не помогло.
Нейросеть еще в марте в 97,6% случаев давала правильный ответ на вопросы, имеющие конкретное решение (по типу математических задач). В июне этот показатель упал до 2,4%. При этом исследователи отметили, что более старая версия чат-бота (GPT-3.5), напротив, улучшила свои результаты в ответах на подобные вопросы с 7,4% до 86,8%.
Также отмечаются и изменения в генерации кода. Исследователи создали набор данных с 50 простыми задачами и измерили, сколько ответов GPT-4 выполнялись без изменений. Версия нейросети в марте успешно справилась более чем с половиной проблем (52%), в то время как июньская версия — лишь 10%.
#мир #общество #технологии
