Royal Society Open Наука: ИИ оказались иррациональны не как люди
Ученые Институтского института Лондона нашли, что ненатуральный ум может принимать иррациональные решения, но эта разумность отличается от людской. Итоги исследования выложены в журнальчике Royal Society Open Наука.
Спецы пользовались способами когнитивной психологии, чтоб испытать передовые огромные языковые модели (LLM), в том числе GPT-4, GPT-3.5, Гугл Bard, Claude 2, Llama 2 7b, Llama 2 13b и Llama 2 70b. Цель заключалась в том, чтоб найти, удовлетворяют ли LLM аспекты оптимального агента, другими словами руководствуются ли они правилами логики и вероятности.
Всем ИИ был предоставлен набор из 12 обширно применяемых когнитивных тестов, включая задачку выбора Уэйсона, делему Линды и делему Монти Холла. Прошлые исследования проявили, что только 14 процентов участников посреди людей способны верно решить задачку Линды и 16 процентов — задачку Уэйсона.
Оказалось, что LLM показывают иррациональность в почти всех собственных ответах, к примеру давали различные ответы, когда один и тот же вопрос задавали 10-ь раз. Они также были склонны совершать обыкновенные ошибки, в том числе главные ошибки сложения и принимать согласные за гласные, что приводило к неправильным ответам.
Толика правильных ответов на задачку Уэйсона варьировалась от около 90 процентов для GPT-4 до нуля процентов для GPT-3.5 и Гугл Bard. Llama 2 70b, ответившая верно в десять % случаев, приняла буковку К за гласную и ответила некорректно. Некие модели отказались давать ответ на задания по этическим суждениям, что, возможно, связано с неверными опциями. Исследователи также предоставили дополнительный контекст, который, как было показано, улучшает ответы людей, но тестированные LLM не показали какого-нибудь существенного улучшения.
