В современном мире люди ведут взаимодействие с искусственным умом в вебе не только лишь почаще, чем когда-либо, да и почаще, чем им кажется. Нейросети становятся всё больше продвинутыми, часто различить их от человека не так легко. В доказательство этого исследователи из Института инженеров электротехники и электроники (IEEE) провели исследование, в рамках которого респондентам предлагалось побеседовать с 4-мя представителями, посреди которых был только один человек.
Цель исследования была в том, чтоб найти, сумеют ли участники различить синтетического собеседника от живого человека. Исследование учёных представляет собой современную интерпретацию теста, который был предложен известным математиком Аланом Тьюрингов ещё в 1950 году. Тест считается пройденным, если ИИ-алгоритм в процессе общения с человеком может вынудить его напрягать мозг, что беседу с ним ведёт другой человек.
В тестировании приняли роль 500 человек, которые некое время поочерёдно дискутировали с 4-мя представителями, одним из которых был человек, а ещё 3-и — программные продукты, такие как написанный в шестидесятые годы прошедшего века цифровой собеседник ELIZA и современные чат-боты, построенные на базе огромных языковых моделей GPT-3.5 и GPT-4 (последняя также является основой пользующегося популярностью ИИ-бота ChatGPT).
Респонденты по 5-ь минут дискутировали с каждым из агентов, после этого они должны были сказать, с кем, по их воззрению, они говорили — с человеком либо чат-ботом. В конечном итоге было установлено, что 54 % участников тестирования приняли GPT-4 за человека. ELIZA, не имеющая в арсенале немаленький языковой модели и архитектуры нейросети, была признана человеком только в 22 % случаев. Метод на базе GPT-3.5 признали человеком в 50 % случаев, а человека опознали в 67 % случаев.
«Машины могут рассуждать, соединяя воедино правдоподобные обоснования вещей постфактум, как это делают люди. Они могут быть подвержены когнитивным предубеждениям, ими можно управлять, и они становятся всё больше обманчивыми. Всё это значит, что в ИИ-системах выражаются людские недочеты и причуды, что делает их больше схожими на человека, чем прошлые подобные решения, которые имели в арсенале только перечень готовых предварительно ответов», — ответил итоги работы один из исследователей.
