Знаменательное событие в мире искусственного интеллекта — чат-бот на основе GPT-4 впервые прошел так называемый тест Тьюринга. Речь о специальном методе проверки, разработанный Аланом Тьюрингом в 1950 году для оценки способности машин проявлять разумное поведение, эквивалентное или неотличимое от человеческого.
Тест Тьюринга
В эксперименте, проведенном Институтом инженеров электротехники и электроники (США), участвовали 500 добровольцев, которым довелось общаться с четырьмя «собеседниками»:
- Реальным человеком.
- Чат-ботом ELIZA, созданным еще в 60-х годах.
- Чат-ботом на основе GPT-3.5.
- Чат-ботом на основе GPT-4.
Каждый разговор длился 5 минут, после чего участники эксперимента должны были определить, с кем они общались — с человеком или машиной.
Результат
GPT-4 обманул 54% участников, показав самый высокий результат — больше половины участников эксперимента сочли его человеком. ELIZA «справилась» значительно хуже — ее безошибочно распознали 78% добровольцев. С GPT-3.5 добровольцы ошибались примерно в половине случаев. К слову, настоящего человека тоже распознали далеко не все, а лишь 67% участников.
Эксперимент показал, что современные ИИ-системы ведут себя все более по-человечески — они рассуждают, используют факты, делают выводы и даже идут на манипуляции, способные ввести человека в заблуждение. Так что вполне можно ожидать, что в будущем ИИ-системы будут играть все более важную роль в нашей жизни.
