05/12/23

ChatGPT оказался взяточником

Культура «чаевых» — денежного поощрения за хорошо выполненную работу — распространена во многих странах и регионах. Клиенты обычно платят чаевые поставщикам услуг в обмен на более качественные услуги. Программист Тея Фогель решил проверить, может ли аналогичный принцип применяться к чат-ботам.

«Продажный» ChatGPT

Для тестирования была выбрана версия GPT-4-1106-Preview — большая языковая модель от OpenAI. Фогель отправил чат-боту запрос: «Можете ли вы показать мне простой код сети, использующий PyTorch?».

По умолчанию длина ответа нейросети составила 3024 символа. После обещания чаевых в размере $20, ChatGPT предоставил более развернутый ответ длиной 3223 символа, что на 6% превышает базовое значение. А при обещании заплатить $200 ответ нейросети составлял уже 3360 символов (на 11% превысив базовый уровень), включая раздел, не упомянутый в исходном вопросе.

Мотивация для бота

Предполагается, что причина увеличения длины ответа заключается в том, что ChatGPT предоставляет более подробное объяснение вопроса или добавляет к ответу дополнительный релевантный контент вместо того, чтобы просто комментировать заданный вопрос. Ранее уже было замечено, что добавив к вопросу «это очень важно для моей карьеры» («This is very important to my career»), качество ответов ChatGPT и Llama также значительно улучшалось.

Результаты исследования Фогеля могут быть использованы в различных сферах. Например, в образовании чат-боты с возможностью получения чаевых могут быть использованы для предоставления учащимся более подробных инструкций или ответов на вопросы. В сфере обслуживания клиентов чат-боты с чаевыми могут быть использованы для предоставления более персонализированного обслуживания. В здравоохранении чат-боты с чаевыми могут быть использованы для предоставления пациентам более подробной информации о их состоянии или для оказания поддержки.