Исследование: быть вежливыми с ИИ-моделями бессмысленно

[TechnoLab]

Новое исследование ученых из Университета Джорджа Вашингтона показало, что быть вежливыми с ИИ-моделями — это пустая трата вычислительных ресурсов.


Добавление слов «пожалуйста» и «спасибо» к промптам оказывает незначительное влияние на последующее качество ответов чат-ботов.


Эксперты выяснили, что вежливый язык, как правило, «ортогонален к содержательным хорошим и плохим токенам вывода» и оказывает «незначительное влияние на скалярное произведение» — то есть такие слова находятся в отдельных областях внутреннего пространства модели и практически не влияют на результат.


Статья противоречит японскому исследованию от 2024 года, в котором сказано, что вежливость повышает производительность искусственного интеллекта. В той работе протестировали GPT-3.5, GPT-4, PaLM-2 и Claude-2.

Рост производительности в зависимости от уровня вежливости. Данные: исследование.

Директор по искусственному интеллекту платформы Arbo AI Дэвид Акоста отметил, что расхождения в результатах связаны со слишком упрощенной моделью Университета Джорджа Вашингтона.

«Противоречивые результаты о вежливости и производительности ИИ, как правило, обусловлены культурными различиями в обучающих данных, нюансами дизайна промптов для конкретной задачи и контекстуальными интерпретациями вежливости, что требует проведения кросс-культурных экспериментов и адаптированных к задаче систем оценки для уточнения влияния», — прокомментировал он.

Стоящая за новой работой команда признала, что их модель «намеренно упрощена» по сравнению с коммерческими системами вроде ChatGPT. Однако, по их мнению, применение подхода на более сложных нейросетях даст тот же результат.

«Будет ли ответ ИИ неадекватным, зависит от обучения LLM, которая формирует эмбеддинги токенов, и от содержания самих токенов в запросе — а не от того, были ли мы вежливы с ним или нет», — говорится в исследовании.

Напомним, в апреле CEO OpenAI Сэм Альтман заявил, что компания потратила десятки миллионов долларов на ответы пользователей, которые писали «пожалуйста» и «спасибо».