«Вежливость с ИИ: новейшее исследование ставит под сомнение ее влияние на эффективность общения»

Новое исследование, проведенное учеными из Университета Джорджа Вашингтона, установило, что вежливость по отношению к ИИ-моделям является неэффективной с точки зрения расхода вычислительных ресурсов.

Использование слов «пожалуйста» и «спасибо» в запросах имеет незначительное влияние на качество ответов, предоставляемых чат-ботами.

Эксперты пришли к выводу, что вежливый язык чаще всего «независим от содержания хороших и плохих токенов вывода» и оказывает «малое влияние на скалярное произведение», что означает, что такие слова располагаются в различных областях внутреннего пространства модели и практически не изменяют итоговый результат.

Данное исследование противоречит японскому документу 2024 года, который утверждает, что вежливость способна улучшать производительность ИИ. В том исследовании были протестированы модели GPT-3.5, GPT-4, PaLM-2 и Claude-2.

Директор по ИИ платформы Arbo AI Дэвид Акоста заметил, что различия в выводах объясняются чрезмерной упрощенностью модели, используемой в Университете Джорджа Вашингтона.

«Несоответствия в результатах касательно вежливости и эффективности ИИ зачастую обусловлены культурными различиями в обучающих данных, тонкостями дизайна промптов для конкретных задач и контекстуальными интерпретациями вежливости, что делает необходимыми кросс-культурные эксперименты и адаптированные системы оценки для более точного определения влияния», — отметил он.

Команда, стоящая за новым исследованием, подтвердила, что их модель «намеренно упрощена» по сравнению с коммерческими системами, такими как ChatGPT. Тем не менее, они предполагают, что применение их методов на более сложных нейросетях приведет к аналогичным выводам.

«Качество ответа ИИ зависит не от вежливости, а от обучения LLM, которое формирует эмбеддинги токенов и от содержания самих токенов в запросе», — заключается в исследовании.

Также стоит напомнить, что в апреле CEO OpenAI Сэм Альтман сообщил, что компания потратила десятки миллионов долларов на ответы пользователей, которые добавляли слова вежливости.