Грубость как ключ к точности: новое исследование показывает, что вежливость мешает ИИ

Недавнее исследование Пенсильванского университета выявило, что большие языковые модели (LLM) демонстрируют большую точность в ответах, когда к ним обращаются напрямую, а не вежливо.

В статье, опубликованной учеными, говорится, что прямые формулировки приводят к правильным ответам в 84,8% случаев, в то время как вежливые — лишь в 80,8%.

Исследователи пересмотрели 50 ключевых вопросов по математике, науке и истории, изменив их тональность на пять различных стилей — от «крайне вежливого» до «весьма грубого». Затем они задали эти вопросы ChatGPT-4.

Результаты эксперимента опровергли более ранние предположения о том, что модели якобы «предпочитают» тактичный подход.

«Против ожиданий, грубые запросы постоянно показывали лучшие результаты, чем вежливые. Это может указывать на то, что современные языковые модели по-другому реагируют на тон обращения», — отметили исследователи Ом Добария и Ахил Кумар.

В исследовании 2024 года «Стоит ли уважать LLM? Кросс-лингвистическое исследование влияния вежливости промпта на работу языковых моделей» ученые пришли к выводу, что грубые запросы в некоторых случаях действительно снижают качество ответов, а чрезмерная вежливость не приносит ощутимых преимуществ.

Эти результаты указывают на то, что современные модели больше не ведут себя как «социальные зеркала» и представляют собой функциональные системы, которые ценят прямоту выше вежливости.

Работа также подтвердила более недавние данные Уортонской школы, посвященные искусству формирования запросов для получения более точных ответов. Выяснили, что тон запроса важен не меньше, чем выбор слов.

Напомним, в мае исследование ученых из Университета Джорджа Вашингтона доказало, что обращение с вежливостью к ИИ-моделям — это неэффективная трата вычислительных ресурсов.