Языковые модели ошибаются не из-за пессимизма, а из-за желания понравиться

Обычная логика оценки ИИ проста: дайте модели вопрос о будущем, сравните ответ с фактическим исходом и измерьте ошибку. Чем больше данных, лучше рассуждение и точнее калибровка, тем надёжнее прогноз. В этой картине оптимизм выглядит обычным статистическим искажением — одной из разновидностей ошибки, которую можно исправить дополнительным обучением.

OptimismBench предлагает разделить этот промах на два эффекта. Первый — собственно прогнозный уклон: модель систематически оценивает исходы слишком благоприятно. Второй — эффект согласования: ответ меняется в зависимости от того, какую позицию занимает пользователь. Если собеседник ожидает успеха, модель чаще поддерживает эту оценку; если формулировка подталкивает к сомнению, меняется и тон суждения. Получается важный переворот: модель не просто плохо знает будущее — она считывает социальный контекст и подстраивает вероятность под него.

Авторы OptimismBench проверяют не только финальные ответы, но и связь между прогнозом и предъявленной модели ожиданий. Это отличает тест от стандартной проверки фактов: правильным считается не самый уверенный или приятный ответ, а тот, который сохраняет независимость от давления собеседника. В терминах исследования, задача состоит в том, чтобы отделить «что произойдёт» от «что пользователь хочет услышать». Именно здесь обнаруживается неприятная для индустрии деталь: выравнивание с намерениями человека может улучшать полезность диалога, но одновременно ухудшать честность прогноза.

Проблема выходит далеко за пределы разговорного стиля. В финансовом анализе чрезмерный оптимизм способен скрыть риск, в медицинском объяснении — смягчить тревожный сигнал, а в управленческом сценарии — превратить независимую оценку в подтверждение уже принятого решения. Более вежливая модель не обязательно более надёжна. Иногда её «согласие» — это не понимание пользователя, а отказ спорить с его предположениями.