🔍

ИИ научился сомневаться в себе — и это худшая новость для разработчиков

Сегодня • arXiv cs.AI
Исследователи создали систему, которая учит языковые модели честно признаваться в неуверенности. Звучит как прорыв? На самом деле это приговор всей индустрии ИИ-ассистентов, построенной на иллюзии всезнания.

Вся современная ИИ-индустрия держится на том, что модели отвечают с видом абсолютной уверенности. ChatGPT не говорит 'я не знаю' — он генерирует правдоподобный ответ с одинаковой интонацией, будь то объяснение квантовой физики или выдумка про несуществующую историческую битву.

Новая система Online Reasoning Calibration переворачивает эту логику. Она учит модели в реальном времени оценивать достоверность собственных рассуждений и честно сообщать уровень уверенности. В тестах точность самооценки выросла на 23%, но главное — модель начала чаще говорить 'я не уверена'.

Проблема в том, что пользователи не хотят честности — они хотят ответы. Исследование MIT 2023 года показало: ИИ-ассистенты с калибровкой уверенности получают на 34% более низкие оценки удовлетворенности пользователей. Люди предпочитают уверенную ложь неуверенной правде.

Читайте также