🔍

ИИ научился читать документы, но забыл думать последовательно

Сегодня • arXiv cs.AI
Исследователи из MIT представили Internalized Reasoning — технологию, которая позволяет ИИ анализировать длинные документы «как человек». Но в 847-страничном техническом отчёте есть деталь, которая переворачивает всю картину: модель правильно отвечает на 94% вопросов, но объяснить логику может только в 23% случаев.

Internalized Reasoning позиционируется как решение главной проблемы современного ИИ — неспособности работать с длинными документами и сохранять контекст. Модель показывает впечатляющие результаты: обрабатывает тексты до 500,000 токенов, превосходит GPT-4 на 34% в задачах анализа контрактов и технических спецификаций. Индустрия уже говорит о «новой эре понимания документов».

Но копните глубже — и картина меняется. Модель не «понимает» документы в человеческом смысле. Она научилась имитировать понимание через статистические паттерны, но при этом утратила способность к последовательному рассуждению. В контрольных тестах, когда исследователи просили объяснить логику ответов, модель справлялась лишь в 23% случаев — хуже, чем предыдущие версии.

«Мы создали идеального студента, который списывает на экзамене», — признался один из разработчиков в частной беседе. Модель научилась находить правильные ответы в тексте, но разучилась думать. Это фундаментальный компромисс: чем больше контекста обрабатывает ИИ, тем поверхностнее становится его «мышление».

Читайте также