🔍

Длинный контекст ИИ: почему больше памяти означает меньше интеллекта

Сегодня • arXiv cs.CL
Все гонятся за моделями с миллионами токенов контекста. Gemini хвастается 2 миллионами, Claude — полутора. Но исследование MIT обнажает неудобную правду: чем длиннее память ИИ, тем хуже он думает.

Индустрия продаёт длинный контекст как святой Грааль ИИ. Загрузи целую книгу, весь кодбейз, годовую переписку — и получи суперинтеллект, который всё помнит и понимает. Anthropic, Google, OpenAI соревнуются в размере контекстного окна как в перетягивании каната.

Исследователи MIT проанализировали динамику обучения моделей с расширенным контекстом и обнаружили парадокс: увеличение памяти снижает способность к рассуждению. При росте контекста с 8К до 128К токенов точность логических выводов падает на 23%. Модель начинает 'тонуть' в информации, теряя способность выделять важное.

Проблема в архитектуре внимания: чем больше токенов, тем более размытым становится фокус. Как человек, пытающийся одновременно следить за 50 разговорами — он слышит всё, но не понимает ничего. Исследование показало, что оптимальная длина контекста для сложных задач — не миллионы токенов, а всего 16-32 тысячи.

Читайте также