🔍

Brainstacks от MIT: Почему «вечное обучение» ИИ — тупик для индустрии

Сегодня • arXiv cs.AI
Исследователи MIT представили Brainstacks — архитектуру для «непрерывного обучения» ИИ без забывания старых навыков. Звучит как прорыв, но цифры говорят обратное: 73% вычислительных ресурсов тратится на сохранение того, что модель уже знает.

Индустрия одержима идеей универсального ИИ, который учится всю жизнь как человек. Brainstacks обещает решить главную проблему — катастрофическое забывание, когда модель, изучая новое, стирает старые знания. Технология использует «замороженные стеки» экспертов (MoE-LoRA), где каждый модуль отвечает за свою область знаний.

Но вот парадокс: чем больше модель «помнит», тем хуже она адаптируется. В экспериментах MIT модели с Brainstacks показали на 34% худшую производительность на новых задачах по сравнению с моделями, обученными с нуля. Причина проста — архитектура превращает ИИ в цифрового накопителя, а не мыслителя.

Более того, энергопотребление таких систем растёт экспоненциально. Каждый новый «стек знаний» требует на 15-20% больше вычислений, превращая обучение в гонку ресурсов. Google и OpenAI уже тихо отказались от похожих подходов в пользу периодического переобучения с нуля.

Читайте также