🔍

Knowledge Capsules: почему прорыв в памяти ИИ похоронит трансформеры

Сегодня • arXiv cs.AI
Новая технология Knowledge Capsules обещает революцию в памяти ИИ. Но главное не в том, что она умеет, а в том, что это означает для всей индустрии: эра наращивания параметров подходит к концу.

Последние два года ИИ-индустрия живёт простой формулой: больше параметров = лучше результат. GPT-4 с 1.7 триллиона параметров, Claude с неизвестным, но явно огромным количеством. Все гонятся за масштабом, тратя миллиарды на вычислительные мощности.

Knowledge Capsules переворачивают эту логику. Вместо хранения знаний в весах нейронной сети, технология создаёт структурированные блоки памяти — капсулы, которые можно добавлять, удалять и обновлять без переобучения всей модели. Представьте библиотеку, где можно заменить одну книгу, не переписывая остальные.

Цифры впечатляют: модель с Knowledge Capsules показывает производительность GPT-4 при размере в 50 раз меньше. Исследование MIT демонстрирует, что капсульная архитектура требует в 30 раз меньше энергии для обновления знаний. Но самое важное — она решает проблему катастрофического забывания, которая мучает все современные LLM.

Крупные игроки пока молчат. OpenAI, Google, Anthropic инвестировали миллиарды в текущую парадигму масштабирования. Признать, что есть принципиально другой путь — значит обесценить годы работы и инфраструктуру стоимостью в десятки миллиардов долларов.

Читайте также