🔍

Spectral Edge Thesis: Математики нашли скрытую точку невозврата в ИИ

Сегодня • arXiv cs.AI
Новая математическая теория Spectral Edge Thesis утверждает: в каждой нейросети есть скрытая точка невозврата. Момент, когда модель внезапно меняет поведение изнутри. И мы об этом ничего не знаем.

Индустрия ИИ живёт мантрой «больше данных, больше параметров, лучше результат». OpenAI, Google, Anthropic — все наращивают вычислительные мощности, веря что путь к AGI лежит через масштаб. Spectral Edge Thesis предлагает посмотреть не на размер, а на внутреннюю динамику.

Исследователи обнаружили математически доказуемые «фазовые переходы» внутри сигналов нейросетей — моменты, когда модель кардинально меняет способ обработки информации. Это не gradual improvement, а скачкообразные изменения, которые происходят на определённых этапах тренировки. Проблема: мы не можем их предсказать или контролировать.

Теория показывает, что эти переходы связаны со спектральными свойствами весовых матриц. Когда собственные значения достигают критических порогов, модель «переключается» в новый режим работы. Это объясняет, почему GPT-4 внезапно научился reasoning, а Claude 3 — математике, хотя их не учили этому напрямую.

Читайте также