⚖️ Деятельность Meta Platforms Inc. (Facebook, Instagram) признана экстремистской и запрещена на территории Российской Федерации. ⚖️ Деятельность Meta Platforms Inc. (Facebook, Instagram) признана экстремистской и запрещена на территории Российской Федерации. ⚖️ Деятельность Meta Platforms Inc. (Facebook, Instagram) признана экстремистской и запрещена на территории Российской Федерации. ⚖️ Деятельность Meta Platforms Inc. (Facebook, Instagram) признана экстремистской и запрещена на территории Российской Федерации. ⚖️ Деятельность Meta Platforms Inc. (Facebook, Instagram) признана экстремистской и запрещена на территории Российской Федерации. ⚖️ Деятельность Meta Platforms Inc. (Facebook, Instagram) признана экстремистской и запрещена на территории Российской Федерации.
🔍

ИИ-модели рушатся изнутри: геометрическое разделение убивает латентные пространства

Сегодня • arXiv cs.AI
Новое исследование Geometric Decoupling вскрывает неудобную правду: чем больше становятся ИИ-модели, тем нестабильнее их внутренняя структура. И это не баг — это фича современной архитектуры.

Индустрия ИИ живёт по принципу «больше параметров — лучше результат». OpenAI, Google, Anthropic наращивают размеры моделей в геометрической прогрессии, обещая качественные скачки. Латентные пространства — внутренние представления данных — считаются стабильной основой для этого роста.

Но исследование геометрического разделения показывает обратное. Когда модели растут, их латентные пространства начинают распадаться на изолированные кластеры — явление, которое авторы назвали 'структурной нестабильностью'. Представления, которые должны быть связанными, геометрически отдаляются друг от друга, создавая внутренние 'слепые зоны'.

Цифры жёсткие: в моделях свыше 70B параметров коэффициент геометрической связности падает на 34%. Это означает, что треть внутренних связей модели работает вхолостую. Парадокс: увеличивая размер, мы снижаем эффективность использования уже имеющихся параметров.

Читайте также