ShishuLM доказал: гонка за параметрами в AI была гигантской ошибкой

Последние три года индустрия AI жила по простому правилу: больше параметров = лучше результат. OpenAI довела GPT-4 до 1.7 триллиона параметров, Google Gemini Ultra — до 1.56 триллиона, Meta тратит $20 миллиардов на инфраструктуру для Llama 3. Conventional wisdom гласит: интеллект = масштаб.

ShishuLM переворачивает эту логику. Исследователи заменили стандартный механизм внимания (attention) на Low Attention архитектуру, которая фокусируется только на критически важных связях между токенами. Результат: модель с 34 миллиардами параметров показывает производительность сопоставимую с моделями в 1+ триллион параметров. При этом обучение занимает дни, а не месяцы, и требует одну GPU вместо кластера из тысяч.

Цифры говорят сами за себя: ShishuLM достигает 89.4% точности на MMLU benchmark против 86.4% у GPT-4, потребляя в 127 раз меньше энергии при инференсе. Если эти результаты подтвердятся, то $100+ миллиардов, которые BigTech инвестировали в data centers для AI, превратились в stranded assets за одну ночь.