Tencent урезал параметры на 100 миллиардов — и это лучшее что случилось с ИИ
Общепринятая мудрость проста: больше параметров равно лучшая модель. OpenAI увеличивает, Google масштабирует, Anthropic наращивает. Все играют в одну игру — кто больше. Поэтому решение Tencent сократить Hy3 с 400 до 295 миллиардов параметров под руководством бывшего исследователя OpenAI Яо Шуньюя выглядит странно.
Но вот поворот: урезание параметров может оказаться самым умным ходом в ИИ за последний год. Пока конкуренты тратят миллиарды на вычислительную мощь, Tencent фокусируется на архитектурной эффективности. Меньше параметров означает быстрее инференс, дешевле обучение, проще деплой. В мире, где GPT-4 стоит центы за токен, это не компромисс — это конкурентное преимущество.
Яо Шуньюй знает, что делает. Его опыт в OpenAI показал пределы масштабирования. Теперь он применяет другую философию: не больше, а умнее. Hy3-preview может стать первой ласточкой новой эры, где побеждает не размер модели, а качество архитектуры.