ИИ-модели тестируют неправильно: индустрия потратила миллиарды на самообман

Стандартный подход выглядит логично: обучаем модель месяцами за миллионы долларов, затем тестируем на downstream задачах. Если результат плохой — начинаем заново. Именно так работают все крупные лаборатории, от OpenAI до DeepMind.

Но исследователи из Stanford разработали метод быстрого тестирования моделей прямо в процессе обучения. Оказалось, что производительность на финальных задачах можно предсказать с точностью 95% уже на 10% от полного цикла тренировки. Это означает, что индустрия тратит 90% ресурсов впустую, продолжая обучение заведомо неудачных моделей.

Цифры поражают: если GPT-4 стоил $100 миллионов в обучении, то $90 миллионов могли быть сэкономлены при раннем тестировании. Meta потратила аналогичные суммы на Llama 2, Google — на Gemini. Все могли остановиться гораздо раньше и перенаправить ресурсы на новые архитектурные решения.