🔍

EvoForest доказывает: машинное обучение эволюционировало в тупик

Сегодня • arXiv cs.AI
Исследователи создали EvoForest — систему, которая выращивает алгоритмы машинного обучения как деревья в лесу. Звучит как прорыв, но реальная история в другом: они случайно обнаружили, почему современный ИИ застрял.

Весь мир ИИ помешан на масштабе. Больше параметров, больше данных, больше вычислений — формула успеха последних пяти лет. EvoForest от команды MIT идёт против течения: вместо гигантских монолитных моделей система эволюционирует множество небольших вычислительных графов, которые конкурируют, скрещиваются и мутируют.

Но настоящий инсайт появился, когда исследователи сравнили результаты. EvoForest с бюджетом в 1000 раз меньше показал сопоставимые результаты с GPT-4 на задачах логического мышления. Проблема не в размере данных или мощности — проблема в архитектуре. Современные трансформеры оптимизированы под статистические паттерны, а не под адаптацию.

«Мы обучили лес из 10,000 крошечных агентов, и через 200 поколений они начали решать задачи способами, которые мы не программировали», — говорит ведущий автор Сара Чен. Ключевое слово — «не программировали». В отличие от современных моделей, которые застревают в локальных минимумах, EvoForest постоянно исследует новые решения.

Читайте также