🔍

GRAIL от Stanford: Почему новый прорыв в ИИ доказывает тупик больших моделей

Сегодня • arXiv cs.AI
Пока Кремниевая долина тратит миллиарды на обучение всё больших моделей, команда Stanford AI Lab представила GRAIL — систему, которая решает сложные задачи рассуждений лучше GPT-4, используя в 1000 раз меньше параметров. Секрет не в размере, а в том, как модель работает с знаниями.

Общепринятая мудрость гласит: больше данных, больше параметров — лучше результат. OpenAI потратила $100 млн на обучение GPT-4, Google вложила сотни миллионов в Gemini. Индустрия убеждена, что путь к AGI лежит через масштаб. GRAIL переворачивает эту логику.

Система от Stanford использует граф знаний с 15 миллионами сущностей, но модель рассуждений содержит всего 770 миллионов параметров против 1.76 триллиона у GPT-4. На задачах многошагового рассуждения GRAIL показывает точность 89.7% против 76.4% у GPT-4. Ключ — в архитектуре взаимодействия с внешними знаниями, а не в запоминании фактов внутри модели.

Исследователи обнаружили, что 73% ошибок больших моделей связаны с неточными или устаревшими знаниями, 'зашитыми' в параметры. GRAIL решает задачи пошагово, каждый раз обращаясь к актуальному графу знаний. Результат: меньше галлюцинаций, выше точность, в 50 раз дешевле в эксплуатации.

Читайте также