ИИ научился говорить, но так и не научился думать

Сегодня • arXiv cs.AI
Пока весь мир восхищается способностью ChatGPT поддержать беседу на любую тему, учёные из Stanford обнаружили фундаментальную проблему: модели генерируют слова, но не понимают реальность за ними.

Общепринятая мудрость гласит: если ИИ может говорить о физике, истории и философии на уровне эксперта, значит он понимает мир. Языковые модели стали настолько убедительными, что мы начали приписывать им человеческое понимание. Инвесторы вкладывают миллиарды в компании, строящие продукты на этом предположении.

Но исследование 'The Mouth is Not the Brain' переворачивает эту логику. Авторы показали: языковая генерация и понимание мира — это разные когнитивные процессы. ИИ научился имитировать паттерны человеческой речи, но его 'модель мира' остаётся поверхностной. Как пишут исследователи: 'Рот — это не мозг'. Способность генерировать связный текст не равна пониманию причинно-следственных связей в реальном мире.

Эксперименты показали: когда модели сталкиваются с задачами, требующими глубокого понимания физических законов или долгосрочного планирования, их производительность резко падает. Они отлично предсказывают следующее слово в тексте, но плохо предсказывают последствия действий в реальном мире. Разрыв между энергетическими моделями мира и языковой генерацией оказался критическим.