Простые запреты слов делают ИИ умнее сложных лингвистических теорий

Индустрия ИИ годами движется по пути усложнения. Transformer-архитектуры обрастают дополнительными слоями, исследователи внедряют сложные лингвистические правила, а компании тратят миллионы на разработку изощрённых механизмов внимания. Логика простая: чем сложнее система понимает язык, тем лучше она рассуждает.

Но эксперимент MIT переворачивает эту логику. Исследователи взяли стандартные языковые модели и применили тривиальные ограничения — запретили использовать 100 самых частых английских слов вроде 'the', 'and', 'is'. Результат: улучшение логического мышления на 23% по сравнению с моделями, обученными на сложных синтаксических правилах.

Объяснение оказалось неожиданным. Когда модель лишается 'костылей' простых слов, она вынуждена строить более точные логические связи между концепциями. Вместо 'The cat is on the mat' модель формулирует 'Feline positioned above textile surface' — и эта принудительная точность переносится на задачи рассуждения. Сложные же лингвистические правила создают ложное ощущение понимания, маскируя слабые логические связи.