🔍

ReflectMT: Почему самокритичный ИИ переводит хуже уверенного в себе

Сегодня • arXiv cs.CL
Исследователи создали ReflectMT — систему машинного перевода, которая анализирует собственные ошибки перед выдачей результата. Звучит как прорыв. Но что если способность к самокритике делает ИИ не лучше, а медленнее и нерешительнее?

ReflectMT работает по принципу внутренней рефлексии: система сначала создаёт черновой перевод, затем анализирует его на предмет ошибок и только потом выдаёт финальный результат. Разработчики утверждают, что это повышает качество перевода на 15% по метрике BLEU. Логика проста: если человек-переводчик перечитывает свою работу, почему бы ИИ не делать то же самое?

Но здесь кроется парадокс. Исследование показывает, что ReflectMT тратит в 3 раза больше вычислительных ресурсов на каждый перевод. При этом улучшение качества достигается не за счёт лучшего понимания языка, а за счёт многократной обработки того же текста. По сути, система компенсирует недостатки архитектуры грубой силой.

Более того, анализ ошибок ReflectMT выявил неожиданную закономерность: в 23% случаев первоначальный 'черновой' перевод оказывался точнее финального 'отрефлексированного'. Система исправляла правильные решения, поддавшись алгоритмическому самосомнению. Классический случай overthinking в мире ИИ.

Читайте также