Remask от исследователей: почему «не заменять» становится новой догмой ИИ

Стандартная логика диффузионных языковых моделей проста: если токен не подходит, маскируй и заменяй на лучший. Весь процесс обучения построен на этом принципе замещения. Индустрия вложила миллиарды в совершенствование механизмов замены токенов, считая это единственным путём к качественному тексту.

Команда Remask перевернула эту парадигму. Вместо грубой замены они предложили Token-to-Mask Refinement — технологию постепенного улучшения существующих токенов через многоэтапное маскирование. По сути, модель не выбрасывает «плохие» части текста, а учится их шлифовать, сохраняя контекст и семантические связи.

Результаты эксперимента показали 23% улучшение когерентности текста по сравнению с классическими методами замены. Более того, новый подход требует на 40% меньше вычислительных ресурсов — модель тратит энергию на улучшение, а не на полную перегенерацию контента. Это особенно критично для длинных текстов, где каждая замена разрушает накопленный контекст.