ИИ-детекторы токсичности провалились: они не распознают диалекты как язык

Общепринятая логика гласит: ИИ-модерация объективнее человеческой, потому что алгоритмы не имеют предрассудков. Крупные платформы вроде Meta и Twitter полагаются на автоматические системы обнаружения токсичности, обрабатывающие миллиарды сообщений. Эти модели тренируются на 'стандартном' английском и должны одинаково справляться с любым контентом.

Исследователи создали интерактивный инструмент 'How AI Fails', который демонстрирует обратное. Модели GPT и BERT показывают до 40% ложных срабатываний при анализе афроамериканского диалекта (AAVE) по сравнению с 8% для стандартного английского. Фраза 'That's fire!' на AAVE получает токсичность 0.7 из 1.0, тогда как 'That's awesome!' — всего 0.1.

Проблема не в данных, а в фундаментальном непонимании языка. ИИ воспринимает лингвистическое разнообразие как отклонение от нормы. Исследование показало: чем дальше диалект от 'стандарта', тем выше вероятность ложной блокировки. Это означает, что миллионы пользователей подвергаются цензуре не за токсичность, а за свою культурную идентичность.