ИИ-свахи воспроизводят кастовую дискриминацию — и это не баг, а фича

Сегодня • arXiv cs.AI
Исследователи из Stanford проанализировали алгоритмы индийских dating-приложений и обнаружили шокирующую закономерность: ИИ не просто случайно дискриминирует по кастовому признаку — он делает это эффективнее традиционных свах.

Принято считать, что ИИ-алгоритмы объективны и помогают разрушать предрассудки. В сфере знакомств машинное обучение должно подбирать пары на основе совместимости, а не социальных стереотипов. Именно так позиционируют себя индийские платформы вроде Shaadi.com и Jeevansathi.

Но аудит Sima AIunty показывает обратное. Алгоритмы системно понижают в выдаче профили представителей низших каст, даже при идентичных параметрах образования и дохода. 73% рекомендаций для пользователей высших каст содержали только профили их социальной группы. Более того: чем дольше работает алгоритм, тем сильнее кастовая сегрегация.

Ключевой инсайт: ИИ не создаёт дискриминацию — он масштабирует существующие предпочтения пользователей с математической точностью. Когда люди чаще лайкают профили своей касты, алгоритм интерпретирует это как сигнал качества и усиливает паттерн. Получается идеальная машина социального воспроизводства.