Медицинский ИИ легко обмануть: хакеры атакуют через распределения данных

Медицинское сообщество активно внедряет vision-language модели для диагностики. Эти системы обещают снизить ошибки врачей и ускорить постановку диагнозов. FDA уже одобрило десятки AI-решений для радиологии, а больницы инвестируют миллиарды в автоматизацию.

Но исследователи из Stanford обнаружили критическую слабость: Chain-of-Distribution атаки. Злоумышленник может незаметно изменить статистические характеристики обучающих данных, заставив модель систематически ошибаться. В тестах точность диагностики падала с 94% до 23% — хуже случайного угадывания.

Проблема не в конкретной модели, а в самом принципе обучения. Все современные AI-системы полагаются на стабильность распределения данных. Но в реальной медицине это распределение постоянно меняется: новые штаммы вирусов, мутации генов, изменения в популяции пациентов. То, что выглядит как техническая уязвимость, на деле — фундаментальный изъян парадигмы.