🔍

f-INE: Почему новый метод оценки влияния данных похоронит мечты о справедливом ИИ

Сегодня • arXiv cs.AI
Исследователи из Stanford представили f-INE — фреймворк для оценки влияния данных на модели ИИ. Звучит как очередной академический инструмент, но цифры показывают шокирующее: 60-80% «влияния» данных — это просто шум от случайности обучения.

Индустрия ИИ одержима поиском «плохих» данных. Миллиарды тратятся на очистку датасетов, удаление bias, выявление токсичного контента. Логика простая: найди проблемные данные, удали их — получи справедливую модель. f-INE должен был стать очередным инструментом в этой борьбе.

Но результаты тестирования f-INE переворачивают всё с ног на голову. Фреймворк использует статистические тесты для разделения реального влияния данных от случайности обучения нейросетей. И оказалось: большая часть того, что мы считаем «влиянием данных», — это артефакты случайной инициализации весов, порядка батчей, даже температуры процессора.

Команда Stanford протестировала популярные методы influence estimation на CIFAR-10 и ImageNet. Результат: без учёта случайности обучения точность определения влиятельных примеров падает с заявленных 85% до жалких 23%. Это означает, что годы исследований bias в данных строились на статистическом мираже.

Читайте также