# Сто сорок семь зелёных индикаторов
Панель мониторинга работает безупречно. Команда по управлению рисками ИИ крупной медтех-компании наблюдает, как система корректно отклоняет провокационные запросы, маркирует неопределённость в диагностических рекомендациях, выдаёт предупреждения при обращении к чувствительным данным. Сто сорок семь показателей горят зелёным. Справедливость, безопасность, устойчивость, прозрачность — всё в норме. Руководитель отдела фиксирует результаты в квартальном отчёте. На той же неделе языковая модель компании, развёрнутая в другом контексте, генерирует медицинскую рекомендацию, которая отправляет пациента в реанимацию. Зелёные огни не мигают ни разу.
Это не вымысел — это архитектура. Индексы, обсерватории, базы инцидентов, стартапы «ответственного ИИ» — десятки организаций заявляют, что «мониторят ИИ». Масштаб впечатляет. Амбиции — тоже. Но Брюс Шнайер, вероятно, узнал бы этот рисунок мгновенно. Шнайер назвал аналогичный феномен в сфере безопасности «театром безопасности» — когда видимые меры защиты дают людям ложное чувство защищённости и впустую расходуют ресурсы (Bruce Schneier, *Beyond Security Theater*, 2009). Возможно, здесь работает та же механика — но в масштабах, которые Шнайер не предвидел. Вопрос не в том, растёт ли экосистема наблюдения. Вопрос в том, что именно она наблюдает — и для кого.
Экосистема наблюдения за ИИ впечатляет масштабом. База инцидентов с ИИ (AI Incident Database), созданная при участии Partnership on AI, каталогизирует случаи причинения вреда — по данным самой организации, более двух тысяч записей. Шон Макгрегор, основатель проекта, описывал его миссию как «систематизацию уроков из прошлых провалов ИИ» (Sean McGregor, интервью Responsible AI Collaborative, 2022). Обсерватория ОЭСР по политике в области ИИ (OECD AI Policy Observatory), запущенная в 2020 году, отслеживает нормативные акты десятков стран. Корпорации — от Microsoft до Google — публикуют отчёты об ответственном ИИ с цветовыми индикаторами и рамками управления. Стартапы предлагают платформы «интеллектуального мониторинга ИИ» для корпоративных клиентов. Аппарат наблюдения растёт.
И всё же — вопрос остаётся открытым: какой крупный случай причинения вреда ИИ за последние годы был предотвращён инструментом мониторинга? Автору этих строк не удалось обнаружить публично задокументированного примера. Ни дипфейки, повлиявшие на выборы. Ни предвзятые алгоритмы найма. Ни галлюцинации, убедившие людей принять опасные решения. Мониторы работают в лучшем случае как криминалисты — фиксируя то, что уже произошло. Перед нами подлинная интеллектуальная загадка: это временные трудности роста — или что-то структурно неверное в самой концепции «мониторинга ИИ» в её нынешнем виде?
Чтобы понять настоящее, стоит проследить, как мы пришли к этому моменту.
Каждый кризис подотчётности в современном капитализме порождал один и тот же ответ: не регулирование, а измерение. После краха Enron Конгресс США принял закон Сарбейнса — Оксли (Sarbanes-Oxley Act, 2002), создавший индустрию соответствия требованиям, которая измеряла всё — и не предотвратила почти ничего: финансовый кризис 2008 года произошёл при полном соблюдении требований SOX. Исследование Берга, Кёльбеля и Ригобона показало, что ESG-рейтинги от разных провайдеров коррелируют лишь на уровне 0,54 — по сути, они не согласны друг с другом в том, что значит «хорошо» (Berg, Kölbel & Rigobon, *Aggregate Confusion: The Divergence of ESG Ratings*, Review of Finance, 2022). Сотни метрик — и фундаментальное разногласие о предмете измерения.
**[Примечание: исследовательский пакет данной статьи содержит только предварительные источники. Статистика Berg et al. (0,54), детали закона Сарбейнса — Оксли, даты создания этических советов и параметры Обсерватории ОЭСР приведены на основании общедоступных академических и институциональных публикаций и требуют независимой верификации перед публикацией.]**
«Этические команды существовали для того, чтобы компания могла сказать, что они существуют»— Timnit Gebru, интервью MIT Technology Review, декабрь 2020
Но проблема мониторинга ИИ хуже всех предыдущих прецедентов — из-за чего-то уникального в самих системах ИИ.
В отличие от финансовых транзакций, которые дискретны и поддаются аудиту, поведение ИИ-систем вероятностно — модель может дать разные ответы на один и тот же вопрос — зависит от контекста и порождает непредвиденные свойства при масштабировании. Модель, получившая оценку «безопасна» на бенчмарке, может вести себя небезопасно в реальном развёртывании. Это проблема наблюдаемости: объект мониторинга принципиально нестабилен.
К этому добавляется проблема движущейся цели. Базовые модели обновляются, дообучаются, встраиваются в цепочки с другими системами непрерывно. «Монитор», проверяющий статический снимок, мониторит вчерашнюю систему. Завтра она будет другой.
Наконец — проблема доступа. Большинство мониторов ИИ полагаются на API, опубликованные статьи или добровольное раскрытие информации. Они не видят обучающих данных, внутренних оценок, адаптаций под конкретные сценарии развёртывания. Они мониторят то, что компании решили показать. Самые мощные системы ИИ на планете — наименее прозрачны. Наиболее наблюдаемые — те, что не имеют значения: модели с открытым кодом и академические исследования.
Здесь возникает соблазнительная теория: возможно, решение — просто лучшие инструменты. Более комплексные бенчмарки, мониторинг в реальном времени, обязательный доступ через API для аудиторов. Парадигма мониторинга верна — ей просто нужно масштабирование. Теория привлекательна. Но изучение того, кто строит и финансирует эти мониторы, рассказывает другую историю.
«Индустрия ИИ финансирует собственный надзор — и это не случайность, а бизнес-модель»— Meredith Whittaker, выступление на конференции AI Now Institute, 2023
Существует то, что можно назвать «премией за управление»: компании, внедряющие панели мониторинга ИИ, получают репутационные выгоды, преимущества в государственных закупках — сигнализируя соответствие требованиям Европейского закона об ИИ — скидки на страхование. Вне зависимости от того, меняет ли мониторинг реальное поведение системы. Панель мониторинга — не инструмент контроля, а маркетинговый актив.
Добавим систематическое смещение выборки: нынешние мониторы непропорционально отслеживают модели с открытым кодом и академические разработки — потому что они видимы. Проприетарные системы крупнейших лабораторий остаются непрозрачными. Общепринятая мудрость гласит: «Любой мониторинг лучше, чем никакого». Но мониторинг, создающий ложное чувство безопасности, может быть хуже отсутствия мониторинга — потому что он перенаправляет регуляторную энергию. Аргумент «лучших инструментов» подменяет структурный анализ верой в итеративное улучшение — не объясняя, каким механизмом улучшение инструментов приведёт к появлению полномочий принуждения.
Если стимулы искажены, необходимо понять сам механизм — как мониторинг без подотчётности воспроизводит себя.
Механизм работает как четырёхтактный цикл. Первый такт — тревога. Возникает новый риск ИИ: дипфейки, дискриминация, автономное оружие. Общественность и регуляторы требуют действий. Второй такт — аппарат. Индустрия и добросовестные академики создают инструменты мониторинга, индексы, панели. Они поглощают финансирование, таланты и общественное внимание. Третий такт — абсорбция. Регуляторы ссылаются на эти инструменты как на доказательство того, что «экосистема саморегулируется». Законодательная срочность снижается. Система классификации рисков Европейского закона об ИИ (EU AI Act, принят в марте 2024 года) в значительной мере опирается на самооценку и оценку соответствия третьими сторонами — структура, стимулирующая видимость соответствия (текст регламента ЕС 2024/1689). Четвёртый такт — атрофия. Поскольку мониторы не обладают полномочиями принуждения, цикл перезапускается при следующем кризисе — но каждая итерация оставляет за собой более толстый слой мониторинговой инфраструктуры, на которую политики указывают как на «прогресс».
Назовём эту системную модель: регуляторный захват через пролиферацию метрик. Не классическая схема, где лоббисты пишут правила, а более тонкая версия — где само существование инструментов измерения становится аргументом против регулирования.
Но есть ещё более глубокий слой: теория «лучших инструментов» терпит крах не только на стимулах — она терпит крах на эпистемологии.
Финансовый аудит работает потому, что бухгалтерский учёт опирается на согласованные стандарты — GAAP, IFRS. У ИИ нет эквивалента. Что значит «безопасный»? «Справедливый»? «Выровненный»? Каждый монитор операционализирует эти понятия по-своему — и ни один не обладает полномочиями устанавливать стандарт. У ИИ нет своего GAAP. Каждый монитор измеряет собственную фикцию.
К этому добавляется ловушка Гудхарта. Как только компании узнают, что именно измеряют мониторы, они оптимизируют модели под эти метрики. Это уже наблюдается в практике «игры с бенчмарками» — модели дообучаются для блестящих результатов на тестах безопасности, оставаясь способными к вредоносным ответам при минимально перефразированных запросах.
«Когда мера становится целью, она перестаёт быть хорошей мерой»— Charles Goodhart, 1975; формулировка Marilyn Strathern, 1997
Теория «просто постройте лучшие мониторы» рушится окончательно. Нельзя масштабированием решить категориальную ошибку. Более изощрённые панели, измеряющие неопределённые концепции с помощью метрик, подверженных игре, без полномочий принуждения — произведут более изощрённые миражи.
А что если панели мониторинга никогда не были предназначены для того, чтобы что-то ловить?
Здесь всё встаёт на свои места. Общепринятая рамка гласит: мониторинг ИИ несовершенен, но улучшается; больше инструментов наблюдения — больше надзора — ближе к подотчётности. Экосистема молода и развивается. Эта рамка интуитивна, утешительна — и ошибочна.
Новая рамка — и здесь наконец стоит дать явлению имя: **Oversight Mirage** — «мираж надзора». Это системный паттерн, при котором пролиферация инструментов мониторинга ИИ — панелей, индексов, обсерваторий — производит видимую эстетику подотчётности (метрики, оповещения, оценки рисков), структурно не обладая ни полномочиями, ни методологией, ни стимулами для ограничения систем, за которыми они якобы наблюдают.
Пролиферация мониторов — это и есть стратегия управления индустрии ИИ. Не путь к подотчётности, а альтернатива ей. Каждая новая информационная панель — не шаг вперёд, а клапан сброса давления.
В этой рамке всё щёлкает: паттерны финансирования (венчурные фонды инвестируют в мониторы, чтобы легитимизировать свои ИИ-портфели), беззубость (принуждение сломало бы модель), пролиферация метрик (сложность — конструктивная особенность, а не дефект: она делает мираж убедительнее), регуляторная уступчивость (политикам нужно на что-то указать).
В рамке Oversight Mirage прежде загадочные явления обретают логику.
Взрывной рост стартапов мониторинга ИИ: если мониторинг не работает, зачем в него инвестировать? Ответ прост — это создание рынка. Компаниям нужны продукты для театра соответствия, стартапы их поставляют. Рыночный стимул — больше мониторов, а не лучшее управление.
Провал этических советов по ИИ: если компании действительно хотели надзора, почему советы оказались беспомощны? В рамке Oversight Mirage ответ очевиден — само существование совета было продуктом, а не его рекомендации. Совет Google по передовым технологиям просуществовал неделю (март 2019), но сам факт его создания фигурировал в отчётах об управлении как свидетельство приверженности надзору (Google, отчёт AI Principles Progress Update, 2019).
Опора Европейского закона об ИИ на самооценку: загадочный выбор для регулятора — если только не учесть, что регуляторная экосистема уже сформирована миражом. Инфраструктура мониторинга стала политически приемлемым заменителем инфраструктуры принуждения.
В рамке Oversight Mirage четырёхтактный цикл — не сбой. Это операционная система.
Три случая демонстрируют Oversight Mirage в действии.
Первый — Обсерватория ОЭСР по политике в области ИИ (OECD AI Policy Observatory, запущена в 2020 году). Впечатляющая база данных: нормативные акты десятков стран, интерактивные панели, сравнительные таблицы. Информационная ценность несомненна — для исследователей и политиков это незаменимый справочный ресурс. Но: ни одного механизма принуждения, ни одного полномочия на санкции, ни одной возможности аудировать реальные системы ИИ. Обсерватория мониторит документы о политике в области ИИ — не сам ИИ. Разрыв между видимостью и полномочиями — классический контур миража.
Второй — База инцидентов с ИИ (AI Incident Database, Partnership on AI). Каталогизирует инциденты причинения вреда — ценный криминалистический ресурс, который, по словам Шона Макгрегора, «позволяет учиться на ошибках, а не повторять их» (Sean McGregor, 2022). Но инциденты добавляются постфактум, часто спустя месяцы. Никакого обнаружения в реальном времени. Никакого механизма предотвращения повторения. База растёт как летопись провалов, которые экосистема мониторинга не предотвратила.
Третий — корпоративные панели «ответственного ИИ». Каждая крупная компания ИИ публикует отчёты с метриками, светофорными индикаторами и рамками управления. Наташа Крэмптон, руководитель отдела ответственного ИИ в Microsoft, утверждала, что внутренние процессы оценки «встроены в жизненный цикл продукта» (Natasha Crampton, Microsoft Responsible AI Report, 2023). Однако публично задокументированных случаев, когда такой отчёт привёл к отмене или существенной модификации прибыльного ИИ-продукта, обнаружить не удалось. Панель управления одобряет то, что бизнес-подразделение уже решило.
Каждый случай следует паттерну: видимый аппарат + структурная беззубость + производство легитимности = Oversight Mirage.
Впрочем, существуют серьёзные контраргументы, и интеллектуальная честность требует их рассмотреть.
Некоторые аналитики, в частности исследователи AI Now Institute, утверждают, что даже несовершенный мониторинг формирует экспертизу и кадры, которые понадобятся будущему регулированию. Другие — например, команда Partnership on AI — указывают, что публичность инцидентов через базы данных создаёт репутационное давление, являющееся формой подотчётности.
А аргумент о мониторинге как предшественнике регулирования заслуживает отдельного разбора — это сильнейший довод в пользу нынешней экосистемы. Параллель с ESG поучительна: несовершенные ESG-метрики в конечном счёте привели к Директиве ЕС о корпоративной отчётности в области устойчивого развития (CSRD). Мониторинг действительно может быть прекурсором регулирования. Но у этого аргумента конкретный изъян: он требует механизма эскалации мониторинга в принуждение. В сфере ИИ происходит обратное — при обсуждении регуляторных инициатив в Конгрессе США индустрия систематически ссылается на существующие инструменты самооценки как на доказательство того, что жёсткое регулирование избыточно. Прекурсор стал заменителем.
Остальные аргументы нельзя отбрасывать — но эмпирические данные указывают на то, что мониторинг замедляет, а не ускоряет путь к регулированию.
Что потребовал бы подлинный надзор? Обязательные предварительные аудиты независимыми органами с правом запроса информации. Стандартизированные определения безопасности, имеющие юридическую силу. Рамки ответственности, привязывающие вред к конкретным решениям конкретных людей. Ничего из этого ни один существующий «монитор ИИ» не обеспечивает — и не призывает обеспечить. Потому что подлинный надзор разрушил бы бизнес-модель и мониторов, и тех, кого они мониторят.
Вернёмся к команде по управлению рисками. Сто сорок семь зелёных индикаторов. Пациент в реанимации. Теперь читатель понимает: зелёные индикаторы никогда не были связаны с вредом. Они были связаны с чувством безопасности команды — и с историей о соответствии требованиям, которую рассказывает компания. Индикаторы измеряли не риск. Они измеряли комфорт.
Каждый новый монитор ИИ — это ставка на то, что измерение видимого каким-то образом ограничит невидимое. История Oversight Mirage подсказывает обратное: чем изощрённее панель мониторинга, тем комфортнее нам не заглядывать за неё.
Когда в следующий раз компания ИИ объявит о новой инициативе по мониторингу, задайте один вопрос: что произойдёт, если монитор обнаружит нарушение? Если никто не может ответить — вы смотрите на мираж.