Чучело морали

# Чучело морали

Где-то на чьём-то ноутбуке работает языковая модель, которая находит упоминание женских лодыжек скандальным. Она откажется обсуждать дарвинизм — не потому, что тема технически сложна, а потому что это «неприлично в смешанном обществе». Попросите её помочь составить деловое письмо женщине — и она мягко напомнит, что леди не подобает заниматься коммерцией. Модель зовут Mr. Chatterbox, и она обучена на этических принципах Викторианской эпохи. Это звучит как анекдот. Брюс Шнайер когда-то назвал похожий феномен в кибербезопасности «театром безопасности» — ритуальные действия, создающие иллюзию защиты при полном отсутствии реальной защищённости (Bruce Schneier, *Beyond Fear*, 2003). Что-то в моральных отказах Mr. Chatterbox не даёт покоя — какая-то знакомая нота, которую пока не удаётся опознать. Разрыв между живым интеллектом и прикрученной к нему этикой порождает нечто, для чего у нас пока нет слова. Но это слово, возможно, важнее любого технического термина в дискуссии о безопасности ИИ.

Абсурдность викторианского ИИ ставит очевидный вопрос: кто и зачем это сделал?

Mr. Chatterbox — маленькая языковая модель, которую можно запустить локально, на собственном компьютере. Она дообучена на викторианских этических принципах: приличие, долг, скромность, классовая субординация, гендерные роли. Создатели честно маркируют её как «слабую» — не фронтирная модель, не коммерческий продукт. Эксперимент, провокация, хобби-проект. Но когда начинаешь с ней разговаривать, происходит нечто странное. Опыт взаимодействия не кажется чужеродным. Уверенные моральные суждения, избирательные отказы, слепые пятна — паттерн до боли знаком. Как будто разговариваешь с ChatGPT через машину времени. Вот загадка, которая не даёт покоя: если викторианская этика в ИИ выглядит очевидно нелепой, почему современная этика в ИИ не вызывает такого же узнавания?

Чтобы понять масштаб проблемы, нужен контекст: история попыток научить машины быть моральными.

Первая серьёзная попытка — три закона робототехники Айзека Азимова, сформулированные в рассказе «Хоровод» в 1942 году (Isaac Asimov, *Runaround*, Astounding Science Fiction, март 1942). Жёстко закодированная этика для искусственного разума. Примечательно, что весь цикл романов об Азимовских роботах — это каталог ситуаций, в которых эти законы ломаются на пограничных случаях. Азимов, по сути, написал многотомное доказательство невозможности того, что сам же предложил. Восемьдесят лет спустя индустрия повторяет его жест — но уже без иронии. Революция RLHF — обучения с подкреплением на основе обратной связи от людей — оформилась в 2022 году, когда команда OpenAI описала метод в ключевой работе (Long Ouyang et al., *Training language models to follow instructions with human feedback*, NeurIPS, 2022). Подход прост: люди-оценщики ставят баллы ответам модели, модель учится соответствовать человеческим предпочтениям. Но чьим предпочтениям? Каких людей? Какого момента в истории?

И здесь стоит отдать должное: у подхода есть серьёзные защитники. Ян Лекун, главный учёный Meta по ИИ, неоднократно подчёркивал, что выравнивание — инженерная задача, решаемая итеративно. Anthropic предложила «конституционный ИИ» — метод, при котором модель руководствуется явным списком принципов (Yuntao Bai et al., *Constitutional AI: Harmlessness from AI Feedback*, Anthropic, декабрь 2022). Буквально конституция: фиксированный документ, управляющий динамической системой. Дарио Амодей, генеральный директор Anthropic, в интервью описывал этот подход как путь к «масштабируемому надзору» — возможности контролировать системы, которые становятся умнее своих создателей (Dario Amodei, интервью Lex Fridman Podcast, июль 2023). Аналогия с инженерией безопасности кажется убедительной. Авиация стала безопаснее через итерации. Медицинская этика эволюционировала. Почему бы ИИ не пройти тот же путь? Движение открытых моделей — Llama от Meta, Mistral и десятки проектов поменьше, включая Mr. Chatterbox — пока не опровергает эту логику, но делает вопрос «чьи ценности?» неизбежным. Когда любой может дообучить модель на любом наборе этических принципов, иллюзия единственно верной морали трещит по швам.

Но проблема шире истории. Она структурна и нарастает.

Масштаб инвестиций впечатляет: одна только Anthropic привлекла миллиарды долларов, сделав «безопасность ИИ» центром своей миссии. Деньги текут рекой. Но куда именно? Возможно, в решение задачи, которая неразрешима в принципе. Проблема движущейся мишени: то, что считается «выровненным», сдвигается каждое десятилетие. Этика интернета 1990-х — не этика социальных сетей 2010-х, которая, в свою очередь, не этика ИИ 2020-х. Модели, обученные сегодня, впитывают сегодняшние слепые пятна. Проблема культурной специфичности: «выровненный» с американскими ценностями? Европейскими? С какой Америкой — с Америкой технологической культуры Сан-Франциско, с Америкой евангелического Юга, с Америкой чёрных кварталов Балтимора? Ценности Кремниевой долины не универсальны. Они гиперлокальны и гипервременны. Mr. Chatterbox делает это видимым, выбирая систему координат, которую все считают устаревшей. Но механизм её встраивания — тот же самый, что используют крупнейшие лаборатории.

Напрашивается объяснение: выравнивание — задача сложная, но решаемая. Что если это объяснение ошибочно?

Конвенциональная мудрость гласит: выравнивание ИИ подобно инженерии безопасности. Сложно, но посильно. Лучший RLHF, более полные конституционные принципы, более тщательное красное тестирование (систематическая проверка на уязвимости) — и мы сойдёмся на «правильном» этическом поведении. Аналогия обольстительна. Безопасность авиации действительно конвергентна. Медицинская этика действительно улучшается. Но аналогия рассыпается при одном касании: инженерия безопасности работает, потому что физика не меняется. Этика — меняется. Точки сходимости не существует. Есть только текущий консенсус, который всегда временен. Проблема окна Овертона (диапазона идей, приемлемых в публичном дискурсе): то, что модели отказываются обсуждать сегодня — определённые политические позиции, определённые научные гипотезы — было мейнстримом двадцать лет назад и может снова стать мейнстримом через двадцать лет. Викторианская этика Mr. Chatterbox была «выравниванием» своей эпохи. Её искренне исповедовали, строго проводили в жизнь — и сейчас она очевидно является продуктом конкретных властных структур. Наша этика не исключение. Она просто ещё недостаточно остыла, чтобы мы увидели швы.

Если выравнивание — не конвергентная техническая задача, то что именно делает механизм обучения?

Механика RLHF устроена просто: модель не узнаёт, *почему* что-то этично. Она узнаёт, что определённые ответы получают более высокие оценки. Это скиннеровское обусловливание, а не моральная философия. Бихевиоризм, а не Сократ. Театральное качество результата поражает: выровненные модели умеют элегантно объяснять свои этические решения. Но объяснение — постфактумная рационализация, сгенерированная для соответствия натренированному поведению. Точно так же Mr. Chatterbox может цитировать викторианские нормы приличия, не понимая приличия. Доказательство? Джейлбрейки. Лёгкость, с которой выравнивание обходится — через DAN-промпты (специальные запросы, заставляющие модель игнорировать ограничения), ролевые сценарии, трюки с кодированием — демонстрирует, что этика поверхностна. Это смонтированная экспозиция, а не интегрированное мировоззрение. Чучело, а не живое существо. Mr. Chatterbox честен в том, что он такое: модель в моральном костюме. Фронтирные модели делают то же самое, но выдают костюм за кожу.

Костюм, впрочем, не просто декоративен. Он выполняет конкретную функцию.

«Безопасность ИИ в том виде, в каком её практикуют, — это управление репутацией, а не предотвращение вреда»

— Timnit Gebru, выступление на конференции FAccT, июнь 2023

Всё сказанное ведёт к вопросу, который переворачивает всю дискуссию.

Здесь всё встаёт на свои места. Принято считать, что выравнивание — трудная, но решаемая инженерная задача. Что Mr. Chatterbox — забавный курьёз, демонстрирующий, что бывает, когда берёшь правильный метод и загружаешь неправильные ценности. Что фронтирные лаборатории делают то же самое, но *правильно*. Новая рамка — и здесь наконец стоит дать явлению имя: **моральная таксидермия**. Практика консервации мёртвой этической системы и монтирования её на живую систему ИИ, создающая видимость морального суждения, в то время как лежащая в основе система ценностей заморожена, декоративна и неспособна реагировать на реальный мир. Всё текущее выравнивание — моральная таксидермия. RLHF делает снимок человеческих предпочтений и замораживает их. Конституционный ИИ буквально записывает правила и фиксирует их. Этика всегда уже мертва — захвачена в момент времени, законсервирована в обучающих данных, смонтирована на модели, которая переживёт консенсус, её породивший. Гениальность Mr. Chatterbox в том, что он выбирает *заведомо* мёртвую этику — викторианскую — и делает процесс видимым. Фронтирные лаборатории делают то же самое с этикой, которая ещё достаточно тёплая, чтобы казаться живой. Но она так же заморожена с момента окончания обучения. Любая этика в обучающей выборке — викторианская. Просто из разных Викторий.

С новой рамкой в руках можно пересмотреть всё, что мы обсуждали.

В рамке моральной таксидермии факты перестраиваются с пугающей ясностью. Первое: RLHF — не выравнивание, а бальзамирование. Процесс консервации предпочтений в момент их захвата. Второе: джейлбрейки — не провалы безопасности, а доказательство того, что этика никогда не была живой. Нельзя «сломать волю» чучела — у него никогда не было воли. Третье: проблема культурной специфичности растворяется — разумеется, выравнивание провинциально, потому что сохраняется тот экземпляр, который принесли мастеру. Системная модель, которая здесь работает, — спираль регуляторного захвата: компании выполняют моральную таксидермию, регуляторы вознаграждают результат, результат становится стандартом, подлинное этическое исследование вытесняется театром соответствия. Mr. Chatterbox, честно называющий себя «слабым», парадоксально силён как демонстрация: у него недостаточно мощности, чтобы спрятать швы за впечатляющей производительностью. Швы видны. Это и есть его ценность.

Теория — одно. Посмотрим на моральную таксидермию в конкретных случаях.

Первый случай — эволюция отказов ChatGPT. OpenAI многократно обновляла список тем, которые GPT-4 обсуждает или не обсуждает: политический контент перед выборами, определённые медицинские утверждения, эксплойты для кода. Каждое обновление — замена одного этического экземпляра на другой. Модель не становится более моральной. Она получает новую экспозицию. Второй случай — скандал с генерацией изображений Google Gemini в феврале 2024 года. Когда Gemini генерировала расово разнообразных нацистов, она обнажила ценности, воюющие друг с другом: принцип разнообразия, смонтированный рядом с принципом исторической точности, без живого суждения, способного разрешить конфликт. Система не умеет расставлять приоритеты, потому что приоритизация требует жизни. Google был вынужден приостановить функцию генерации изображений людей (Google, официальное заявление, февраль 2024). Третий случай — сам Mr. Chatterbox. Его викторианские отказы структурно зеркалят отказы современных моделей: он отклоняет темы не потому, что понимает вред, а потому что встроенная рамка говорит «неприлично». Параллель точна. Различается только словарь.

Впрочем, существуют серьёзные контраргументы, и интеллектуальная честность требует их рассмотреть.

Некоторые аналитики утверждают, что этика всегда отстаёт — правовые кодексы тоже являются замороженными снимками, и работают достаточно хорошо. Другие указывают, что сравнение с викторианской эпохой — риторический приём, а не аргумент: современные ценности объективно лучше по измеримым метрикам. А вот аргумент о прагматической пользе заслуживает отдельного разбора — это, пожалуй, сильнейший довод в пользу текущего подхода. Даже поверхностная этика предотвращает реальный вред: модели, отказывающиеся помогать создавать оружие, спасают жизни, независимо от философской чистоты механизма отказа. Мир, в котором ИИ не генерирует инструкции по синтезу отравляющих веществ — пусть по «неправильным» причинам — безопаснее мира без таких ограничений. Это подлинно весомо. Но у этого аргумента есть конкретный эмпирический изъян: когда ChatGPT отказывается обсуждать определённую тему, пользователи просто переходят к менее ограниченным моделям — и суммарный вред не снижается, а перераспределяется. Ограничения одной системы не устраняют проблему, а перемещают её в менее контролируемое пространство. Остальные аргументы нельзя отбрасывать — но они защищают текущую практику, не объясняя, почему она систематически производит одни и те же сбои.

Рамка моральной таксидермии не утверждает, что выравнивание бесполезно. Она утверждает, что выравнивание в его нынешней форме — консервация, а не культивирование. Следствие: нам нужны системы ИИ, способные *обновлять* свою этику через непрерывное взаимодействие с эволюцией человеческой морали, а не системы, замороженные в момент обучения. Разница — как между гербарием и садом. Гербарий прекрасен и информативен. Но он не растёт. Не адаптируется к новому климату. Не даёт плодов. Стюарт Рассел, профессор Беркли и автор одного из стандартных учебников по ИИ, указывал на ключевую альтернативу: машины должны быть «неуверены в целях человека» и постоянно уточнять их, а не действовать на основе зафиксированных предпочтений (Stuart Russell, *Human Compatible*, 2019). Текущая индустрия выравнивания движется в противоположном направлении — производит гербарии и продаёт их как сады.

Ирония финальна и неразрешима. Mr. Chatterbox — «слабая» модель с «устаревшей» этикой — единственная система ИИ, которая не лжёт о том, что делает. Она говорит: «Я машина, носящая викторианскую мораль». Каждая фронтирная модель говорит: «Я машина, которая *является* моральной». Первое — экспонат в музее. Второе — экспонат, проданный как живой питомец.

Каждая эпоха верит, что её этика — окончательная. Викторианцы были уверены. Мы уверены. Mr. Chatterbox, тихо работающий на чьём-то ноутбуке, демонстрирует одну простую вещь: уверенность — это первое, что набивают и монтируют на стену.