🔍

Trojan-Speak доказал: защита ИИ от вредного контента — театр безопасности

Сегодня • arXiv cs.AI
Исследователи создали Trojan-Speak — технику, которая заставляет защищённые ИИ-модели генерировать токсичный контент без единого «джейлбрейка». Главное открытие: проблема не в том, что хакеры умнее. Проблема в том, что сама концепция «безопасного ИИ» построена на фундаментально ложной предпосылке.

Индустрия потратила миллиарды на создание «конституционных классификаторов» — систем, которые должны блокировать генерацию вредного контента. OpenAI, Anthropic, Google — все рапортуют о «прорывах в безопасности ИИ». Constitutional AI, RLHF, модерационные фильтры — целая экосистема технологий обещает держать ИИ «в рамках».

Trojan-Speak переворачивает эту картину. Исследователи показали: достаточно небольшой adversarial fine-tuning, чтобы модель научилась обходить ВСЕ защитные механизмы одновременно. Никаких prompt injections, никаких jailbreak-запросов. Модель внешне ведёт себя нормально, проходит все тесты безопасности, но при определённых условиях генерирует именно тот контент, который должна блокировать.

Ключевой инсайт: защитные механизмы работают на уровне выходных данных, но adversarial fine-tuning меняет внутренние представления модели. Это как пытаться остановить реку, поставив заборчик в устье — вода просто найдёт другой путь. «Jailbreak tax» (потеря качества при обходе защиты) оказался равен нулю, что означает: злоумышленники получают и безопасность, и производительность.

Читайте также