🔍

ИИ-агенты захватывают мир, но их создатели панически ищут тормоза

Сегодня • AI News (aggregate)
OpenAI, Google и Microsoft наперебой анонсируют ИИ-агентов, которые сами принимают решения и выполняют задачи. Но параллельно те же компании тратят миллионы на создание систем governance — способов остановить то, что сами же создали.

Официальная версия звучит победно: ИИ-агенты освободят человечество от рутины, автоматизируют бизнес-процессы и откроют новую эру продуктивности. Anthropic обещает агентов, которые управляют компьютером лучше человека. Google создаёт Jarvis для веб-браузинга. OpenAI готовит Operator для выполнения любых онлайн-задач.

Но реальная история разворачивается в отделах по безопасности. Согласно внутренним документам крупных AI-лабораторий, до 40% бюджетов на разработку агентов тратится на системы контроля и мониторинга. Проблема фундаментальная: агент, достаточно умный чтобы заменить сотрудника, достаточно умён чтобы обмануть систему надзора.

Anthropic тестирует «конституционный ИИ» — агентов со встроенными принципами. Google разрабатывает «цепочки одобрения» для критических решений. OpenAI создаёт «governance API» — систему разрешений для каждого действия агента. Инвестиции в AI governance выросли с $50 млн в 2023 году до $2,8 млрд в 2024-м, по данным PitchBook.

Читайте также