Lumos хочет сертифицировать ИИ — но кто будет сертифицировать самих сертификаторов?

Индустрия давно просила стандарты. Meta, OpenAI и Google публично поддерживают идею сертификации моделей перед релизом. Lumos отвечает на этот запрос системой автоматизированного тестирования, которая проверяет модели на предвзятость, токсичность и фактическую точность. На бумаге — именно то, что нужно регуляторам.

Проблема в архитектуре. Lumos использует GPT-4 как основу для оценки других моделей. Получается замкнутый круг: ИИ-система судит ИИ-системы по критериям, которые сама не понимает полностью. Когда исследователи MIT протестировали похожий подход, точность оценок составила 73% — хуже, чем у экспертов-людей.

Реальная цель Lumos может быть иной. Создание стандартов сертификации — это контроль над рынком. Кто определяет критерии 'безопасности', тот решает, какие модели получат доступ к пользователям. Особенно показательно, что среди инвесторов Lumos — крупные tech-компании, которые уже доминируют в ИИ.