← Все руководства

Как контролировать стоимость ИИ-агентов до того, как бюджет уйдёт в хвост

Шаги

1. Шаг 1: Опишите агентный пайплайн по этапам — входной запрос, планирование, вызовы инструментов, обращения к моделям, повторные попытки и финальный ответ. Для каждого этапа зафиксируйте, какие ресурсы потребляются и что считается успешным результатом.

2. Шаг 2: Определите единицу экономики — например, обработанный запрос, завершённый кейс или созданный документ. Рассчитайте стоимость единицы по формуле: общие расходы на сценарий, делённые на число успешно завершённых единиц, отдельно учитывая модельные вызовы, инструменты, хранение и инфраструктуру.

3. Шаг 3: Введите бюджетные лимиты на трёх уровнях: на один запуск агента, на пользователя или команду и на весь период. Установите ограничения не только по деньгам, но и по числу шагов, вызовов моделей, времени выполнения и повторных попыток.

4. Шаг 4: Добавьте обязательную телеметрию — идентификатор запуска, сценарий, модель, число входных и выходных токенов, количество вызовов инструментов, длительность, статус завершения и рассчитанную стоимость. Передавайте эти данные в единый журнал, чтобы сравнивать расходы между версиями агента.

5. Шаг 5: Настройте предупреждения до достижения лимита. Отправляйте уведомления при приближении к порогу на запуск, резком росте средней стоимости единицы, увеличении числа повторов и отклонении расходов от базового уровня; пороги задавайте как параметры конфигурации, а не как значения в коде.

6. Шаг 6: Реализуйте аварийную остановку — выключатель, который прекращает новые вызовы моделей и инструментов при превышении бюджета, зацикливании, слишком долгом выполнении или повторяющихся ошибках. Возвращайте пользователю понятный статус, сохраняйте журнал остановленного запуска и оставляйте возможность безопасно возобновить обработку.

7. Шаг 7: Проводите разбор стоимости по этапам и версиям. Сравнивайте дорогие и дешёвые модели, длину контекста, число итераций, долю неуспешных запусков и стоимость повторной обработки; оптимизируйте сначала этапы, которые дают наибольшую долю расходов при минимальном влиянии на качество.

Чеклист

• Для каждого сценария определена единица экономики и формула её стоимости.
• На запуск, пользователя или команду и период установлены отдельные лимиты.
• Ограничены число шагов, вызовов инструментов, повторных попыток и время выполнения.
• Каждый запуск содержит данные о потреблении, результате и рассчитанной стоимости.
• Настроены предупреждения до достижения лимита и уведомления о резком отклонении расходов.
• Аварийная остановка проверена на превышении бюджета, зацикливании и длительном выполнении.
• Стоимость анализируется по этапам пайплайна, моделям и версиям агента.

Типичные ошибки

• Считать только стоимость вызовов модели и не учитывать инструменты, хранение, инфраструктуру и повторные запуски.
• Ограничивать общий месячный бюджет без лимита на один запуск, из-за чего один зациклившийся агент может быстро израсходовать значительную часть средств.
• Ставить лимиты только по деньгам и не ограничивать число шагов, время выполнения и количество повторных попыток.
• Включать аварийную остановку без сохранения состояния и журнала, из-за чего невозможно понять причину остановки и безопасно продолжить работу.
• Оптимизировать среднюю стоимость, не разделяя успешные, ошибочные и повторные запуски.
• Жёстко зашивать пороги и цены в коде, поэтому изменение тарифа или бюджета требует выпуска новой версии.
• Снижать расходы заменой модели без проверки качества результата и доли повторной обработки.