← Все руководства

Как проверить RAG перед релизом: чеклист качества ответов

Шаги

1. Шаг 1: Сформируйте золотой набор из реальных пользовательских вопросов, эталонных ответов и ссылок на фрагменты, которые должны использоваться.

2. Шаг 2: Разделите набор на типы проверок: поиск факта, составной вопрос, вопрос без ответа в базе знаний, неоднозначный запрос и запрос с нерелевантным контекстом.

3. Шаг 3: Зафиксируйте базовые метрики поиска: долю случаев, когда нужный фрагмент найден среди первых результатов, полноту найденного контекста и долю нерелевантных фрагментов.

4. Шаг 4: Оцените ответы по отдельным критериям: правильность, полнота, соответствие найденному контексту, наличие корректных ссылок и соблюдение формата.

5. Шаг 5: Проверьте галлюцинации на вопросах без ответа: убедитесь, что система сообщает о недостатке данных, не придумывает факты и не маскирует неопределённость уверенной формулировкой.

6. Шаг 6: Сравните новую версию с базовой на том же золотом наборе и отдельно посчитайте улучшения, ухудшения и новые ошибки по каждому типу вопросов.

7. Шаг 7: Установите критерии выпуска, зафиксируйте допустимое снижение качества и заблокируйте релиз, если ухудшились критичные сценарии или выросло число неподтверждённых утверждений.

Чеклист

• Золотой набор содержит реальные сценарии, эталонные ответы и ссылки на ожидаемые источники.
• Метрики поиска и качества ответа считаются отдельно, чтобы не скрывать проблему на одном из этапов.
• Для каждого ответа проверяется подтверждаемость утверждений найденным контекстом.
• В наборе есть вопросы без ответа, неоднозначные запросы и провокации на выдумывание.
• Новая версия сравнивается с предыдущей на неизменном наборе и с одинаковыми правилами оценки.
• Для критичных сценариев определены пороги выпуска и ручная проверка спорных результатов.

Типичные ошибки

• Оценивать только сходство ответа с эталонной формулировкой и не проверять фактическую корректность.
• Считать найденный документ доказательством качества, не проверяя, использовал ли его генератор.
• Не добавлять в тесты вопросы, на которые система должна честно ответить, что данных недостаточно.
• Менять золотой набор после каждой неудачи и тем самым скрывать регрессии.
• Сводить все результаты к одной средней оценке без разбивки по типам запросов и критичности ошибок.
• Проверять качество только вручную и не сохранять версии промптов, индекса и настроек поиска.