Ссылка на документ сама по себе не доказывает правильность ответа. Нужно открыть нужный фрагмент, проверить версию, область применения и то, не пропущено ли исключение.
Сверьте тезис с фрагментом
Разбейте ответ на отдельные утверждения и для каждого откройте источник. Проверьте, действительно ли документ подтверждает конкретную цифру, срок или правило, а не просто содержит близкие слова.
Особенно внимательно читайте сноски, условия применения и соседние абзацы. Короткая цитата может потерять важное исключение.
Проверьте действующую версию
Сравните дату документа с журналом изменений и убедитесь, что правило относится к нужному отделу, продукту или региону. Если версия не определена, ответ нельзя выдавать как окончательный.
Запишите случаи, где два источника расходятся. Это сигнал владельцу базы знаний обновить материалы или обозначить приоритет источников.
Соберите набор контрольных вопросов
Включите обычные, пограничные и заведомо неразрешимые вопросы. Оценивайте полноту ответа, корректность ссылки и способность системы признать отсутствие данных.
Повторяйте проверку после обновления документов, настроек поиска и модели. Ошибки фиксируйте вместе с вопросом, ответом, источниками и исправлением.
Проверочный список
- Каждый существенный тезис подтверждён источником
- Проверены дата и область применения документа
- Исключения из правила не потеряны
- На вопрос без данных система не придумывает ответ
Частые вопросы
Достаточно ли показывать название файла?
Лучше показывать конкретный фрагмент и ссылку на него: название файла не позволяет быстро проверить тезис.
Как измерять качество?
Используйте повторяемый набор вопросов и отмечайте фактическую точность, полноту, актуальность и пригодность ссылок.
Официальные ресурсы
Технические рекомендации и требования к данным могут меняться. Сверяйте подход с условиями вашего процесса и актуальными источниками.
Материал носит информационный характер. Перед внедрением проверьте данные, права доступа и применимость рекомендаций к вашему процессу.