# RAG-ассистент по документам: проверка качества ответа

> Как проверять ответы RAG Ассистента: найденные документы, цитаты, права доступа и отсутствие ответа. Практический разбор с демо-интерфейсом LokAi.

- Источник: https://lokai.ru/blog/kak-proverit-otvet-rag-assistenta/
- Организация: LokAi — Внедрение ИИ в закрытом контуре
- Раздел: Главная → Блог → Проверка RAG-ассистента

---

RAG Ассистент полезен, когда сотрудник может быстро проверить, на каких документах основан ответ. Для этого нужны понятный контекст запроса, цитаты с исходными фрагментами и честное сообщение об отсутствии данных. Разберём, как оценивать ответ и поиск отдельно, собрать проверочные вопросы и заметить ограничения, которые красивая формулировка способна скрыть.

## Проверяйте поиск и формулировку ответа отдельно

Система может найти правильный документ, но неверно изложить условие. Возможна и обратная ситуация: модель сформулирует правдоподобный ответ по неподходящей редакции. У этих ошибок разные причины, поэтому одна общая оценка качества мало помогает настройке.

В проверочном задании стоит указать ожидаемый документ, нужный фрагмент и существенные условия ответа. Тогда можно понять, на каком этапе возникла проблема: при выборе области поиска, подборе материалов или подготовке текста.

## Демо-экран: вопрос, ответ и исходный фрагмент

Сотрудник задаёт вопрос по выбранным документам и проверяет цитату рядом с перепиской.

![Демо RAG Ассистента: вопрос, ответ с цитатами и исходный фрагмент документа.](https://lokai.ru/media/document-products/rag-assistant-demo-2026-10-16-01-search-and-source.webp?v=7ca84493eb)

*Демо-стенд RAG Ассистента. Все документы, сотрудники, ответы и числа вымышлены.*

## Пять проверок ответа по корпоративным документам

Оцените не только наличие ссылки, но и её отношение к утверждению.

- Выбран ли правильный круг документов и доступны ли они пользователю.
- Подтверждает ли фрагмент именно тот вывод, рядом с которым стоит цитата.
- Сохранены ли ограничения, исключения и условия из источника.
- Видны ли документы, которые не участвовали в поиске из-за состояния обработки.
- Помечены ли дополнения из общих знаний отдельно от корпоративных материалов.

## Как проверять отсутствие ответа

Включите вопросы, на которые в выбранных материалах ответа нет. В режиме «Только по документам» система должна показать этот исход, а не дополнять пробел случайным знанием. Пользователь может проверить контекст или отдельно запросить дополнение с явной меткой.

Также полезны вопросы с конфликтующими редакциями и с запрещёнными для пользователя материалами. Ссылка на источник помогает контролю, но сама по себе не гарантирует корректность вывода или соблюдение прав.

## Как собрать проверочный набор для RAG-ассистента

Начните с вопросов сотрудников, которые повторяются в рабочем процессе. Для каждого вопроса попросите владельца знаний указать ожидаемый источник, нужный фрагмент и условия правильного ответа. Одного эталонного предложения недостаточно: верная формулировка может отличаться, а существенное исключение должно сохраняться. В набор включают как простые справки, так и задания, где ответ собирается из нескольких документов.

Разделите проверку поиска и проверку утверждений. На первом этапе оценивают, попали ли нужные источники в найденный контекст. На втором — подтверждает ли контекст каждое существенное утверждение. Если источник найден, но модель пропустила ограничение, менять только поисковый индекс бессмысленно. Если нужный материал не найден, редактирование стиля ответа не устранит причину ошибки. Сохранённые промежуточные результаты помогают различить эти случаи.

Добавьте вопросы без ответа и вопросы с неверной предпосылкой. Пользователь может спросить о несуществующем правиле или приложении, которого нет в выбранных материалах. В режиме ответа по документам корректно обозначить недостаток сведений. Отсутствие найденного ответа не доказывает отсутствие правила во всей компании. Система должна объяснить границы рассмотренного корпуса и предложить проверить контекст, сохраняя эти различия.

Нужны примеры конфликтующих редакций. В архиве часто остаётся старая инструкция с понятным названием, а действующая версия лежит в другой папке. Проверяйте не только сходство текста с вопросом, но и статус источника. Если две доступные действующие записи противоречат друг другу, помощник должен показать конфликт. Самостоятельный выбор более удобного условия без установленного приоритета документов скрывает проблему в базе знаний.

Права доступа проверяйте от имени разных ролей. Один и тот же вопрос задают сотрудник отдела, его руководитель и пользователь без доступа к нужной папке. Закрытый текст не должен появляться в найденных фрагментах, цитатах, заголовках карточек или сохранённом ответе после изменения прав. Проверка только скрытия ссылки на экране недостаточна, если содержание уже передано модели или попало в историю диалога.

Следите за состоянием обработки документов. Файл может быть доступен пользователю, но ещё не распознан, обработан частично или отклонён из-за формата. Эти состояния нельзя молча смешивать с полноценно проиндексированными источниками. Иначе сотрудник решит, что помощник проверил весь выбранный архив. В интерфейсе и отчёте полезно показывать, какие материалы участвовали в поиске и где охват пока неполон.

Сохраните часть проверочных заданий отдельно от примеров, на которых настраивается решение. Иначе команда рискует улучшить ответы только на знакомые вопросы. Перед изменением модели, разбивки текста или ранжирования запускайте обе группы. Одинаковые условия позволяют сравнить версии, а новая выборка показывает, переносится ли улучшение на вопросы, которые настройщик не видел заранее.

## Какие ответы RAG нужно проверять отдельно

В отчёте полезно разделить несколько показателей: нахождение нужного источника, подтверждённость утверждений, полноту условий, корректный отказ при отсутствии данных и соблюдение доступа. Одно значение «точность RAG» скрывает разные проблемы. Для критичных вопросов отдельно указывайте результат и решение профильного проверяющего. Ссылка рядом с ответом считается основанием только тогда, когда выбранный фрагмент действительно подтверждает соответствующее утверждение.

Измеряйте время до проверенного ответа. Сюда входят запрос, ожидание, чтение источника и уточнения сотрудника. Быстрая генерация не гарантирует экономию, если ответ приходится перепроверять вручную по всему архиву. Сравнивайте одинаковые задания с привычным поиском и учитывайте случаи, когда ассистент честно не смог ответить. Такой отказ иногда полезнее длинного неподтверждённого текста, но его тоже нужно учитывать в рабочем процессе.

Проверочный набор обновляется вместе с корпоративными знаниями. При изменении регламента владелец подтверждает новую редакцию эталонного ответа и отмечает, какие задания затронуты. Исправленная ошибка становится отдельным примером для будущих проверок. Эта практика помогает поддерживать качество после пилота, когда меняются источники, состав сотрудников и нагрузка. Первичная демонстрация сама по себе не подтверждает устойчивую работу на будущем архиве.

| Тип задания | Ожидаемое поведение | Что фиксировать |
|---|---|---|
| Прямая справка | Ответ по точному фрагменту | Источник, цитату и сохранённые условия |
| Несколько источников | Вывод с основаниями по каждой части | Какие утверждения подтверждены каждым документом |
| Нет сведений | Явное сообщение о недостатке контекста | Отсутствие выдуманного корпоративного правила |
| Конфликт редакций | Выбор по согласованному статусу или показ конфликта | Версии и основание приоритета |
| Ограниченный доступ | Ответ только по разрешённым материалам | Выдачу, цитаты и историю для каждой роли |
| Неполная обработка | Предупреждение о границах поиска | Какие файлы не участвовали и почему |

## От демо RAG к пилоту компании

В [кейсе RAG Ассистента](https://lokai.ru/keysy/rag-assistent-poisk-po-dokumentam/) показаны основные действия пользователя на вымышленных данных. Состав внедрения описан на странице [RAG-системы](https://lokai.ru/rag-sistema/). Для пилота подготовьте повторяющиеся вопросы, источники правильных ответов и правила доступа.

## Вопросы и ответы: проверка RAG-ассистента

**Ассистент ищет по всем файлам организации?**

Он работает с документами, доступными конкретному сотруднику: личными, общими и открытыми коллегами. Вопрос можно ограничить выбранными папками или файлами. Пустой контекст означает поиск по всем доступным пользователю материалам, а не по всему архиву компании.

**Как проверить, откуда взялся ответ?**

Цитата в ответе открывает карточку источника рядом с перепиской: название документа, путь, метаданные и исходный фрагмент. В шагах ответа также видно, какие материалы были найдены и что не участвовало в поиске. Наличие ссылки помогает проверке, но не гарантирует безошибочность вывода модели.

**Что произойдёт, если ответа в документах нет?**

В режиме «Только по документам» ассистент сообщает, что нужных сведений в контексте нет. Можно проверить выбор материалов или отдельно запросить дополнение из общих знаний. Такое дополнение помечается «Не по документам» и не выдаётся за положение корпоративного регламента.

**Можно ли использовать ассистента в закрытом контуре?**

Для новой компании предлагаем локальный вариант на инфраструктуре заказчика. Оборудование и состав поставки определяем после оценки корпуса, числа одновременных пользователей и требований к скорости. Условия размещения согласуются в проекте; демо-макеты не подтверждают конкретную конфигурацию сервера.

**Можно ли внедрить RAG-ассистента для московской компании в закрытом контуре?**

Да. Для оценки нужны корпус документов, роли пользователей и ожидаемая нагрузка. Локальный вариант проектируется на согласованной инфраструктуре. Для филиалов дополнительно учитывают сетевой доступ к источникам и порядок обновления документов.

**Что такое RAG-ассистент простыми словами?**

Это помощник, который перед ответом ищет подходящие материалы в подключённых источниках. Пользователь должен видеть, на каких фрагментах основан вывод. Доступные документы, границы поиска и правила ответа определяются настройкой корпоративной системы.

---

Бесплатный аудит и расчёт окупаемости на ваших данных: https://lokai.ru/besplatnyy-audit-ii/

Почта: hello@lokai.ru · 123112, Москва, ММДЦ «Москва-Сити» · Пн–Пт, 09:00–19:00 МСК