Распознавание документов: как найти ответ в сканах
Поиск по сканам полезен, когда сотрудник начинает с фотографии или PDF, а точное имя исходного документа неизвестно. Рабочая система должна извлечь данные, найти подходящий материал и сохранить переход к первоисточнику. Разберём, как проверить эту цепочку на пилоте, отделить распознавание от поиска и не принять красивый ответ за подтверждённое совпадение.
Почему распознанного текста недостаточно для поиска
Распознавание превращает изображение в текст и обозначения. Поиск решает следующий вопрос: какому документу эти данные соответствуют. Корректно прочитанное слово может встречаться в нескольких редакциях, а один неверный символ — направить поиск к похожему, но неподходящему материалу.
Поэтому в интерфейсе важны три представления: исходное изображение, извлечённые данные и найденный источник. Сотрудник должен видеть связь между ними. Если итоговая ссылка ведёт просто на главную страницу архива, путь до подтверждения ответа всё ещё остаётся ручной работой.
Как устроены распознавание и поиск документа
Каждый этап должен оставлять проверяемый результат для следующего.
Загрузите материал и задайте вопрос
Пользователь прикрепляет изображение или файл. Система показывает, какой материал участвует в поиске.
Проверьте извлечённые данные
Из изображения выделяются текст и обозначения. Неуверенно распознанные места нужно сверить с оригиналом.
Получите подходящий документ
По извлечённым данным и вопросу ищутся доступные материалы корпоративного архива. Ответ привязан к найденному фрагменту.
Откройте источник и цепочку
Прямая ссылка ведёт в исходное хранилище. В отдельном представлении можно проверить каждый переход от запроса к документу.
Визуальный поиск в рабочем окне
На первом макете сотрудник ищет порядок проверки комплектности по тестовому скану. В одном окне видны изображение, извлечённые данные, ответ и первоисточник. ГОСТ ДЕМО-07 вымышлен и не содержит действующих нормативных требований.
Что проверить в пилоте поиска по сканам
Составьте проверочный набор до настройки системы.
- Подготовить вопросы с известными исходными документами, включая похожие редакции.
- Добавить сканы разного качества и обозначения, в которых легко перепутать символ.
- Проверить путь от ответа к доступной пользователю странице и фрагменту.
- Сравнить время выполнения одинаковых заданий с учётом проверки результата.
- Зафиксировать, входит ли обработка нового файла во время ответа.
Как оценивать найденный документ и источник
В запросе на прототип были цели: сократить время поиска на 60–70 %, получить корректные ссылки не менее чем в 90 % ответов и полную цепочку не менее чем в 85 % случаев, сохранив время ответа в пределах 3 секунд. Это ориентиры пилота. Без выборки, нагрузки и метода измерения их нельзя публиковать как достигнутый эффект.
Как подготовить архив для распознавания документов
Начните с описания входящего потока: какие файлы поступают, кто их проверяет и какой результат нужен сотруднику. Один процесс требует извлечь реквизиты накладной, другой — найти похожий чертёж или действующую редакцию инструкции. Эти задания могут использовать общий архив, но требуют разных проверок. Нельзя оценивать их одним показателем «документ обработан», иначе успешное распознавание текста скроет ошибку выбора источника.
Для пилота соберите образцы из обычной работы, а не только аккуратные PDF. Включите перекошенные страницы, бледные печати, таблицы на нескольких листах, повёрнутые изображения и файлы с текстовым слоем. Отдельно пометьте рукописные исправления. Для каждого типа зафиксируйте допустимый результат: полный текст, набор полей, найденный документ или предупреждение, что автоматическая обработка недостаточно надёжна.
Нужен и набор похожих файлов. Возьмите две редакции одного документа, соседние номера договоров, одинаковые титульные листы и копии с разными приложениями. Попросите специалиста указать, какой файл должен находиться по каждому запросу и какой фрагмент подтверждает выбор. Такой набор выявляет ошибки, которые невозможно заметить на одиночных образцах. Название файла само по себе не считается доказательством совпадения.
До загрузки определите владельцев документов и права доступа. Если сотрудник видит лишь часть архива, поиск должен учитывать это ограничение до передачи фрагментов модели. Ссылка на закрытый файл в готовом ответе уже раскрывает сведения о его существовании. Проверять нужно и выдачу, и карточки источников, и сохранённые результаты предыдущих запросов после изменения прав пользователя.
Продумайте обновление индекса. Замена файла, появление приложения, отзыв инструкции и изменение доступа должны отражаться в поиске по согласованному порядку. В карточке результата полезны версия, статус обработки и дата самого документа, когда она существенна для задачи. Это рабочие реквизиты источника, а не дата публикации статьи. Сотрудник должен различать действующий материал и архивную копию.
Сканирование не создаёт истинность автоматически. Если на изображении сумма читается неоднозначно, система должна показать спорное место, а не незаметно выбрать удобный вариант. Для значимых реквизитов предусмотрите подтверждение человеком и сохранение исправления вместе с исходным фрагментом. Повторное распознавание новой версией модели не должно стирать ранее согласованное значение без видимой истории изменения.
Как проверить OCR и поиск по сканам на пилоте
Разделяйте качество распознавания, качество поиска и удобство проверки. Система может верно извлечь текст и найти не тот документ. Может найти нужный файл, но отправить сотрудника вручную искать страницу. В отчёте по пилоту эти исходы должны учитываться отдельно. Для каждого спорного случая сохраните запрос, ожидаемый результат, фактическую выдачу и решение проверяющего.
Время измеряйте на полном действии сотрудника: от получения файла до подтверждённого результата. Быстрый ответ модели мало помогает, если затем приходится открывать десятки страниц. Сравнивайте одинаковые задания до и после внедрения, учитывайте ручные исправления и повторные загрузки. Порог качества согласуется для конкретного процесса; универсального процента, достаточного для любого архива, нет.
После исправления ошибки добавляйте её пример в постоянный проверочный набор. При смене OCR, модели или правил разбивки документов запускайте этот набор заново. Так можно увидеть улучшение на сложных сканах и одновременно обнаружить ухудшение на привычных формах. Расширять поток стоит после проверки рабочего маршрута, а не после удачной демонстрации на одном красивом файле.
| Проверка | Пример задания | Что считать результатом |
|---|---|---|
| Распознавание | Извлечь номер и сумму из бледного скана | Верные поля либо явное сомнение с фрагментом |
| Структура | Разобрать таблицу с продолжением на следующем листе | Сохранены строки, столбцы и связь со страницами |
| Поиск | Выбрать нужную редакцию среди похожих файлов | Найден согласованный источник, а не похожее название |
| Ссылка | Открыть основание извлечённого реквизита | Показан нужный лист и конкретная область |
| Доступ | Повторить запрос от сотрудника другого отдела | Закрытые материалы не участвуют в выдаче |
| Обновление | Заменить документ новой редакцией | Выдача учитывает статус и версию источника |
Прототип распознавания и поиска документов
Состав решения описан на странице «Визуальный поиск по документам». В кейсе прототипа показаны два пользовательских экрана на тестовых данных.
Вопросы и ответы: распознавание документов
Чем это отличается от обычного RAG-поиска?
Сценарий начинается не только с текстового вопроса, но и с визуального материала. Система извлекает из него данные, использует их для поиска и показывает связь результата с исходным изображением и документом. Качество распознавания и качество поиска проверяются отдельно.
Показатели 60–70 % и 3 секунды уже достигнуты?
Нет, в этом материале они приведены как цели из клиентского запроса. Подтверждённых замеров результата не предоставлено. В пилоте нужно согласовать выборку, исходное время ручного поиска, состав обработки файла и нагрузку, а затем выполнить измерения.
Что произойдёт при ошибке распознавания?
Сотрудник должен видеть исходное изображение и извлечённые поля, чтобы проверить обозначения. Неоднозначность не следует скрывать за уверенным ответом. В пилоте отдельно проверяем, как неверно распознанный символ влияет на подбор документов и можно ли исправить его до повторного поиска.
Нужно ли переносить весь архив?
Способ работы с существующим хранилищем определяем на диагностике. Для пилота достаточно ограниченного корпуса и согласованного доступа. Массовую индексацию, обновление версий и переходы к источникам планируем после проверки основного сценария.
Можно ли провести пилот распознавания документов для московского архива?
Да. Начать можно с ограниченного набора сканов и известных исходных документов. Условия доступа к архиву и место обработки согласуются заранее. Для региональных площадок дополнительно проверяют сеть, обновление источников и возможность открыть оригинал из результата.
Как оценить качество распознавания документов перед внедрением?
Нужен набор файлов разного качества с известными значениями важных полей. Отдельно проверяют точность извлечения, подбор исходного документа и возможность открыть основание ответа. Ошибка в обозначении оценивается по влиянию на рабочую задачу, а не только по проценту совпавших символов.
Обсудим вашу задачу и посчитаем эффект внедрения ИИ
Бесплатная диагностика, 30–40 минут. Разберём процесс, доступные данные и ограничения. На выходе — первые сценарии, ориентир по внедрению и расчёт на ваших цифрах.