Дообучение моделей под задачи и язык вашей компании

Запрос обычно звучит одинаково: «обучите модель на наших данных». Чаще всего за ним стоит другая проблема — модель просто не видит нужный документ в момент ответа. Это лечится поиском и правилами, а не обучением, и обходится в разы дешевле.

У тюнинга есть неприятное свойство: он зашивает знание в веса. Обновился регламент — веса устарели, нужен новый цикл обучения, новая проверка и новый выкат. RAG обновляется за время индексации документа, а откатывается удалением одного файла из базы.

Обратная сторона тоже есть. Поиск по документам не научит модель принимать решение: если правильный ответ нигде не записан и эксперт выводит его из опыта, никакой индекс не поможет. То же с форматом — когда модель раз за разом ломает структуру вывода, хотя правила ей даны прямым текстом.

Отсюда рабочий порядок: правила, потом RAG, потом замер, и дообучение только на остатке ошибок. На диагностике мы этот разбор делаем до любых обязательств — иногда он заканчивается выводом, что тюнинг вам не нужен вовсе. Записаться можно на странице бесплатного аудита.

1. Собираем источники. Регламенты, инструкции, скрипты разговоров, переписка с клиентами, закрытые заявки, коммерческие предложения, которые в компании считают эталонными. Отдельно просим примеры того, как делать не надо — они нужны не меньше удачных.
2. Превращаем в пары «вход — эталонный ответ». Сырые документы для обучения не годятся. Нужен формат задачи: вот запрос или ситуация, вот ответ, который вы приняли бы у сильного сотрудника без правок.
3. Разметку ведёт эксперт с вашей стороны. Мы даём интерфейс, правила и выборку; решение принимает человек, который отвечает за процесс. Отданная на сторону разметка даёт формально аккуратный датасет и бесполезную модель.
4. Вычищаем противоречия. Два эксперта — два разных «правильных» ответа на один и тот же вопрос: обычная история. Такие пары либо приводятся к одному правилу, либо выбрасываются. Конфликт в данных модель усваивает так же охотно, как и правило.
5. Считаем объём трезво. По нашей практике на один узкий сценарий требуется порядка 500–2000 выверенных примеров. Сотня даёт эффектное демо и разваливается на потоке, а десятки тысяч несортированных строк работают хуже двух тысяч чистых.
6. Откладываем hold-out до начала обучения. Часть примеров закрывается и в тюнинге не участвует. Только на них потом меряется качество — иначе вы измеряете память модели, а не её пользу в работе.

Метрика выбирается до обучения, вместе с владельцем процесса. На классификации и маршрутизации это доля верных решений и матрица ошибок по классам: важно не среднее, а то, какие именно классы модель путает. На генерации — оценка экспертом по чек-листу плюс формальные проверки: соблюдён ли формат, есть ли ссылка на источник, не выдуман ли артикул.

Регресс — это когда новая версия в среднем лучше, но хуже на подмножестве, которое для вас критично. Классика: точность выросла на два пункта, а редкий, но дорогой тип обращения стал обрабатываться неверно. Поэтому рядом с обучающей метрикой всегда живёт регрессионный набор — задачи, которые модель решала до тюнинга и обязана решать после.

Каждая версия весов и конфигурации версионируется и криптографически подписывается, к ней прилагается changelog. Если версия просела на регрессионном наборе, из тестового контура она не выходит. Откат к предыдущей — одно действие, без пересборки сервиса.

Ни одна версия не уезжает в продуктив без ручной проверки человеком, и финальный гейт стоит на вашей стороне. Это то же правило, по которому мы выкатываем еженедельные релизы всей системы.

Обучение идёт на вашем сервере или в вашем выделенном контуре. Датасет никуда не копируется, внешние API на время тюнинга не используются, промежуточные чекпоинты лежат там же, где исходные документы. Доступ к обучающей выборке разграничен по ролям и журналируется: видно, кто и когда её открывал. Как устроен сам периметр, разобрано на странице локального ИИ.

Базовую модель подбираем с оглядкой на лицензию: у части открытых весов условия использования отличаются от Apache 2.0, и это проверяется до старта, а не после. Обученная надстройка, код обвязки и датасет принадлежат вам, условия выхода зафиксированы в договоре. Что из открытых моделей мы держим в стеке и под какие задачи, собрано в каталоге моделей, а логика выбора базовой модели разобрана в отдельном материале блога.

Чего мы не делаем. Не обучаем на персональных данных без обезличивания, если сценарий не требует их напрямую и на это нет основания. Не используем чужие лицензионные корпуса. И не обещаем, что после тюнинга модель перестанет ошибаться: дообучение сдвигает поведение, а не отменяет природу вероятностной модели — необратимые действия всё равно подтверждает человек.