LokAi
Внедрение ИИ в закрытом контуре
Обсудить задачу
Модели и технологии

Модели ИИ для бизнеса: выбор локального и API-стека

Модели ИИ подбираем под конкретную работу: текст и агенты, речь, документы, изображения и поиск. Для закрытых материалов разворачиваем модели с открытыми весами внутри инфраструктуры компании. Если внешняя обработка разрешена, подключаем OpenRouter или прямой API разработчика. Сравниваем кандидатов на ваших примерах, проверяем лицензии, стоимость и требования к оборудованию.

Как выбираем модели ИИ для рабочего процесса

Название модели — только часть решения. Для потока обращений важны устойчивый формат и задержка, для поиска — правильный источник, для разговоров — качество распознавания русской речи. Поэтому собираем стек из нескольких компонентов. Большая универсальная модель не обязана выполнять каждую простую операцию: классификацию и извлечение полей часто разумнее вынести в отдельный сервис.

Каталог ниже показывает семейства и кандидатов для внедрения. Конкретный релиз, формат весов и поддерживаемый движок фиксируются в проекте после испытания. Открытые веса не означают одинаковые условия коммерческого использования. Проверяем карточку и лицензию именно выбранной версии, а не переносим разрешения с предыдущей модели.

Локальный запуск и внешний API решают разные инфраструктурные задачи. В ИИ-сервере под ключ контролируем модельный сервис и размещение данных. Через OpenRouter можно использовать доступных внешних провайдеров для разрешённых запросов. Схему обмена, ограничения и резервирование согласуем до подключения, включая поведение системы при отказе основного маршрута.

Текстовые и агентные модели

Основа стека. Размер выбирается по задаче: от 7–14 млрд параметров под массовые операции до 70B и MoE-архитектур под агентов с инструментами и длинным контекстом.

Qwen3.8 / Qwen3.6

Alibaba · Qwen

Открытые линейки для текста, мультимодальных задач и агентов. Для рабочей станции рассматриваем компактные Qwen3.8-27B и Qwen3.6-27B; крупные флагманы требуют другого оборудования. Подбор включает проверку квантования, контекста и параллельной нагрузки. Конкретные варианты памяти разобраны в продукте ИИ-сервер под ключ.

Лицензия конкретного релиза

DeepSeek

DeepSeek

Модели для текста, рассуждений, кода и специализированных операций. Полноразмерные MoE-версии требуют значительного объёма памяти: активные параметры не равны объёму всех весов. Рассматриваем локальный серверный запуск, подходящие компактные производные и внешний маршрут, когда он разрешён заказчиком.

Лицензия конкретного релиза

GLM · включая GLM-5.3

Z.ai

Семейство для агентных задач, работы с инструментами и кодом. GLM-5.3 имеет собственную лицензию: её нельзя автоматически называть MIT. Полноразмерная модель требует серверной инфраструктуры; для ограниченного оборудования подбираем подходящий компактный вариант или согласованный внешний API.

Лицензия конкретного релиза

Kimi

Moonshot AI

Модели Moonshot AI рассматриваем для работы с документами, инструментами и многошаговыми задачами. Открытые веса доступны у отдельных релизов; лицензия, фактическая поддержка контекста и ресурсы проверяются по выбранной карточке. Название семейства само по себе не подтверждает возможность запуска на одной GPU.

Лицензия конкретного релиза

Llama

Meta

Самая обкатанная экосистема: инструменты дообучения, квантизации и сервинга поддерживают её в первую очередь, готовых рецептов больше всего. Ограничение: лицензия не пермиссивная — есть условия по применению, атрибуции и распространению производных; русский уступает специализированным моделям.

Лицензия конкретного релиза

Gemma

Google

Компактные модели с хорошим соотношением качества к занимаемой памяти. Удобны для массовых операций на одной карте: классификация, извлечение полей, короткие ответы по инструкции. Ограничение: собственные условия использования вместо стандартной открытой лицензии и слабое место на длинных рассуждениях.

Лицензия конкретного релиза

Mistral

Mistral AI

Быстрые и лёгкие модели, аккуратно ведут себя на европейских языках и в структурированном выводе. Хороши там, где важна задержка, а не глубина рассуждения. Ограничение: часть моделей семейства выпущена под исследовательской лицензией, в продуктив берём только пермиссивные сборки.

Лицензия конкретного релиза

GigaChat

Сбер

Российское семейство Сбера для русскоязычных бизнес-задач. Разделяем доступные открытые веса и сервисный API: это разные способы поставки и обработки данных. Пригодность конкретного кандидата проверяем на терминологии компании, структурированных ответах и работе с источниками.

Лицензия конкретного релиза

T-lite и T-pro

Т-Банк

Компактные русскоязычные модели: T-lite под массовые задачи, T-pro под более сложные. Дают качественный русский при скромных требованиях к VRAM, что удобно для одной карты. Ограничение: узкий диапазон размеров — для агентов с длинным контекстом нужна модель крупнее.

Лицензия конкретного релиза

Русская речь: распознавание и синтез

Отдельный слой стека. Для русского языка выбор модели решает больше, чем для текста: разница между удачным и неудачным вариантом видна уже на первой сотне разобранных звонков.

GigaAM-v3

Сбер

Модели распознавания русской речи Сбера. Рассматриваем для расшифровки разговоров, встреч и голосовых обращений. Проверяем качество на вашей акустике, именах, сокращениях и шумных записях; заявленный публичный результат не заменяет тест на телефонии заказчика.

Лицензия конкретного релиза

T-one

Т-Банк

Российское семейство распознавания речи Т-Банка. Рассматриваем потоковые сценарии и телефонию, проверяя задержку, пропуски слов и устойчивость на ваших записях. Разделение говорящих, поиск по расшифровке и оценка разговора подключаются отдельными компонентами.

Лицензия конкретного релиза

Vosk

Alpha Cephei

Лёгкие офлайн-модели, работают без видеокарты и на слабом железе. Годятся для терминалов, киосков, встроенных устройств и площадок, где нет ни стабильной сети, ни GPU. Ограничение: точность ниже современных нейросетевых моделей, длинные монологи и наложение голосов разбирает хуже.

Лицензия конкретного релиза

Whisper

OpenAI

Мультиязычная модель с предсказуемым качеством на десятках языков. Держим как запасной вариант распознавания и как основной там, где записи смешанные по языкам. Ограничение: на чистом русском уступает GigaAM, на паузах и тишине склонна дописывать несуществующий текст.

Лицензия конкретного релиза

Silero и открытые VITS

Silero и сообщество

Синтез речи: быстрый, экономный по ресурсам, часть сценариев работает без GPU. Используем для озвучки ответов, уведомлений и голосовых роботов. Ограничение: у отдельных сборок лицензия ограничивает коммерческое использование — редакцию проверяем до внедрения, а не после.

Лицензия конкретного релиза

Эмбеддинги и поиск по вашим данным

Качество ответа по вашим документам определяется поиском не меньше, чем размером LLM: если в контекст попал не тот фрагмент, никакая модель это не исправит.

multilingual-e5

Microsoft

Многоязычные эмбеддинги для поиска похожих фрагментов. Проверяем короткие запросы, русскую терминологию, таблицы и названия товаров. Векторная близость не доказывает достоверность источника, поэтому поиск дополняется фильтрами, ключевыми словами и проверкой доступа.

Лицензия конкретного релиза

BGE-M3

BAAI

Гибридный поиск в одной модели: плотные и разреженные представления плюс мультивекторное сопоставление. Держит длинные фрагменты, что удобно для регламентов, договоров и техкарт. Ограничение: тяжелее обычных эмбеддеров, первичная индексация большой базы занимает заметно больше времени.

Лицензия конкретного релиза

ru-en-RoSBERTa

ai-forever

Русско-английская модель для семантического поиска, кластеризации и поиска дублей. Компактная, экономит память на больших индексах и быстро отвечает. Ограничение: узкая языковая пара — если в базе есть документы на других языках, берём multilingual-e5 или BGE-M3.

Лицензия конкретного релиза

Qwen Embedding и Reranker

Qwen

Эмбеддинги превращают запросы и документы в поисковые представления, reranker уточняет порядок найденных фрагментов. Сравниваем их с BGE и e5 на ваших вопросах. Проверяем качество отдельно от генерации ответа, чтобы видеть, где именно теряется нужный источник.

По карточке выбранной версии

Изображения, OCR, видео и код: отдельные модели

Выбор модели определяется типом исходных данных. Сначала проверяем извлечение информации, затем включаем её в общий рабочий процесс.

Qwen VL и компактные мультимодальные Qwen

Qwen

Разбор изображений, схем и выбранных видеокадров. Сохраняем исходник для проверки вывода; способность описать кадр не означает сертифицированный контроль безопасности. Для потоковой видеоаналитики отдельно рассчитываем частоту обработки и аппаратные ресурсы.

Документы и изображения

GLM-OCR и другие OCR-кандидаты

Z.ai и специализированные проекты

Распознавание документов и восстановление структуры. На сметах, сканах и таблицах проверяем пропущенные строки, единицы измерения и связь с оригиналом. DWG и другие инженерные форматы требуют отдельного согласованного конвейера.

Извлечение текста

Qwen Coder, DeepSeek и другие модели для кода

По выбранному семейству

Помощники разработки, разбор репозитория и генерация изменений. Доступ к коду и инструментам ограничивается задачей. Выпуск проходит обычные проверки проекта и согласование ответственного; модель не получает самостоятельного права выкладывать любую правку в продуктив.

Разработка и инструменты

Модели генерации изображений

По требованиям проекта

Генерация и редактирование визуальных материалов через согласованный сервис или локальную модель. Проверяем права на исходники, лицензию выбранного релиза и стоимость инфраструктуры. Итоговый материал проходит редакционную проверку перед публикацией.

Контент и визуальные задачи

Какую модель берём под конкретную задачу

Таблица — отправная точка, а не догма. Финальный выбор делается прогоном на ваших данных, но начинаем мы всегда с этих связок.

Рабочие связки моделей по типам задач в локальном контуре
ЗадачаЧто берёмПочему
Ответы по внутренним регламентамQwen или Gemma 7–14B плюс BGE-M3Модель среднего размера справляется, если поиск отдаёт точный фрагмент; экономит VRAM
Агент с инструментами: почта, задачи, документыGLM, Qwen или DeepSeek от 30BНужен устойчивый вызов функций и длинный контекст, малые модели рвутся на цепочках
Русская деловая переписка и документыGigaChat, T-pro, QwenБольшая доля русского в обучении, реже путают падежи, термины и формат реквизитов
Разбор звонков колл-центраGigaAM-v3, T-oneGigaAM обучена на 700 тыс. часов русской речи, T-one держит поток и шум телефонии
Расшифровка встреч на нескольких языкахWhisperМультиязычность и предсказуемое качество; на чистом русском уступает GigaAM
Распознавание офлайн и на слабом железеVoskРаботает без GPU, подходит для терминалов, складов и площадок без стабильной сети
Озвучка ответов и уведомленийSilero, открытые VITSБыстрый синтез на скромных ресурсах; лицензию сборки проверяем до внедрения
Поиск по разнородной базе документовBGE-M3Гибрид плотного и разреженного поиска, спокойно держит длинные фрагменты
Семантический поиск и поиск дублейru-en-RoSBERTa, multilingual-e5Хорошо ложатся на смешанные русско-английские тексты, экономны на больших индексах
Внутренние скрипты и разбор кодаQwen, DeepSeekОтдельные сборки под код и устойчивое форматирование ответа без ручной чистки

«Открытые веса» — что это значит юридически

Открытые веса и открытый исходный код — разные вещи. Публикуются параметры модели и код инференса; обучающие данные и полный рецепт обучения не раскрывает почти никто. Воспроизвести модель с нуля вы не сможете. Скачать, развернуть у себя, дообучить и зафиксировать версию на годы — сможете, и именно это нужно для работы в закрытом контуре.

Лицензии делятся на три группы. Пермиссивные — Apache 2.0 и MIT: коммерческое использование, модификация и дообучение без дополнительных условий. Вендорские — Llama Community License, Gemma Terms of Use: коммерческое использование разрешено, но есть пункты про запрещённые применения, атрибуцию и порядок распространения производных моделей. Некоммерческие вроде CC BY-NC в продуктивные внедрения мы не берём вообще.

Два момента, о которых чаще всего забывают. Первый: дообученная модель наследует лицензию базовой — адаптер поверх Llama остаётся под условиями Llama. Второй: редакция лицензии меняется от сборки к сборке внутри одного семейства, поэтому проверять надо карточку конкретной версии, а не название модели вообще.

В проектной документации мы фиксируем по каждой модели точное имя сборки, дату загрузки, редакцию лицензии и хеш весов. Это же снимает санкционный риск: веса скачиваются один раз и живут у вас, закрытие доступа к репозиторию не выключает то, что уже развёрнуто. Как модельный стек встраивается в контур безопасности — на странице локального ИИ.

Как проверяем модель на ваших данных перед внедрением

Выбор по рейтингам мы не делаем. Порядок один и тот же на каждом проекте и занимает от нескольких дней до полутора недель внутри пилота.

  1. Собираем тестовый набор. 100–300 реальных примеров из вашего процесса с эталонными ответами, которые проверил профильный сотрудник. Без этого сравнивать нечего и спорить не о чем.
  2. Отбираем 3–4 кандидата. Разные семейства и разные размеры — обязательно и крупная модель, и компактная, чтобы увидеть, где заканчивается запас качества и начинается переплата за железо.
  3. Гоняем в равных условиях. Один промпт, один и тот же поиск, одна разрядность весов. Меряем точность, задержку, потребление VRAM и стоимость запроса в пересчёте на месяц работы.
  4. Проверяем устойчивость формата. Если на выходе нужен JSON, код номенклатуры или сумма из документа, считаем долю ответов, которые пришлось чинить руками. Часто именно это решает выбор.
  5. Считаем нагрузку. Пиковое число параллельных запросов, длина контекста, требуемая задержка ответа. Из этого получается конфигурация железа, а не наоборот.
  6. Решаем про дообучение. Если разрыв с эталоном держится на терминологии и формулировках, идём в дообучение на ваших данных, а не берём модель на порядок крупнее.
  7. Фиксируем версию. Сборка, хеш, лицензия, дата, результаты прогона — всё уходит в проектную документацию. Следующее обновление модели проходит тот же прогон, прежде чем попасть в продуктив.

Локальные модели, OpenRouter и прямые API: сравнение

Выбираем схему по категории данных и требованиям к управлению. Ни один внешний маршрут не считается локальным контуром.

СхемаГде выполняется запросЧто согласуем
Локальные открытые весаИнфраструктура заказчика или его выделенный контурGPU, версии, роли, журналы, копии и обновления
OpenRouterВнешний шлюз и выбранный модельный провайдерРазрешённые данные, маршрут, хранение и ограничения бюджета
Прямой API разработчикаИнфраструктура выбранного провайдераДоступность, договорные условия, модель и политика данных
Гибридная схемаРазные маршруты по типу задачиКлассификация данных и запрет внешнего fallback для закрытых запросов

Подключение через OpenRouter: модели и правила маршрутизации

OpenRouter даёт общий API к моделям разных разработчиков. Через него можно подключать доступные семейства Qwen, DeepSeek, GLM, Kimi и другие, а также коммерческие модели, если такой способ обработки допустим для задачи. Каталог и доступность провайдеров меняются; точный идентификатор проверяем при настройке интеграции.

Настраиваем разрешённых провайдеров, ограничения бюджета, повторные попытки и резервные маршруты. Режим Zero Data Retention и запрет использования данных для обучения уменьшают отдельные риски хранения, но не делают запрос локальным: данные всё равно передаются внешней стороне. Для закрытых документов выбираем локальную обработку и не включаем внешний fallback.

Приёмка включает не только успешный ответ. Проверяем отказ основного провайдера, достижение лимита, неподдерживаемый инструмент и ошибку маршрута. Система должна объяснить ограничение и сохранить контроль действий, а не незаметно отправить закрытые сведения другому сервису. Подключение модели становится частью управляемого рабочего контура.

Как выбирать модели ИИ для корпоративного процесса

Сравнивайте кандидатов на одинаковых заданиях компании: качество, отказы, время проверки и стоимость принятого результата. Модель с открытыми весами не обязательно помещается в выбранный GPU и не всегда готова к диалогу. Для конкретного релиза проверяем лицензию, формат весов, память и поддерживаемую схему запуска до включения в поставку.

Источники по моделям и технологиям

Официальные карточки и документация, на которые опираются технические сведения на этой странице.

Вопросы и ответы

Вопросы о моделях ИИ и способах подключения

Открытая модель и open source — одно и то же?

Нет. Доступность весов не означает доступность всего обучающего кода, данных и одинаковые права использования. Проверяем лицензию конкретного релиза, ограничения модификации и коммерческого применения. В каталоге используем термин «открытые веса», когда подтверждена именно доступность весов.

Можно подключить внешнюю модель вместо покупки GPU?

Да, если заказчик разрешает соответствующую обработку данных. Рассматриваем OpenRouter и прямые API. Для документов, которые должны оставаться внутри инфраструктуры компании, нужен локальный маршрут. Экономику сравниваем по реальной нагрузке, стоимости сопровождения и ограничениям процесса.

Используете ли самую новую модель в каждом проекте?

Проверяем актуальные кандидаты, но выбираем по качеству на задачах компании. После приёмки фиксируем версию. Обновление выполняется через проверочный набор: новая модель может улучшить один сценарий и ухудшить другой, поэтому автоматическая замена без испытания не нужна.

Можно сравнить модели на наших документах?

Да. Согласуем разрешённую выборку, правильные ответы и метрику, затем сравниваем кандидатов в одинаковых условиях. Проверяем поиск, формат результата, задержку и расход памяти. Для внешнего API заранее определяем, какие материалы допускается передавать провайдеру.

Что кроме LLM входит в систему?

Обработка файлов, OCR, эмбеддинги, поиск и reranker, распознавание и синтез речи при необходимости, интеграции, контроль доступа и мониторинг. Состав зависит от продукта. Одна большая модель не заменяет эти функции автоматически.

Как выбрать модели ИИ для московского офиса и региональных подразделений?

Сначала определяем ограничения на данные и требуемую нагрузку. Для строгого локального варианта оцениваем общий сервер и доступ площадок; для согласованного API-проекта — разрешённые категории запросов. Выбор семейства модели не заменяет проверки конкретного релиза на заданиях команды.

Начните с одного процесса

Обсудим вашу задачу и посчитаем эффект внедрения ИИ

Бесплатная диагностика, 30–40 минут. Разберём процесс, доступные данные и ограничения. На выходе — первые сценарии, ориентир по внедрению и расчёт на ваших цифрах.

Нажимая кнопку, вы соглашаетесь с политикой обработки данных. Отвечаем в течение одного рабочего дня.