ИИ-сервер для бизнеса: оборудование и закрытый контур
ИИ-сервер под ключ — оборудование, локальные модели и рабочие AI-сценарии в инфраструктуре компании. LokAi рассчитывает нагрузку, подбирает и организует поставку GPU, настраивает Qwen или другую подходящую модель, поиск по документам и доступы. Обучаем сотрудников, а дообучение модели включаем отдельно, когда его необходимость подтверждена проверкой.
Что входит в поставку ИИ-сервера под ключ
Собственный сервер нужен, когда компания хочет контролировать хранение документов, версию модели и доступ сотрудников. Рабочий контур включает больше, чем видеокарту и чат: обработку файлов, поиск, модельный сервис, интеграции, права, журналирование и резервные копии. Состав зависит от процесса. Для базы знаний и круглосуточного распознавания разговоров нужны разные ресурсы.
Поставка начинается с расчёта сценария. Выбираем характерные документы, длину запроса, число пользователей и допустимое ожидание ответа. После испытания согласуем спецификацию: GPU, системную память, накопители, питание, охлаждение и запас для расширения. Установка в кабинет, серверную или стойку имеет разные требования к шуму и отводу тепла.
Мы организуем оборудование, настройку программного контура и передачу системы команде заказчика. Точный поставщик, гарантия, сроки и состав работ фиксируются в предложении. В опубликованном расчёте для строительства мостов показан подход к выбору одной или двух GPU; это не универсальная готовая спецификация для любой компании.
Как устроить работу сотрудников с документами, поиск и контроль доступа, описано в продукте «Локальный ИИ: свои данные в своём контуре». Для первичной оценки передачи файлов во внешние сервисы используйте карту рисков теневого ИИ.
Память для локальных Qwen: актуальная и предыдущая линейки
Расчётный нижний предел только для весов языковой части: число параметров × битность / 8. Это не полный расход VRAM: дополнительно нужны зрительный энкодер, метаданные квантования, кэш контекста и память движка. GB здесь десятичные, GiB — двоичные.
| Языковая модель | 4 бита, веса | 8 бит, веса | 16 бит, веса |
|---|---|---|---|
| Qwen3.8-27B | ≈13,5 GB / 12,6 GiB | ≈27 GB / 25,1 GiB | ≈54 GB / 50,3 GiB |
| Qwen3.6-27B | ≈13,5 GB / 12,6 GiB | ≈27 GB / 25,1 GiB | ≈54 GB / 50,3 GiB |
| Qwen3.6-35B-A3B | ≈17,5 GB / 16,3 GiB | ≈35 GB / 32,6 GiB | ≈70 GB / 65,2 GiB |
ИИ-сервер с одной и двумя видеокартами
Ниже — варианты для испытания, а не обещание производительности. Итоговый размер квантованной сборки и доступность нужных операций проверяются с выбранным движком. Сравниваем качество на документах компании.
| Конфигурация GPU | Для чего рассматриваем | Условие приёмки |
|---|---|---|
| 1 × RTX 4090, 24 GB | Кандидат для Qwen 27B в 4-битном представлении | Ограничить контекст и параллельность; проверить полную сборку на реальных документах |
| 1 × RTX 5090, 32 GB | Qwen 27B в 4 битах с большим запасом под рабочую нагрузку | FP8 требует отдельного замера: близкий размер весов не гарантирует достаточно свободной памяти |
| 2 × RTX 4090, по 24 GB | Разделение подходящей модели или два независимых обработчика | 48 GB — сумма физических ресурсов; это не единый автоматический буфер |
| 2 × RTX 5090, по 32 GB | Планирование FP8/8-битного запуска или разделение LLM и OCR | Проверить поддержку multi-GPU, PCIe, охлаждение, питание и нагрузку; 64 GB не означают гарантированный BF16 |
Как настраиваем закрытый контур с Qwen и RAG
Для локального сравнения берём компактную Qwen3.8-27B и предшествующую открытую линейку Qwen3.6. Текстовая часть вариантов 27B содержит около 27 млрд параметров. У Qwen3.6-35B-A3B активна лишь часть экспертов, но память планируется под все веса, а не под 3 млрд активных параметров. Полноразмерные флагманы Qwen — другой класс оборудования; их нельзя обещать на одной или двух потребительских GPU.
После установки настраиваем модельный сервис и RAG-поиск по внутренним документам. Разделяем права отделов, сохраняем источник ответа и проверяем обновление индекса. Для работы без внешних модельных API запрещаем внешний резервный маршрут. Установка локального интерфейса поверх облачной модели сама по себе закрытого контура не создаёт.
Для однокарточной станции рассматриваем 128 GB системной RAM и NVMe с запасом под архив, индекс и копии моделей. Для более тяжёлого конвейера может потребоваться 256 GB RAM. Это проектные ориентиры. Оперативная память не равна видеопамяти: перенос части весов на CPU меняет скорость и должен проверяться отдельно.
Запуск ИИ-сервера: расчёт, поставка, настройка и обучение
У каждого этапа есть передаваемый результат. Закупку привязываем к проверенному сценарию и согласованной спецификации.
Расчёт GPU и проверка модели
Берём разрешённые документы и вопросы, выбираем кандидатов и формат весов. Измеряем фактическую VRAM, задержку, качество и поведение при параллельных запросах. Для длинных сканов и таблиц отдельно проверяем извлечение текста. В расчёт входит резерв под рабочие сервисы, а не только файл модели.
Комплектация и поставка оборудования
Проверяем корпус, физическое размещение GPU, линии PCIe, блок питания, тепловой режим и электросеть площадки. Две карты требуют совместимой платформы; их память не объединяется автоматически. В предложении указываем перечень компонентов, условия гарантии и порядок замены неисправного оборудования.
Развёртывание закрытого контура
Устанавливаем модельные сервисы, обработку документов, индексы и интеграции. Настраиваем учётные записи, минимальные права, журналы и резервное копирование. Испытываем работу без внешних модельных API и восстановление после сбоя. Фиксируем версии и проверочный набор для обновлений.
Обучение сотрудников и передача системы
Показываем пользователям, как задавать вопрос, проверять источник и сообщать об ошибке. Администратор получает инструкции по запуску, мониторингу, резервным копиям и восстановлению. Если требуется дообучение модели, готовим отдельную выборку и оцениваем его эффект по новым примерам, не использованным в настройке.
Обучение команды и дообучение модели — разные работы
Обучить сотрудников пользоваться системой можно без изменения весов. База знаний тоже обновляется через индекс, а не через новый цикл обучения. Для часто меняющихся смет, прайсов и регламентов это обычно удобнее: можно удалить устаревший документ и проверить, что он больше не участвует в ответе.
LoRA или QLoRA рассматриваем, когда модель стабильно нарушает нужный формат либо плохо выполняет узкую задачу даже при хороших источниках. Память при обучении расходуется иначе, чем при инференсе: нужны активации и состояние оптимизатора. Возможность запуска Qwen на станции не означает возможности полного fine-tuning на той же станции. Подробный процесс — в дообучении моделей.
В договоре разделяем обучение пользователей, настройку поиска, подготовку примеров и изменение весов. Это помогает получить нужный результат без лишних циклов обучения. Для каждого способа заранее задаётся критерий качества и порядок возврата к прежней версии, если настройка ухудшила ответы.
Стоимость ИИ-сервера и внедрения в Москве и регионах
Стоимость оборудования считаем по согласованной спецификации и актуальным предложениям поставщиков. Фиксированную цену станции без состава компонентов не публикуем: одинаковая GPU может использоваться в принципиально разных по надёжности системах. На итог влияют гарантия, дисковый массив, питание, охлаждение и необходимость выезда.
Диагностика бесплатна. Платный пилот на одном процессе — $3–5 тыс., с зачётом в стоимость внедрения; техническая часть занимает 2–4 недели. Полная система под ключ — от $30 000, сопровождение — $2,5–5 тыс. в месяц. В предложении явно указываем, входит ли оборудование в итоговую сумму, и отделяем его от программных работ.
Для Москвы и других регионов России согласуем доставку, установку и удалённую поддержку. До закупки проверяем место размещения и возможности администратора. Приёмка включает реальный рабочий сценарий и восстановление из копии: запущенный чат без этих проверок ещё не означает готовую корпоративную систему.
Как принять ИИ-сервер до ввода в рабочую эксплуатацию
Проверка включает выбранный релиз модели, фактическую память с контекстом, параллельные запросы и восстановление после сбоя. Оценка только размера весов не определяет конфигурацию. До поставки согласуем нагрузку, состав программного обеспечения и критерии приёмки. Обучение команды, резервные копии и поддержка входят в отдельно описанный объём работ.
Источники по моделям и технологиям
Официальные карточки и документация, на которые опираются технические сведения на этой странице.
Вопросы о продукте «ИИ-сервер и закрытый контур»
Поместится ли флагманская Qwen на одной видеокарте?
Название семейства недостаточно. Компактная Qwen3.8-27B и полноразмерная MoE-модель имеют разный размер. Для одной GPU выбираем конкретную сборку и проверяем память вместе с контекстом. Крупный флагман не становится однокарточной моделью только из-за малого числа активных параметров.
Можно добавить вторую GPU позже?
Да, если платформа изначально допускает такое расширение. Проверяем слоты, линии PCIe, корпус, охлаждение и мощность питания. Для второй карты может потребоваться другой режим работы движка. Вариант расширения нужно заложить в спецификацию до первой закупки.
Обязательно ли покупать RTX 5090?
Нет. Подбираем оборудование под модель, нагрузку и требования к сопровождению. Существующая станция может подойти для ограниченного пилота. Профессиональная GPU с большей памятью иногда удобнее двух потребительских, но это проверяется по стоимости, совместимости и условиям эксплуатации.
Сможет ли сервер работать без интернета?
Это отдельное требование проекта. Модельные веса и зависимости можно подготовить заранее, но рабочие интеграции, лицензии и обновления тоже нужно проверить. Приёмка автономной схемы включает фактическое отключение внешних маршрутов. Локальная модель сама по себе не доказывает полную автономность системы.
Как принимается поставка железа?
По спецификации, проверке комплектности и испытанию целевой нагрузки. Дополнительно фиксируем температурный режим, стабильность сервисов и порядок обращения по гарантии. Пользовательские сценарии и аппаратная исправность проверяются отдельно, чтобы причина возможной проблемы была понятна.
Как поставить ИИ-сервер для московского офиса и региональных площадок?
Конфигурация зависит от нагрузки и схемы размещения, а условия поставки — от конкретного проекта. Для филиалов проверяем сеть и доступ к источникам. Один сервер на несколько площадок и отдельные локальные узлы требуют разных расчётов памяти, отказоустойчивости и эксплуатации.
Обсудим вашу задачу и посчитаем эффект внедрения ИИ
Бесплатная диагностика, 30–40 минут. Разберём процесс, доступные данные и ограничения. На выходе — первые сценарии, ориентир по внедрению и расчёт на ваших цифрах.