Dev Crabs

AI для задач компании без передачи данных за периметр

Отделам нужен AI для документов, переписки и внутренних знаний, а политика ИБ запрещает отправлять данные во внешние сервисы. Разворачиваем модель и сервис на вашей инфраструктуре и показываем, какие компоненты куда обращаются. Решение о каждом внешнем соединении остаётся за ИБ.

  • Пилот на одном сценарии
  • Ваши серверы или частное облако
  • Карта сетевых обращений до запуска
Оценить сценарий

Когда это нужно

Когда AI нужен внутри своего контура

  1. ИБ запрещает внешние AI-сервисы

    Политика безопасности не разрешает отправлять документы и переписку в облачные нейросети. А сотрудники всё равно копируют туда рабочие тексты, потому что другого инструмента у них нет.

  2. Есть задача и её владелец

    Отдел знает, что хочет получить: ответы по регламентам, разбор договоров, обработку заявок. Нужен не «AI вообще», а сервис под конкретный сценарий.

  3. Нужен корпоративный ChatGPT

    Внутренний чат с моделью для сотрудников: вход по корпоративной учётной записи, журнал запросов, и ни один запрос не уходит внешнему поставщику.

  4. Данные нельзя отдавать третьим лицам

    Коммерческая тайна, персональные данные клиентов, условия договоров с заказчиками — их можно обрабатывать только на своей инфраструктуре.

Когда не подойдёт

  • Данные не секретные, и ИБ разрешает облако — облачная модель через API будет дешевле и быстрее в запуске.
  • Нужно запустить нейросеть на своём компьютере — для развёртывания локальной LLM под одного пользователя хватит готовых приложений.
  • Нужны только серверы или видеокарты — оборудование мы не продаём, но поможем рассчитать требования под задачу.

Как работаем

Начинаем с одного сценария, а не с покупки серверов

Внедрение локальной LLM идёт от задачи: сначала сценарий и требования ИБ, потом модель, и только после этого — расчёт железа.

  1. Неделя 0

    Сценарий и требования

    Выбираем одну задачу и её владельца. Вместе с ИБ фиксируем, где можно разместить систему, кто получит доступ и какие соединения разрешены.

  2. Неделя 1

    Модель и ресурсы

    Сравниваем несколько открытых моделей на обезличенных примерах вашей задачи. Для подходящей считаем, какие серверы нужны, и предлагаем варианты размещения.

  3. Недели 2–4

    Пилот в контуре

    Разворачиваем модель и сервис на вашей инфраструктуре, подключаем вход по учётным записям и журнал. Передаём ИБ карту сетевых обращений.

  4. Ваше решение

    Эксплуатация или стоп

    ИБ проверяет контур, пользователи — результат. Устраивает — подключаем интеграции и берём на себя обновления и поддержку. Нет — останавливаемся на пилоте.

Как это устроено

Как устроен AI в закрытом контуре

  • Открытые модели под задачу

    Берём модели с открытыми весами: они работают без обращения к разработчику. Выбираем по качеству на ваших примерах, а квантование снижает требования к памяти, чтобы модель поместилась на доступные видеокарты.

  • Ваши серверы или частное облако

    Серверы с видеокартами в вашем ЦОД или выделенные серверы у облачного провайдера — там, где разрешает ИБ. Какой сервер нужен для локальной LLM, считаем после выбора задачи.

  • Доступы и журнал

    Вход через корпоративные учётные записи, права по группам, журнал запросов в вашей системе мониторинга. Для ИБ — карта, какой компонент с чем соединяется.

  • Работа с вашими документами и системами

    Локальная LLM для работы с документами полезнее голого чата: сервис подключается к СЭД, почте, базам и файловым хранилищам через внутренние API. Например, проверяет договоры по правилам юридического отдела.

    Юридический AI-ассистент →

  • Обновления и эксплуатация

    Новые версии моделей и библиотек проверяем вне контура и переносим внутрь по согласованному порядку. Следим за нагрузкой и качеством ответов, поддерживаем по договору.

Отличие

Облачная нейросеть или закрытый контур

Облачные нейросети и их корпоративные тарифы подключаются за день. Локальные нейросети для бизнеса дольше и дороже на старте — это оправдано, когда данные нельзя передавать наружу.

Облачный сервисЗакрытый контур
Где обрабатываются данныеНа серверах поставщика сервисаНа ваших серверах или выделенных в частном облаке
Кто видит запросыПоставщик — по своим правилам храненияТолько сотрудники, которым вы выдали доступ
Выход в интернетКаждый запрос уходит к поставщикуМожно закрыть полностью; разрешённые соединения согласует ИБ
МоделиСамые сильные закрытые моделиОткрытые модели, выбранные по качеству на ваших задачах
РасходыОплата за запросы или пользователейСерверы и поддержка; за запросы отдельно не платите
СтартВ день подключенияПосле пилота и подготовки серверов

Если данные не секретные и ИБ разрешает облако, облачный сервис будет быстрее и дешевле. Закрытый контур нужен там, где передача данных наружу запрещена или для бизнеса неприемлема.

Доказательства

Опыт команды и пример карты контура

Как выглядит проверка сетевых обращений — на вымышленном стенде. И продукты, в которых команда запускала модели локально и строила защиту данных.

Демонстрация

Ассистент по внутренним регламентам — вымышленный стенд

Карта сетевых обращений, 9 компонентов

2
выхода наружу закрыты
1
канал на решение ИБ
6
компонентов внутри контура
  1. Запросы и документы сотрудниковВнутри контура
    Браузер сотрудника → внутренний портал → AI-сервис. Все узлы в сегменте 10.40.0.0/24, выход в интернет закрыт на межсетевом экране.

    Требование ИБДокументы и запросы сотрудников не покидают внутреннюю сеть.

    Исходящих соединений нет. Проверено запуском всего стенда при закрытом выходе в интернет.

  2. Сервер моделиВыход наружу
    При запуске сервер инференса отправляет разработчику анонимную статистику использования.

    Требование ИБИсходящие соединения из сегмента AI-сервиса запрещены.

    Отправку статистики отключили в конфигурации. Повторный запуск — ни одной попытки соединения наружу.

  3. Загрузка моделиВыход наружу
    Библиотека при старте проверяет в публичном репозитории, не вышла ли новая версия весов.

    Требование ИБИсходящие соединения из сегмента AI-сервиса запрещены.

    Включили офлайн-режим, веса лежат во внутреннем хранилище. Версия модели меняется только по заявке.

  4. Обновления моделей и библиотекРешает ИБ
    Новые версии скачиваются вне контура и переносятся во внутреннее зеркало.

    Требование ИБВ политике ИБ нет порядка переноса обновлений в контур.

    Порядок не додумываем: как проверять и переносить обновления, решает ИБ. До решения стенд работает на зафиксированных версиях.

  5. Журнал запросовВнутри контура
    AI-сервис → сборщик журналов компании, внутри сети.

    Требование ИБДействия пользователей попадают в систему мониторинга ИБ.

    Кто и когда обращался к ассистенту, видно в вашей системе. Состав полей журнала согласован с ИБ.

Демонстрация на вымышленном стенде: адреса, компоненты и требования условные. Для вашей системы карту составляем заново и сверяем с вашей политикой ИБ. Требования к серверам и скорость работы оцениваем после выбора задачи.
  • Desktop AI

    Atomic Chat

    Приложение для работы с AI-моделями без обязательной передачи данных в облако: модель запускается на устройстве пользователя. Команда отвечала за архитектуру локального запуска, оптимизацию и квантование — поддерживается 1 000+ моделей.

  • Browser AI

    Sigma AI Browser

    AI-движок приватного браузера: агент работает с веб-интерфейсами, а чувствительные данные обрабатывает локальная модель, без передачи в облако. Команда отвечала за архитектуру агента и AI-движок.

  • Приватная почта

    Atomic Mail

    Почта со сквозным шифрованием: письма расшифровываются только на устройстве пользователя, у сервиса нет доступа к содержимому. Команда отвечала за архитектуру шифрования, backend и клиентские приложения.

Стоимость

От чего зависит стоимость

Цену пилота фиксируем до старта, после разбора сценария и требований ИБ. На неё влияют четыре вещи.

  • Сценарий

    Внутренний чат с моделью проще ассистента, который работает с документами и выполняет действия в системах.

  • Серверы

    Есть ли подходящие серверы с видеокартами или их нужно арендовать или закупить. Оборудование в стоимость работ не входит.

  • Требования ИБ

    Полная изоляция от интернета, отдельный сегмент сети, порядок переноса обновлений — каждое требование добавляет работы по настройке и проверке.

  • Интеграции и поддержка

    Вход через корпоративные учётные записи, подключение СЭД, почты и баз данных, объём поддержки после запуска.

Пилот — один сценарий на вашей инфраструктуре и карта сетевых обращений для ИБ. Срок считаем с момента, когда сервер доступен. После заявки за 24 часа вернёмся с вопросами и оценкой.

Вопросы

Частые вопросы

Какие ресурсы нужны?

Зависит от задачи, модели и числа пользователей. Внутреннему чату для небольшой команды часто хватает одного сервера с видеокартой, работе с большим потоком документов нужно больше. Какой сервер нужен для локальной LLM, считаем после выбора сценария и проверки моделей на ваших примерах.

Какие компоненты обращаются во внешнюю сеть?

В рабочем режиме — никакие, если этого требует ИБ. До запуска составляем карту: какой компонент с чем соединяется. Функции, которые по умолчанию выходят в интернет, — статистику использования, проверку обновлений — отключаем и проверяем запуском при закрытом выходе.

Кто обновляет и поддерживает систему?

Мы — по договору поддержки, или ваша команда после передачи документации. Новые версии моделей и библиотек проверяем вне контура и переносим внутрь по порядку, который согласует ИБ.

Зачем запускать LLM локально, если есть облачные сервисы?

Главная причина — данные: документы, переписка и запросы сотрудников не уходят поставщику модели. Кроме того, сервис не зависит от доступности внешнего API и его условий, а расходы не растут с каждым запросом.

Будет ли открытая модель работать как ChatGPT?

На общих задачах самые большие облачные модели обычно сильнее. На узкой задаче компании разрыв меньше, особенно когда модель опирается на ваши документы. Поэтому модели сравниваем на ваших примерах до выбора, а не после запуска.

Можно ли сделать корпоративный ChatGPT внутри компании?

Да, это частый первый сценарий: внутренний чат с открытой моделью, вход по корпоративной учётной записи, журнал запросов. В отличие от корпоративных тарифов облачных сервисов, запросы не уходят поставщику модели.

Можно ли разместить систему в облаке, а не на своих серверах?

Да, на выделенных серверах у облачного провайдера, если это разрешает политика ИБ. Модель работает на арендованных вами серверах, а запросы не уходят во внешние AI-сервисы.

Помогает ли закрытый контур с требованиями 152-ФЗ?

Обработка на своей инфраструктуре снимает вопрос передачи персональных данных внешнему AI-сервису. Но соответствие закону — это ещё документы и процессы вашей компании как оператора, их готовят ваши юристы и ИБ. Мы передаём описание архитектуры и потоков данных, которое для этого нужно.

Можно ли просто поставить нейросеть на свой сервер?

Для одного пользователя хватит готовых приложений для локального запуска — заказная разработка не нужна. Мы делаем сервис для компании: LLM на своём сервере плюс доступы, журнал, интеграции с системами и поддержка.

Что нужно от нас для пилота?

Владелец сценария и примеры задач, требования ИБ к размещению, сервер или решение, где его взять, и администратор с вашей стороны на время установки.

Смежные задачи

Если задача рядом

Все услуги →
  • AI-поиск по внутренним документам

    Если сотрудникам нужны ответы по регламентам и инструкциям со ссылкой на источник — такой поиск тоже разворачивается внутри контура.

  • Автоматизация службы поддержки с AI

    Если нужна первая линия: ответы на типовые обращения, тикеты и передача сложных случаев человеку.

  • Дообучение моделей

    Если модели не хватает знания вашей терминологии и задач. Здесь решаем, где работает модель, там — насколько хорошо она знает предмет.

Пилот

Оценить сценарий и требования к размещению

Расскажите, какую задачу хотите решить и что разрешает ваша ИБ. За 24 часа вернёмся с вопросами и оценкой пилота.

Или напрямую: Telegram ↗ · +7 931 203-30-78 · hello@dev-crabs.ru