Veridion Gateway

Одна точка управления моделями

Единая точка для всех обращений к моделям в контуре. Gateway решает, какая задача пойдёт на какую модель, в каких пределах и за чей бюджет

Подготовь пакет документов для продления договора с «Транс-Нева»

Разбиваю задачу на шаги...
План · 4 шага
  • Найти действующий договор и допсоглашенияDisk
  • Проверить контрагента и лимиты1С
  • Собрать проект допсоглашенияWriting Agent
  • Согласовать с юристомОжидает вас

Что происходит с запросом до того, как он займёт ваш кластер

Когда модели развёрнуты в своём контуре, счёт не приходит — и кажется, что всё бесплатно. Дефицитом становится не бюджет, а ёмкость. Gateway управляет именно ей.

  • Парк моделей под одним управлением

    Модели разного размера работают как единый пул. Подключить новую или вывести старую — настройка, а не переделка сценариев у пользователей.

  • Каждая задача — на своей модели

    Простое уходит на лёгкую модель, сложное — на тяжёлую. Пользователь модель не выбирает и о её цене не думает.

  • Ёмкость — по правилам, а не по скорости реакции

    Квоты задаются на пользователя, департамент и инициативу. Мощности достаются тем, кому вы их выделили, а не тем, кто первый успел.

  • «Своё» не значит «бесплатно»

    Загрузка кластера пересчитывается в стоимость и относится на департаменты и инициативы. У каждого GPU-часа появляется владелец бюджета.

  • Граница контура — под вашим правилом

    Вы задаёте, какие направления обращений разрешены вообще. Разрешённая внешняя модель идёт через ту же точку и в тот же журнал — как исключение, а не теневой канал.

  • Каждое обращение записано

    Кто, когда, на какую модель, по какому правилу, сколько заняло. Разбор случая — чтение журнала, а не опрос команд.

Одна точка прохода, три функции

Gateway не добавляет ещё один инструмент в ландшафт. Он встаёт между тем, что уже работает, и моделями, которые уже развёрнуты.

  • Агент Veridion
  • Сотрудник
  • Внутренний сервис
  • Кастомный агент
  1. Парк и маршруты

    Все модели — через одну дверь

    Локальные и open-source модели, развёрнутые в контуре, подключаются к одному шлюзу. Маршрутизация решает, какая задача идёт на какую модель. Внешние модели, если они разрешены, подключаются туда же и на тех же условиях.

  2. Правила и ёмкость

    Границы, которые нельзя обойти

    Квоты, лимиты и разрешённые направления применяются к каждому запросу до отправки. Полномочия не расширяются снизу: пользователь работает в границах, заданных ИТ и ИБ, и не может занять кластер сверх выделенного.

  3. Учёт

    Стоимость с адресом

    Журнал обращений, загрузка мощностей и стоимость в разрезе департаментов, инициатив и моделей. Собственное железо и внешние обращения — в одной системе координат.

  • Локальная · тяжёлая
  • Локальная · лёгкая
  • Внутренняя модель
  • Внешняя · по исключению

Три функции работают в одной точке. Это принципиально: правило, которое применяется не там, где проходит запрос, — это рекомендация.

Один кластер, два разных вопроса

Вопрос ИТ

Какая задача — на какой модели

Под задачу подбирается модель нужного размера, квоты определяют доступную ёмкость, а разрешённые направления — куда обращение может уйти в принципе. Всё это применяется до того, как запрос займёт мощности.

  • Новая модель в парке — настройка маршрута, а не переделка сценариев у пользователей.
  • Квота — граница, а не уведомление о превышении.
  • Какие направления разрешены — решает ваша ИБ, а не поставщик платформы.

Вопрос Финансов

Во что обходится свой кластер

Загрузка кластера пересчитывается в стоимость и разносится на департаменты и инициативы. Видно, где мощности простаивают, а где упираются в потолок.

  • Chargeback: у каждого GPU-часа есть владелец бюджета.
  • Решение о закупке мощностей — из фактической загрузки, а не из оценок.
  • Полная стоимость ИИ-инициативы — вместе с долей железа, которую она занимает.

Ваши модели. Без привязки к поставщику.

Мы не производим модели и ничего не теряем от того, какую вы выберете. Поэтому цифрам о стоимости и качестве, которые показывает Gateway, можно верить: мы не продаём ни одну из них.

  • Локальная · тяжёлая

    сложный анализ

  • Локальная · средняя

    документы, письма

  • Локальная · лёгкая

    классификация, поиск

  • Внутренняя · отдел данных

    спец. задачи

  • Open-source · эмбеддинги

    индекс Disk

  • Внешняя · по исключению

    отдельный класс задач

  • Локальные и open-source — основной сценарий. Модели, развёрнутые в вашем контуре, подключаются к шлюзу и работают под вашими правилами.
  • Смена модели — настройка. Модель меняется в настройках шлюза: пересобирать агентов, навыки и сценарии не нужно. Решение о модели остаётся обратимым.
  • Внешние модели — по исключению. Если ваш регламент разрешает внешнюю модель для отдельного класса задач, она идёт через тот же шлюз и в тот же журнал.

Один шлюз, четыре разных вопроса

ИТ, ИБ, финансы и владельцы инициатив спрашивают у ИИ разное. Отвечает одна точка контроля.

  • CIO / ИТ-блок

    Вопрос сегодня
    Сколько моделей развёрнуто, кто их грузит и хватит ли железа на следующий квартал
    Что даёт Gateway
    Единая точка доступа к парку, маршрутизация, фактическая утилизация мощностей

  • ИБ

    Вопрос сегодня
    Остаются ли данные в контуре и что происходит на его границе
    Что даёт Gateway
    Разрешённые направления задаются до отправки, журнал обращений на вашей стороне

  • CFO / финансы

    Вопрос сегодня
    Во что обошёлся кластер и на чей бюджет ложится его загрузка
    Что даёт Gateway
    Стоимость вычислений с разнесением на департаменты и инициативы

  • Владелец ИИ-инициативы

    Вопрос сегодня
    Оправдывает ли пилот масштабирование и хватит ли ему мощностей
    Что даёт Gateway
    TCO своей инициативы вместе с долей железа, выделенная квота — отдельно от общего пула

Сначала правила, потом масштаб

Gateway не требует переразворачивать то, что уже работает. Он встаёт перед вашими моделями и начинает применять ваши правила.

  1. Разворачиваем шлюз в контуре

    Устанавливаем Gateway рядом с вашей инференс-инфраструктурой: on-prem, частное облако или закрытый контур

    Точка контроля под вашим управлением

  2. Подключаем парк моделей

    Заводим развёрнутые локально модели, настраиваем маршруты между ними; при необходимости — разрешённые внешние

    Все обращения идут через одну точку

  3. Задаём правила и разрезы

    Вместе с ИБ — фильтрация и границы контура; вместе с ИТ и финансами — департаменты, инициативы, квоты на ёмкость

    Правила, действующие на входе, и отчёт, у которого есть владельцы

  4. Считаете вы

    Через период накопления видны фактическая загрузка, эффект маршрутизации и кэша, реальная стоимость вычислений

    Решение о масштабировании и о закупке мощностей — на своих цифрах

Чем это отличается от того, как этот вопрос закрывают сейчас

Сравниваем не с вендорами, а со способами, которые лежат на столе у большинства компаний с собственной инференс-инфраструктурой.

Veridion Gateway
Каждая команда поднимает свой инференс
Прямые обращения к одной общей модели
Учёт по счетам за железо
Парк моделей
Единый пул под одним управлением
Дублирование моделей и мощностей
Одна модель на все задачи
Не относится
Кто выбирает модель
Маршрут по вашим правилам
Каждая команда за себя
Выбора нет
—
Распределение ёмкости
Квоты на департамент и инициативу
Кто успел, того и мощности
По факту нагрузки
—
Граница контура
Разрешённые направления задаются до отправки
По-разному в каждой команде
Зависит от реализации
Не контролируется
Стоимость вычислений
С разнесением на владельца
Не считается
Не считается
Общая сумма за квартал
Утилизация
Видна постоянно
Видна по каждому стенду отдельно
Частично
Не видна
Аудит обращений
Единый журнал
Разрозненные логи
Зависит от реализации
Отсутствует

Посмотрите, чем на самом деле занят ваш кластер

Развернём Gateway рядом с вашей инференс-инфраструктурой: покажем фактическую загрузку по департаментам, что можно перевести на лёгкие модели и сколько ёмкости освобождает кэш.

Управляйте, а не подсчитывайте.