Кейс · Шлюз к AI-моделям
AIRouterОдин человек за пять недель запустил AI-шлюз уровня OpenRouter, через который прошло больше 168 млрд токенов
AIRouter отправляет запросы к разным AI-провайдерам через один API и умеет всё, что умеет OpenRouter. Сверх этого у него есть инференс в стране клиента, оплата в местной валюте и местные закрывающие документы, поэтому компания получает лучшие модели, соблюдает законодательство о персональных данных и платит на 20% меньше, чем при покупке у провайдеров напрямую. Архитектуру я проектировал начиная с ЦОДа, и сервис запустился за пять недель силами одного человека, хотя платформе такого масштаба обычно нужны полноценная команда и несколько кварталов. С тех пор через него прошло больше 168 млрд токенов в более чем 29,5 млн API-запросов от 50+ компаний-клиентов.
- Клиент
- AIRouter
- Продукт
- Шлюз к AI-моделям уровня OpenRouter
- Клиенты
- 50+ компаний
- Трафик
- 168 млрд+ токенов в 29,5 млн+ API-запросов
- Инфраструктура
- Инстансы в нескольких странах, спроектированные начиная с ЦОДа
- Моя роль
- CTO по подписке
- Команда
- 1 человек там, где обычно нужна команда
- Сайт
- airouter.kz
В цифрах
- токенов в 29,5 млн+ API-запросов, по живой статистике на сайте
- 168 млрд+
- до запуска силами одного человека, хотя обычно на это уходят кварталы
- 5 недель
- платит клиент по сравнению с покупкой у провайдеров напрямую
- −20%
- компаний-клиентов получают 547 моделей по одному договору
- 50+
- добавляет роутер, переключаясь между 14 провайдерами автоматически
- <50 мс
- инференс внутри страны: данные не покидают её, закон соблюдён
- Локально
Продукт
Публичный сайт: все ведущие модели по одному договору с компанией, каталог из 547 моделей, выделенные GPU-мощности в Казахстане и живая статистика трафика.
С чего начинали
Компаниям нужны лучшие AI-модели разных провайдеров через одну точку входа. Во многих странах им ещё нужно, чтобы данные не покидали страну, чтобы платить в своей валюте и получать закрывающие документы, которые примет их бухгалтерия. Глобальные шлюзы закрывают первую потребность, а остальное оставляют клиенту.
AIRouter взялся дать клиентам всё это в одном удобном сервисе и пригласил меня, чтобы спроектировать его и быстро вывести на рынок.
Что мы сделали
Один API вместо 14 отдельных интеграций и меньше 50 мс сверху
Запросы уходят к разным AI-провайдерам через один API, и роутер сам выбирает провайдера, так же как это делает OpenRouter, добавляя к запросу меньше 50 мс. В каталоге 547 моделей, поэтому разработчики клиента интегрируются один раз и меняют модели, не переписывая код.
Всё, что есть у OpenRouter, с первого дня
Если модель или провайдер падает, запрос переключается на другую модель или другого провайдера, и сбой у одного поставщика не становится сбоем у клиента. Провайдер выбирается по цене и скорости, и расходы снижаются без ручной настройки. API принимает изображения, PDF, аудио и видео, поддерживает tool calling и structured outputs и кеширует ответы. Командам доступны рабочие пространства с бюджетами и защита чувствительных данных.
Данные остаются в стране, и риск нарушить закон уходит
Инференс работает локально в нескольких странах: данные клиента остаются в его стране, а сервис соблюдает законодательство о персональных данных. Компании, которым нельзя отправлять данные в зарубежный шлюз, теперь пользуются ведущими моделями без юридического риска.
Оплата, которую бухгалтерия принимает с первого дня
Клиенты в каждой стране платят в местной валюте и получают местные закрывающие документы для своей бухгалтерии. В Казахстане это счета в тенге и оплата банковским переводом, без конвертации валюты и без споров с бухгалтерией из-за иностранных счетов.
Спроектировано начиная с ЦОДа, и новый рынок означает новый инстанс
Я составил архитектуру из множества инстансов, размещённых по странам, и отвечал за проектирование начиная с ЦОДа. Выход на следующий рынок сводится к размещению ещё одного инстанса уже работающей схемы.
Один человек довёл сервис до запуска за пять недель
В команде был один человек, и сервис запустили через пять недель после старта. Шлюзу такого масштаба обычно нужны команда и несколько кварталов, чтобы выйти на рынок.
168 млрд+ токенов для 50+ компаний по ценам на 20% ниже прямых
Сайт сервиса считает трафик в реальном времени: через него прошло больше 168 млрд токенов в более чем 29,5 млн API-запросов. Им пользуются больше 50 компаний-клиентов, и каждая платит на 20% меньше, чем заплатила бы, покупая те же модели у провайдеров напрямую.
Результат
Один человек запустил AIRouter за пять недель, и с тех пор через него прошло больше 168 млрд токенов от 50+ компаний-клиентов, которые платят на 20% меньше, чем при покупке у провайдеров напрямую. Местные рынки получили сервис уровня OpenRouter, которым пользуются по своему закону, платят за него в своей валюте и проводят по своей бухгалтерии. Инфраструктурные продукты редко выходят на рынок так быстро и так дёшево.
Полный кейс · PDF
AIRouter
Один человек за пять недель запустил AI-шлюз уровня OpenRouter, через который прошло больше 168 млрд токенов
- 01Архитектура: инстансы по странам
- 02Проектирование ЦОДа под локальный инференс
- 03Маршрутизация и переключение между провайдерами по цене и скорости
- 04Соответствие законодательству о персональных данных
- 05Оплата в местной валюте и закрывающие документы
- 06План запуска за пять недель силами одного человека
Полный кейс AIRouter
Открытая часть истории на этом заканчивается. Остальное в PDF: архитектура до и после, план переезда, как команда работает с AI-агентами, сколько всё это стоит в эксплуатации и откуда взялась экономия.
Другие кейсы
Все кейсы
Хотите, чтобы следующий кейс был про вашу компанию?
За 30 минут созвона выберем первую задачу, которую стоит отдать AI, и прикинем, сколько она сэкономит.