Кейс · Майнинг бэклинков и SEO · Весь мир
SEOBoostyВтроём мы построили продукт: до 1 млрд страниц в минуту, больше 10 млрд ссылок и больше $350 000 в год
SEOBoosty находит бэклинки, которые уже стоят на сайтах, никогда не продающих ссылки, вроде The New York Times, Microsoft или MIT, и продаёт целые ссылочные профили вокруг них. Меня наняли CTO по подписке, чтобы построить этот продукт с новой командой из двух инженеров. Я спроектировал архитектуру, глобальную инфраструктуру скрейпинга из более чем 50 серверов, которая читает до миллиарда страниц в минуту, базу, где хранится больше 10 миллиардов ссылок, и аналитику поверх неё. Веб в таком масштабе обычно читают поисковики с большими инфраструктурными командами, а у нас это делают три человека: парсер не тратит лишней памяти, инфраструктура масштабируется сама, и миллион страниц обходится в центы. Первая выручка пришла через 3 месяца после старта, а сейчас продукт приносит больше $350 000 в год.
- Клиент
- SEOBoosty
- Продукт
- Бэклинки с сайтов, которые не продают ссылки
- Инфраструктура
- 50+ серверов со скрейперами по всему миру, масштабируются сами
- Моя роль
- CTO по подписке, нанят построить продукт
- Команда
- 2 инженера и я
- База
- 10 млрд+ ссылок
- Первая выручка
- Через 3 месяца после старта
- Сайт
- seoboosty.com
В цифрах
- страниц в минуту, а продукт ведут три человека
- 1 млрд
- выручки в год у команды из трёх человек
- $350k+
- ссылок в базе, которую ведут два инженера и я
- 10 млрд+
- за миллион страниц: парсер берёт 0 МБ лишней памяти
- Центы
- серверов со скрейперами по всему миру масштабируются сами
- 50+
- от старта до первой выручки
- 3 месяца
Продукт
Бэклинки от изданий, которые не продают ссылки, целыми профилями; ссылочный профиль, который невозможно собрать специально; цену задаёт издание. Картинки с seoboosty.com.
С чего начинали
Агентства продают размещения по одному, с сайтов, которые торгуют ссылками. SEOBoosty идёт другим путём: майнит бэклинки, которые уже есть в сети, и продаёт их целыми профилями. В профиле одна-две ссылки от издания, которое ссылки не продаёт, и до 1 500 ссылок за ними.
Это работает, только если читать веб в масштабе, за который мало кто берётся, из многих регионов сразу и так, чтобы расходы не улетели. Поисковики делают это целыми инфраструктурными отделами. Нужны были новый продукт, новая команда и инфраструктура, которую ведут очень немногие люди.
Что мы сделали
Нанят построить с нуля
Меня пригласили именно для того, чтобы построить этот продукт с новой командой: два инженера и я. Архитектуру и каждую систему в ней я спроектировал так, чтобы три человека вели то, для чего обычно нужен отдел data engineering.
Миллиард страниц в минуту на 50+ серверах
Больше 50 серверов со скрейперами на Rust, разнесённых по регионам мира, читают до миллиарда страниц в минуту. Обычно такие объёмы бывают только у поисковиков.
Парсер, с которым железо не дорожает
Я написал быстрый парсер страниц, который обрабатывает огромные объёмы, расходуя 0 МБ лишней оперативной памяти, поэтому рост объёма не требует серверов побольше, а миллион страниц обходится в центы.
Go, PostgreSQL и ClickHouse
Бэкенд на Go поверх PostgreSQL и ClickHouse хранит страницы, больше 10 миллиардов ссылок и аналитику и остаётся быстрым на таких объёмах без отдельной команды баз данных.
Инфраструктура, которая управляет собой сама
Автоматическая система управляет инфраструктурой по всему миру и масштабирует её вверх и вниз под нагрузку. Компания платит только за ту мощность, которую использует, и не держит команду эксплуатации.
Аналитика, которая наполняет каталог
Аналитика по каждой найденной ссылке решает, что попадёт в каталог: какие страницы куда ссылаются, с каким анкором, сколько ссылке лет и передаёт ли она вес. Вручную ссылки никто не сортирует.
Выручка через 3 месяца, сейчас больше $350 000 в год
Первая выручка пришла через 3 месяца после старта. Клиент получает работающий ссылочный профиль примерно через час после оплаты, тогда как агентства неделями размещают ссылки по одной, а продукт сейчас приносит больше $350 000 в год.
Результат
Втроём мы построили продукт, который читает веб со скоростью до миллиарда страниц в минуту на более чем 50 серверах, в масштабе, который обычно остаётся за поисковиками. В его базе больше 10 миллиардов ссылок, миллион страниц обходится в центы, первая выручка пришла через 3 месяца после старта, а сейчас продукт приносит больше $350 000 в год.
Стек
- Go
- Rust
- PostgreSQL
- ClickHouse
Полный кейс · PDF
SEOBoosty
Втроём мы построили продукт: до 1 млрд страниц в минуту, больше 10 млрд ссылок и больше $350 000 в год
- 01Архитектура, с которой три человека ведут скрейпинг в масштабе веба
- 02Скрейпинг до миллиарда страниц в минуту из разных регионов
- 03Парсер, который не потребляет оперативную память, и что это экономит
- 04Автоматическое управление инфраструктурой и масштабирование
- 05Аналитика бэклинков: от сырых страниц до каталога
- 06Продукт и как он зарабатывает
Полный кейс SEOBoosty
Открытая часть истории на этом заканчивается. Остальное в PDF: архитектура до и после, план переезда, как команда работает с AI-агентами, сколько всё это стоит в эксплуатации и откуда взялась экономия.
Другие кейсы
Все кейсы
Хотите, чтобы следующий кейс был про вашу компанию?
За 30 минут созвона выберем первую задачу, которую стоит отдать AI, и прикинем, сколько она сэкономит.