Rush Analytics в 5 раз ускорила сбор данных с помощью Yandex Search API

Rush Agency — разработчик SaaS‑платформы Rush Analytiсs для SEO‑специалистов и интернет‑маркетологов. С 2015 года платформа работает на открытом рынке и сейчас является одним из лидеров SEO‑услуг. В 2023 году вырос объём поступающих данных, и в компании поняли, что стоит оптимизировать работу платформы.

Нужно было повысить скорость сбора данных и точность работы системы. Чтобы решить проблему, компания за месяц интегрировала в свой проект Yandex Search API. В результате скорость сбора данных выросла в 5 раз, достигнув 2 млн ключевых слов в час. А качество получаемых данных оказалось выше ожиданий. Выгода от использования сервиса Yandex Search API, по сведениям компании, составляет несколько миллионов рублей в год.

Rush Agency — маркетинговое агентство, которое занимается продвижением сайтов своих клиентов по всему миру. Основной продукт компании — SaaS‑платформа для SEO‑специалистов и интернет‑маркетологов Rush Analytics. Платформа была разработана в 2014 году для собственных нужд. В 2015 году Rush Agency вывело это решение на открытый рынок и сейчас является лидером в рунете по SEO‑сервисам.

Услугами Rush Analytiсs уже воспользовалось более 180 000 компаний разного уровня.

Все инструменты Rush Analytiсs основаны на парсинге данных из поисковых систем и с сайтов и на анализе полученных данных. Компания хотела обеспечить полноту данных и для этого покупала недостающую информацию у других провайдеров.

За 2023 год объём собираемых данных сильно вырос, так как расширилась функциональность инструментов Rush Analytiсs. В результате многократно выросла нагрузка на систему сбора данных и замедлилась выдача результатов. В частности, парсинг данных поиска Яндекса получали не напрямую, а через нестабильный сервис одного из партнёров, который не выдерживал пиковых нагрузок.

Проблему требовалось решить как можно быстрее, чтобы не потерять доверие клиентов.

Для этого нужно было подобрать партнёрский сервис, который смог бы увеличить скорость получения данных поисковой выдачи Яндекса как основного ресурса. Причём критически важно было, чтобы новое решение стабильно и быстро отдавало данные, выдерживая пиковые нагрузки.

Специалисты Rush Analytiсs начали поиск возможных вариантов в 2023 году. Выбор решения стал однозначным, когда команда проекта протестировала сервис Yandex Search API. Это произошло задолго до релиза сервиса, и Rush Analytiсs стала одной из первых компаний, которые начали тестировать этот инструмент. Тестирование показало, что скорость и качество сбора данных Yandex Search API значительно выше, чем у других конкурентных инструментов.

Rush Analytiсs разместила платформу на собственных серверах. Компания использует Docker‑контейнеры, где развёрнуты фронтенд, бэкенд, в том числе системы парсинга, СУБД и система резервного копирования.

Платформа Rush Analytiсs написана на PHP, C# и Go. Для визуализации данных используется библиотека JavaScript Chart.js, а для мониторинга и оповещений — Prometheus^®. Данные хранятся в СУБД PostgreSQL и Redis^™.

Клиентам доступны 20 инструментов, объединённых в четыре группы:

• Анализ позиций — проверка позиций сайта, мониторинг изменений выдачи, анализ репутации компании и проверка индексации.

• Семантика — сбор поисковых фраз из Яндекс Вордстата, определение частотности с Google Ads, сбор поисковых подсказок, кластеризация и текстовый анализатор.

• Аудит сайта — технический аудит, ежедневная проверка метатегов и файла robots.txt.

• Инструменты PBN — массовая проверка доменов по WHOIS, анализ ссылочной массы, поиск спама в ссылках, поиск спама в Webarchive, восстановление из Webarchive и поиск доменных имён, свободных для покупки.

При этом каждым инструментом можно пользоваться независимо от других инструментов.

После принятия решения о применении Yandex Search API команда проекта интегрировала с ним свой парсинг‑сервис и приступила к тестированию. Этот процесс занял около месяца, затем решение запустили в коммерческую эксплуатацию.

Сейчас платформа Rush Analytiсs запрашивает данные поисковой выдачи Яндекса у Yandex Search API, после чего загружает их в базы и хранилище, откуда их запрашивают инструменты платформы. Данные выдачи — ключевая информация для инструмента проверки позиций сайтов в поиске Яндекса. Кроме того, эти данные используются для проверки индексации страниц сайтов и для анализатора текстов, который определяет идеальный размер текста и количество вхождений для попадания в топ.

Всю работу по интеграции Yandex Search API команда Rush Analytiсs выполняла самостоятельно, что не вызвало больших трудностей. Но в процессе тестирования выяснилось, что на сервисе не было данных поисковой выдачи для мобильных устройств. Для Rush Analytiсs эти данные были критически важны, и команда Yandex Cloud смогла за пару недель добавить эту информацию.

Специалисты Rush Analytiсs смогли быстро наладить сбор данных поисковой выдачи Яндекса c помощью сервиса Yandex Search API. Качество данных оказалось намного выше ожиданий. Компании удалось решить проблему стабильности ответов, которая раньше возникала при использовании партнёрского сервиса. Ранее при запросе по какому‑либо ключевому слову о его вхождении в 100 первых позиций система иногда теряла данные, из‑за чего возникало впечатление о внезапной потере позиции сайта и вызывало у клиентов недоверие к полученным данным. Теперь такие ошибки были исключены.

За последние шесть месяцев использования Yandex Search API не было ни одного сбоя при получении данных. Платформа Rush Analytiсs справляется с пиковыми нагрузками и работает стабильно.

Скорость сбора данных выросла до 2 млн ключевых слов в час, что примерно в 5 раз выше, чем раньше. Это позволило глобально увеличить скорость работы сервисов Rush Analytics, стабильно и быстро отдавать результаты конечному пользователю.

Rush Analytiсs оценивает экономический эффект от использования Yandex Search API примерно в несколько миллионов рублей в год. Этого удалось добиться благодаря уменьшению времени ожидания парсинга и повышению стабильности платформы. Кроме того, компания может быстро масштабировать объём собираемых данных, что позволяет привлекать новых клиентов.

В дальнейшем Rush Analytiсs собирается протестировать сервис Yandex Cloud Functions для разработки решения, позволяющего быстро внедрять SEO‑рекомендации на сайты. Кроме того, в планах компании — тестирование сервисов YandexGPT API и Генеративный ответ.