Связаться с намиПопробовать бесплатно

Управление роботизированным трафиком

Статья создана
Обновлена 19 декабря 2025 г.

Веб-ресурсы обрабатывают значительную долю роботизированного трафика. При этом часть ботов — легитимные и необходимы для работы различных веб-сервисов. Например, веб-краулеры, которые индексируют контент для актуальной выдачи в системе поиска, боты-архиваторы веб-страниц, боты для SEO-оптимизации веб-сайтов и так далее. Но есть и большое количество вредоносных ботов, например DDoS-ботнеты, сканеры уязвимостей, боты для мошенничества и кражи данных, фродеры. Для защиты веб-сервиса важно настроить фильтрацию таким образом, чтобы не затруднять работу полезных роботов, но при этом минимизировать активность вредоносных.

Smart Web Security предоставляет гибкие инструменты для защиты и фильтрации роботизированного трафика:

  • Список категорий верифицированных ботов по их назначению или характеру действий (AcademicResearchBot, AISearchBot).
  • Актуальные списки легитимных ботов различных сервисов и компаний (Yandex, Googlebot, Bing).
  • Возможность использовать признак верифицированного бота.
  • Настройка порогов вероятности бота (Bot Score) от 0 до 100 для индивидуальной настройки правил.

Перечисленные условия на трафик можно задать в правилах профиля безопасности (базовом, Smart Protection, WAF) и в правилах профиля ARL.

Результат фильтрации трафика и уровень вероятности бота доступны в логах для более тонкой настройки правил безопасности.

Категории верифицированных ботов

  • AcademicResearchBot — боты для сбора данных из интернета, которые используются в академических исследованиях. Помогают автоматизировать извлечение информации для анализа и изучения научных проблем.
  • AccessibilityBot — боты для улучшения доступности контента в интернете для людей с ограниченными возможностями. Например, помогают озвучивать текст на сайте.
  • AdvertisingAndMarketingBot — боты для поддержки рекламных и маркетинговых кампаний.
  • AggregatorBot — боты для сбора и распространения информации. Например, для агрегации статей с новостных сайтов.
  • AIAssistantBot — ассистенты на базе искусственного интеллекта. Используются для решения широкого круга задач.
  • AICrawlerBot — боты для обучения и улучшения моделей искусственного интеллекта. Могут собирать данные для тренировки алгоритмов машинного обучения.
  • AISearchBot — боты на основе искусственного интеллекта, оптимизированные для интерактивного поиска и предоставления информации по запросам пользователей.
  • ArchiverBot — боты для записи и долгосрочного хранения копий веб-страниц и других интернет-ресурсов.
  • FeedFetcherBot — боты для извлечения данных из различных источников с регулярными обновлениями, таких как новостные ленты и блоги. Помогают пользователям получать актуальную информацию.
  • MonitoringAndAnalyticsBot — боты для сбора аналитики по веб-сайтам. Отслеживают различные метрики сайтов (например, посещаемость, скорость загрузки, количество ошибок) и предоставляют аналитическую информацию для улучшения работы сайтов.
  • PagePreviewBot — бот для генерации предварительного просмотра страниц по ссылкам, которыми делятся пользователи в мессенджерах или соцсетях.
  • SearchEngineCrawlerBot — боты для сканирования интернета и индексации страниц для поисковых систем. Помогают системам, например Яндексу, обновлять базы данных и предоставлять актуальные результаты поиска.
  • SearchOptimizationBot — боты для оптимизации сайтов и улучшения их видимости в поисковых системах. Анализируют страницы на наличие ошибок, предлагают изменения в контенте и структуре.
  • SecurityBot — боты для проверки веб-сайтов на уязвимости и различные угрозы безопасности.
  • SocialMediaMarketingBot — боты для управления присутствием брендов в социальных сетях. Автоматизируют публикации, модерацию и ответы пользователям, собирают аналитику и оценивают эффективность SMM-кампаний.
  • WebhooksBot — боты для автоматизации процессов с помощью технологий реального времени, позволяющих веб-приложениям взаимодействовать друг с другом.
  • OthersBot — прочие категории верифицированных ботов.

Список легитимных ботов

Ниже приведен список ботов, которые используются различными компаниями для индексации контента, предоставления информации по запросам пользователей, SEO-оптимизации и обучения AI-моделей. Список регулярно обновляется. На основе этого списка вы можете настроить условия на трафик с учетом особенностей вашего сервиса или приложения.

Легитимные боты доверенных сервисов и компаний
  1. YandexBot — основной индексирующий бот Яндекса.
  2. YandexAccessibilityBot — бот проверяет доступность и работоспособность сайта.
  3. YandexAdNetBot — рекламный бот.
  4. YandexBlogs — бот индексирует посты в интернет‑блогах для поиска по ним в Яндекс Поиске.
  5. YandexMirrorDetectorBot — бот находит зеркала сайта.
  6. YandexCalendar — бот скачивает файлы календарей по запросам пользователей. Часто эти файлы находятся в каталогах, недоступных для индексации.
  7. YandexDirect — бот загружает информацию о контенте сайтов‑партнеров рекламной сети Яндекса, чтобы определить их категории и выбрать релевантные объявления.
  8. YandexFavicons — бот скачивает иконки сайтов (favicon.ico) для отображения в поисковой выдаче.
  9. YaDirectFetcher — бот Яндекса, который загружает страницы объявлений для проверки их доступности и уточнения категории.
  10. YandexForDomain — бот используется для проверки права владения доменом.
  11. YandexImages — бот индексирует изображения для Яндекс Поиска.
  12. YandexImageResizer — бот собирает изображения с сайтов и обрабатывает их для отображения на различных устройствах в разных форматах.
  13. YandexMobileBot — бот определяет страницы, подходящие для мобильных устройств.
  14. YandexMarket — бот Яндекс Маркета для получения актуальной информации о товаре с сайтов интернет‑магазинов.
  15. YandexMedia — бот индексирует мультимедийные данные для Яндекс Поиска.
  16. YandexMetrika — бот загружает страницы сайта, в том числе страницы объявлений Яндекс Директ, чтобы проверить их доступность.
  17. YandexMobileScreenShotBot — бот делает снимок экрана страницы для мобильных устройств.
  18. YandexNews — бот для агрегации новостей.
  19. YandexOntoDB — бот генерирует карточки‑ответы в Яндекс Поиске.
  20. YandexPagechecker — бот получает доступ к странице, когда запускается проверка микроданных через форму проверки структурированных данных.
  21. YandexPartner — бот скачивает информацию о содержимом сайтов‑партнеров Яндекса.
  22. YandexRCA — бот собирает данные для генерации превью страниц.
  23. YandexRenderResourcesBot — бот загружает ресурсы для рендеринга страницы с помощью JavaScript.
  24. YandexSearchShop — бот загружает YML‑файлы каталогов продукции по запросам пользователей. Часто эти файлы находятся в каталогах, ограниченных для индексации.
  25. YandexSitelinks — бот проверяет доступность страниц, которые используются в качестве дополнительных ссылок (sitelinks).
  26. YandexSpravBot — бот сервиса Яндекс Бизнес.
  27. YandexTracker — бот Яндекс Трекера.
  28. YandexUserproxy — бот управляет действиями пользователя в сервисах Яндекса, например отправляет запросы в ответ на нажатие кнопки и загружает страницы для онлайн‑перевода.
  29. YandexVertis — поисковый бот Яндекс Вертикалей.
  30. YandexVerticals — бот сервисов объявлений: Авто.ру, Яндекс Недвижимость, Яндекс Вакансии и Яндекс Отзывы.
  31. YandexVideo — бот индексирует видео для показа в поисковой выдаче.
  32. YandexWebmaster — бот Яндекс Вебмастера для SEO‑оптимизации.
  33. YandexScreenshotBot — бот для удобного и быстрого создания скриншотов веб‑страниц.
  34. YandexAdditionalBot — бот для создания быстрых ответов с YandexGPT.
  35. YandexComBot — бот индексирует контент для нерусскоязычного сегмента поиска.
  36. ZenBot — бот Дзена для агрегации новостей с порталов‑клиентов.
  37. MailruBot — бот Mail.ru.
  38. Googlebot — бот Google для индексации сайтов.
  39. StorebotGoogle — бот Google для индексации интернет‑магазинов.
  40. GoogleInspectionTool — бот Google, который используется в инструментах тестирования сайтов.
  41. GoogleOther — бот Google общего назначения, который используется командами разных продуктов для получения общедоступных материалов сайтов.
  42. GoogleCloudVertexBot — бот Google, с помощью которого владельцы сайтов создают агентов на основе Vertex AI.
  43. GoogleExtended — бот Google для AI-поиска.
  44. APIsGoogle — бот для отправки пуш‑уведомлений со стороны API Google.
  45. AdsBotGoogle — бот Google для проверки качества рекламных объявлений на сайте.
  46. MediapartnersGoogle — бот Google сканирует сайты из программы AdSense для размещения релевантных объявлений.
  47. GoogleSafety — бот Google выполняет сканирование для поиска нарушений правил использования платформы, например ищет вредоносное ПО в общедоступных ссылках продуктов Google.
  48. FeedFetcherGoogle — бот для сканирования фидов RSS или Atom для Google News и PubSubHubbub.
  49. GoogleProducer — бот извлекает и обрабатывает фиды, которые явно предоставлены издателями для целевых страниц Google News.
  50. GoogleReadAloud — бот по запросу пользователя получает и зачитывает веб‑страницы, преобразуя текст в речь.
  51. GoogleSiteVerification — бот извлекает токены подтверждения Search Console для подтверждения права собственности на сайт в Google.
  52. Bingbot — индексирующий бот Microsoft.
  53. AdIdxBot — поисковый бот службы Bing Ads, который сканирует рекламу и переходит на веб‑сайты по объявлениям для контроля качества.
  54. BingPreview — бот создает превью страниц в Bing.
  55. MicrosoftPreview — бот создает превью страниц для сервисов Microsoft.
  56. Amazonbot — поисковый бот Amazon для улучшения качества услуг, например помогает Alexa более точно отвечать на вопросы клиентов.
  57. Applebot — бот собирает данные для работы различных инструментов, интегрированных в пользовательские интерфейсы экосистемы Apple (Spotlight, Siri, Safari), например для технологии поиска.
  58. FacebookExternalHit — бот собирает, кеширует и показывает информацию о сайте или приложении, в том числе название, описание и иконку (миниатюрное изображение).
  59. MetaExternalAgent — бот просматривает веб‑контент для обучения моделей искусственного интеллекта и улучшения продуктов путем прямого индексирования контента.
  60. Meta‑ExternalFetcher — бот поддерживает способность Meta AI предоставлять пользователям актуальную информацию, выходящую за рамки обучающих данных.
  61. Pinterestbot — бот сканирует общедоступные сайты для индексации контента и направления трафика на эти сайты, проверяет актуальность данных в пинах (например, цену и название), удаляет нерабочие ссылки.
  62. Slackbot‑LinkExpanding — бот для сбора данных из ссылок в постах Slack для показа превью этих ссылок.
  63. Slack‑ImgProxy — бот используется для извлечения и кеширования изображений, размещенных в каналах Slack.
  64. Slackbot — бот выполняет API‑запросы к сервисам, обрабатывает вебхуки в Slack и может выполнять другие функции, которыми не занимаются Slackbot‑LinkExpanding и Slack‑ImgProxy.
  65. Qwantbot — индексирующий бот Qwant.
  66. Senutobot — бот для оказания услуг по поисковой оптимизации сайтов от компании Senuto.
  67. CCBot — бот архивирует веб‑страницы для сайта commoncrawl.org.
  68. YahooSlurpBot — основной индексирующий бот Yahoo.
  69. YahooLinkPreviewBot — бот для предпросмотра страниц Yahoo.
  70. YahooMailProxyBot — бот для предпросмотра ссылок в письмах Yahoo Mail.
  71. YahooAdMonitoring — клиент извлекает содержимое по URL‑адресам, указанным в рекламных сервисах Yahoo. Содержимое целевой страницы используется для повышения точности рекламных объявлений на странице, а значит, и удобства взаимодействия с пользователем.
  72. Pingdom — бот для автоматизированного тестирования и мониторинга сайтов.
  73. SEMrushBot — бот для оказания услуг по поисковой оптимизации сайтов от компании SEMrush.
  74. OdklBot — бот социальной сети Одноклассники.
  75. vkShareBot — бот для создания виджета Поделиться на вашей странице. При нажатии на виджет автоматически создается пост в VK со ссылкой на сайт.
  76. Twitterbot — бот для показа превью страниц в X.
  77. TelegramBot — бот для показа превью страниц в Telegram.
  78. SeznamBot — индексирующий бот Seznam.
  79. WebArchiveBot — бот‑архиватор сайта archive.org.
  80. DuckDuckBot — индексирующий бот DuckDuckGo.
  81. rogerbot — бот для оказания услуг по поисковой оптимизации сайтов от компании SEOmoz.
  82. dotbot — бот для оказания услуг по поисковой оптимизации сайтов от компании SEOmoz.
  83. PetalBot — индексирующий бот поисковика Petal Search от Huawei.
  84. AhrefsBot — индексирующий бот поисковика Yep.
  85. AhrefsSiteAudit — бот для SEO‑оптимизации, используемый в инструменте Ahrefs Site Audit tool.
  86. Proximic — маркетинговый бот компании ComScore.
  87. DataForSEOBot — бот для оказания услуг по поисковой оптимизации сайтов от компании DataForSEO.
  88. SeekportBot — индексирующий бот поисковика Seekport.
  89. Serpstatbot — бот для оказания услуг по поисковой оптимизации сайтов от компании Serpstat.
  90. GPTBot — бот для обучения моделей ChatGPT.
  91. ChatGPTUser — бот, который может использоваться для посещения сайтов, указанных в запросе пользователя ChatGPT.
  92. OAISearchBot — бот для умного поиска в ChatGPT.
  93. Synthetics — бот для автоматизированного тестирования и мониторинга сайтов.
  94. UptimeRobot — бот для автоматизированного тестирования и мониторинга.
  95. BLEXBot — бот для оказания услуг по поисковой оптимизации сайтов от компании SE Ranking.
  96. BaiduSpider — индексирующий бот китайского поисковика Baidu.
  97. Stripe — бот компании Stripe для автоматизации взаимодействия с платежной платформой Stripe.
  98. ClaudeBot — бот для обучения моделей Claude.
  99. Claude‑User — с помощью Claude‑User agent обеспечивается доступ Claude AI к веб‑сайтам при обработке запросов пользователей.
  100. Claude‑SearchBot — бот анализирует онлайн‑контент для повышения релевантности и точности запросов пользователя.
  101. PerplexityBot — бот для обучения моделей Perplexity.
  102. Perplexity‑User — бот для посещения сайтов, указанных в запросе пользователя Perplexity.
  103. QcBot — бот для онлайн‑сервисов QUIC.cloud, которые требуют получения данных с вашего сайта с последующей доставкой результата на ваш сайт. Например, бот извлекает изображения с вашего сайта для их оптимизации и уведомляет сайт, когда обновленные изображения готовы к загрузке.
  104. AudistoBot — бот для предоставления услуг по SEO‑оптимизации и мониторингу сайтов.
  105. CoccocBot — основной индексирующий бот поисковой системы CốC CốC.
  106. IASCrawlerBot — бот для оказания услуг по анализу и верификации цифровой рекламы.
  107. IbouBot — основной индексирующий бот Ibou.
  108. JobswithgptcomBot — бот для агрегации вакансий компании Jobswithgptcom.
  109. MonsidoBot — бот для мониторинга состояния вашего сайта с помощью сервиса Monsido.
  110. PaqleBot — основной индексирующий бот Paqle.
  111. QuantcastBot — бот для анализа рекламы, которая размещается на сайтах.
  112. SvnBot — бот для мониторинга работоспособности сайтов.
  113. TestomatoBot — бот для мониторинга работоспособности сайтов.
  114. PingAdminBot — бот для мониторинга работоспособности сайтов.
  115. Meta‑WebIndexerBot — бот просматривает веб‑ресурсы, чтобы повысить качество результатов поиска Meta AI для пользователей.
  116. Meta‑ExternalAdsBot — бот просматривает веб‑контент в поисках сценариев использования, таких как улучшение рекламы и других бизнес‑продуктов и услуг.

Оценка вероятности бота

Чтобы настроить индивидуальные правила для вашего трафика, можно задать правила фильтрации по уровню вероятности бота — Bot Score.

Smart Web Security присваивает трафику уровень от 0 (самая низкая вероятность, человек) до 100 (самая высокая вероятность, бот).

При принятии решения используются следующие пороги значений:

  • не более 20 — человек;
  • 20–40 — вероятно человек;
  • 40–60 — не определено;
  • 60–80 — вероятно бот;
  • более 80 — бот.

В условиях фильтрации запросов укажите пороговые значения уровня, используя операторы >=, <=, =, != и логический оператор и.

Например, =10, >=20 и <=40.

Для окончательной настройки используйте правило в режиме только логирование и анализируйте логи для определения оптимального уровня.

Предыдущая
Списки
Следующая
Защита доменов