MCP сервер для Firecrawl

MCP сервер для Firecrawl — это приложение, которое предоставляет AI-ассистентам возможности веб-скрейпинга, извлечения данных и поиска через стандартный протокол Model Context Protocol (MCP). Сервер разворачивается на виртуальной машине в Yandex Cloud.

Основные возможности и преимущества

• Интеграция с Yandex AI Studio. MCP сервер интегрируется с AI Studio MCP Серверы — подключите его к вашим AI-агентам в несколько кликов.
• Скрейпинг веб-страниц. Извлечение содержимого страниц в форматах Markdown, HTML и структурированных данных.
• Краулинг сайтов. Обход сайтов целиком с настраиваемой глубиной и фильтрами.
• Поиск по вебу. Поиск в интернете и извлечение содержимого найденных страниц через единый интерфейс.
• Извлечение структурированных данных. Получение данных по JSON-схеме с помощью LLM-парсинга.
• Поддержка self-hosted Firecrawl. Возможность подключения к собственной установке Firecrawl с кастомным CA-сертификатом.
• Авторизация Bearer-токеном. Все запросы к MCP-серверу защищены Bearer-токеном, который хранится в Yandex Lockbox.
• Безопасное хранение секретов. API-ключ Firecrawl хранится в Yandex Lockbox и извлекается при запуске.
• Стандартный протокол MCP. Использует открытый протокол Model Context Protocol для взаимодействия с AI-моделями.
• HTTP with SSE транспорт. MCP сервер доступен на порту 8000 (HTTP with SSE).
• Минимальные ресурсы. Приложение работает на виртуальной машине с минимальной конфигурацией (2 vCPU, 2 GB RAM).
• Docker-контейнеризация. Сервер запускается в Docker-контейнерах (MCP + supergateway + nginx auth proxy).

1. Получите API-ключ Firecrawl: зарегистрируйтесь на firecrawl.dev и создайте ключ в личном кабинете. Либо разверните self-hosted инстанс Firecrawl.
2. Создайте секрет в Yandex Lockbox для хранения API-ключа Firecrawl. Секрет должен содержать ключ api_key со значением API-ключа.
3. Создайте секрет в Yandex Lockbox для хранения Bearer-токена авторизации. Секрет должен содержать ключ bearer_token с произвольным токеном.
4. Создайте сервисный аккаунт с ролями compute.editor, iam.serviceAccounts.admin, lockbox.payloadViewer, vpc.admin (роль admin включает все указанные роли).
5. В консоли управления выберите сервис Cloud Apps.
6. На панели слева выберите Магазин приложений.
7. Выберите MCP Firecrawl и нажмите кнопку Использовать.
8. Укажите:
   • Имя приложения.
   • (Опционально) Описание приложения.
   • Сервисный аккаунт, созданный ранее.
   • Облачную подсеть, в которой будет развёрнута виртуальная машина.
   • Идентификатор секрета Lockbox с Bearer-токеном для авторизации.
   • Идентификатор секрета Lockbox с API-ключом Firecrawl.
   • (Опционально) URL self-hosted инстанса Firecrawl. По умолчанию используется https://api.firecrawl.dev.
   • (Опционально) Сертификат из Yandex Certificate Manager для подключения к self-hosted Firecrawl по HTTPS.
9. Нажмите кнопку Установить и дождитесь, пока приложение установится.
10. После установки MCP сервер будет доступен по адресу http://<vm-ip>:8000.
11. Настройте ваш AI-клиент (Claude Desktop, Cursor и др.) для подключения к MCP серверу, указав заголовок Authorization: Bearer <ваш-токен>.

• Скрейпинг и извлечение содержимого веб-страниц через AI-ассистента (Claude, ChatGPT).
• Краулинг сайтов целиком с настраиваемой глубиной для построения базы знаний.
• Поиск информации в интернете и автоматическое извлечение содержимого найденных страниц.
• Извлечение структурированных данных с веб-страниц по JSON-схеме.
• Создание AI-агентов, работающих с актуальной информацией из веба.

Служба технической поддержки Yandex Cloud отвечает на запросы 24 часа в сутки, 7 дней в неделю. Доступные виды запросов и срок их обработки зависят от тарифного плана. Подключить платную поддержку можно в консоли управления. Подробнее о порядке оказания технической поддержки.