MCP-сервер для Firecrawl

MCP-сервер для Firecrawl — это приложение, которое предоставляет AI-ассистентам возможности веб-скрейпинга, извлечения данных и поиска через стандартный протокол Model Context Protocol (MCP). Сервер разворачивается на виртуальной машине в Yandex Cloud.

Основные возможности и преимущества

• Интеграция с Yandex AI Studio. Подключите MCP-сервер в разделе MCP-серверы и используйте его в AI-агентах.
• Скрейпинг веб-страниц. Извлечение содержимого страниц в форматах Markdown, HTML и структурированных данных.
• Краулинг сайтов. Обход сайтов целиком с настраиваемой глубиной и фильтрами.
• Поиск по вебу. Поиск в интернете и извлечение содержимого найденных страниц через единый интерфейс.
• Извлечение структурированных данных. Получение данных по JSON-схеме с помощью LLM-парсинга.
• Поддержка собственной установки Firecrawl. Возможность подключения к собственной установке Firecrawl с пользовательским сертификатом центра сертификации (CA).
• Авторизация Bearer-токеном. Для доступа к MCP-серверу требуется Bearer-токен, который хранится в Yandex Lockbox. Bearer-токен контролирует доступ, но не шифрует HTTP-трафик.
• Безопасное хранение секретов. API-ключ Firecrawl хранится в Yandex Lockbox и извлекается при запуске.
• Стандартный протокол MCP. Использует открытый протокол Model Context Protocol для взаимодействия с AI-моделями.
• Транспорт Streamable HTTP. MCP-сервер доступен на порту 8000 по протоколу Streamable HTTP.
• Минимальные ресурсы. Приложение работает на виртуальной машине с минимальной конфигурацией (2 vCPU, 2 GB RAM).
• Docker-контейнеризация. Сервер запускается в Docker-контейнерах (MCP-сервер и прокси-сервер nginx с Bearer-авторизацией).

1. Получите API-ключ Firecrawl: зарегистрируйтесь на firecrawl.dev и создайте ключ в личном кабинете. Либо разверните собственный экземпляр Firecrawl.
2. Создайте секрет в Yandex Lockbox для хранения API-ключа Firecrawl. Секрет должен содержать ключ api_key со значением API-ключа.
3. Создайте секрет в Yandex Lockbox для хранения Bearer-токена авторизации. Секрет должен содержать ключ bearer_token с произвольным токеном.
4. Создайте сервисный аккаунт для установки приложения и назначьте ему на каталог установки роли compute.editor, iam.serviceAccounts.admin, vpc.admin, resource-manager.admin.
5. Назначьте установочному сервисному аккаунту роль lockbox.admin отдельно на секрет с Bearer-токеном и на секрет с учётными данными внешнего сервиса. Роль нужна для чтения и изменения прав доступа к выбранным секретам; назначать её на каталог не требуется. Это правило действует и для секретов из другого каталога. При установке приложение создаст отдельный сервисный аккаунт ВМ и назначит ему lockbox.payloadViewer только на выбранные секреты.
6. Шаблон также назначает аккаунту ВМ certificate-manager.certificates.downloader на каталог установки. Для создания этой привязки IAM установочному аккаунту нужна роль resource-manager.admin, в том числе когда пользовательский сертификат не выбран. Если используете сертификат, выберите его из каталога установки; для сертификата из другого каталога отдельно предоставьте аккаунту ВМ доступ к нему.
7. В консоли управления выберите сервис Cloud Apps.
8. На панели слева выберите Магазин приложений.
9. Выберите MCP Firecrawl и нажмите кнопку Использовать.
10. Укажите:
    • Имя приложения.
    • (Опционально) Описание приложения.
    • Сервисный аккаунт, созданный ранее.
    • Облачную подсеть, в которой будет развёрнута виртуальная машина.
    • Идентификатор секрета Lockbox с Bearer-токеном для авторизации.
    • Идентификатор секрета Lockbox с API-ключом Firecrawl.
    • (Опционально) URL собственной установки Firecrawl. Если URL не указан, SDK использует адрес Firecrawl по умолчанию: https://api.firecrawl.dev.
    • Режим сертификата. Выберите вариант Отключён, если дополнительный сертификат центра сертификации (CA) не нужен. Выберите вариант Включён и укажите сертификат из Yandex Certificate Manager, если для HTTPS-подключения к собственной установке Firecrawl нужен пользовательский сертификат центра сертификации (CA). Этот сертификат используется для исходящего подключения к Firecrawl и не включает HTTPS на MCP-сервере.
    • Внешний доступ к MCP-серверу (опционально; по умолчанию выключен, включите для подключения по публичному IP-адресу).
    • Режим SSH-доступа. Выберите вариант Отключён, чтобы не добавлять SSH-пользователя и не открывать порт 22 для внешнего доступа. Выберите вариант Включён, укажите имя пользователя и публичный SSH-ключ, чтобы разрешить SSH-подключение. При включённом SSH группа безопасности разрешает подключения к порту 22 с любых IPv4-адресов; при необходимости используйте дополнительные сетевые ограничения.
11. Нажмите кнопку Установить и дождитесь, пока приложение установится.
12. После установки проверьте значения в разделе Данные приложения:
    • Тип MCP-сервера — Streamable HTTP.
    • Идентификатор сети VPC — идентификатор сети выбранной подсети.
    • URL MCP-сервера (внутренний) — http://<private-ip>:8000/mcp. Используйте этот адрес для клиентов с сетевым доступом к внутреннему IP-адресу ВМ.
    • URL MCP-сервера (внешний) — http://<nat-ip>:8000/mcp. ВМ всегда получает публичный NAT-адрес, а группа безопасности разрешает подключения к порту 8000 с любых IPv4-адресов только при включённом внешнем доступе. Внешний URL использует обычный HTTP: Bearer-токен контролирует доступ, но не шифрует трафик. Рекомендуется использовать внутренний URL в защищённой сети. Если нужен внешний URL, передавайте трафик только через доверенную сеть или защищённый туннель.
13. Настройте ваш AI-клиент для подключения к MCP-серверу, указав заголовок Authorization: Bearer <ваш-токен>.

Подключение MCP-сервера к Yandex AI Studio

1. В консоли управления откройте сервис AI Studio и перейдите в раздел Agent Core → MCP-серверы.
2. Нажмите Создать MCP-сервер и в разделе MCP-серверы из Yandex Cloud Marketplace выберите нужный MCP-сервер.
3. Укажите имя сервера и выберите уже развёрнутый экземпляр приложения или создайте новый, следуя инструкциям по развёртыванию. При развёртывании нового сервера кнопка Сохранить будет доступна только после полного развёртывания и запуска MCP-сервера.
4. После выбора приложения значения параметров Сеть и Сервисный аккаунт MCP-сервера заполнятся автоматически.
5. Нажмите Создать. После успешной проверки подключения выберите необходимые инструменты (tools) и нажмите Сохранить — MCP-сервер будет зарегистрирован в AI Studio и доступен для использования AI-агентами.

• Скрейпинг и извлечение содержимого веб-страниц через AI-ассистента.
• Краулинг сайтов целиком с настраиваемой глубиной для построения базы знаний.
• Поиск информации в интернете и автоматическое извлечение содержимого найденных страниц.
• Извлечение структурированных данных с веб-страниц по JSON-схеме.
• Создание AI-агентов, работающих с актуальной информацией из веба.

Служба технической поддержки Yandex Cloud отвечает на запросы 24 часа в сутки, 7 дней в неделю. Доступные виды запросов и срок их обработки зависят от тарифного плана. Подключить платную поддержку можно в консоли управления. Подробнее о порядке оказания технической поддержки.