Передача данных из эндпоинта-источника AWS CloudTrail
С помощью сервиса Yandex Data Transfer вы можете выгружать аудитные логи из базы AWS CloudTrail в управляемые базы данных Yandex Cloud и реализовывать различные сценарии обработки и трансформации данных. Для реализации трансфера:
- Ознакомьтесь с возможными сценариями передачи данных.
- Подготовьте базу данных AWS CloudTrail к трансферу.
- Настройте эндпоинт-источник в Yandex Data Transfer.
- Настройте один из поддерживаемых приемников данных.
- Cоздайте и запустите трансфер.
- При возникновении проблем, воспользуйтесь готовыми решениями по их устранению.
Сценарии передачи данных из AWS CloudTrail
Вы можете выгружать логи в различные базы данных для дальнейшего хранения в облаке, обработки и загрузки в витрины данных с целью последующей визуализации.
Подробное описание возможных сценариев передачи данных в Yandex Data Transfer см. в разделе Практические руководства.
Подготовка базы данных AWS CloudTrail
Получите идентификатор ключа и секретный ключ доступа AWS, следуя инструкции AWS.
Подробнее см. в документации Airbyte®.
Настройка эндпоинта-источника AWS CloudTrail
При создании или изменении эндпоинта задайте настройки доступа к AWS. Подробное описание см. в документации Airbyte®.
- Идентификатор ключа и Ключ секрета — укажите идентификатор и содержимое ключа AWS.
- Имя региона — укажите название региона AWS.
- Начальная дата — дата в формате
ГГГГ-ММ-ДД. Записи журнала за эту дату и последующие будут перенесены на приемник. Если значение не указано, будут скопированы записи журнала за максимальный период в 90 дней.
Настройка приемника данных
Настройте один из поддерживаемых приемников данных:
- MySQL®;
- MongoDB;
- ClickHouse®;
- Greenplum®;
- Yandex Managed Service for YDB;
- Apache Kafka®;
- YDS;
- PostgreSQL.
Полный список поддерживаемых источников и приемников в Yandex Data Transfer см. в разделе Доступные трансферы.
Убедитесь, что настройки сети, в которой размещен кластер-приемник, разрешают подключение к интернету. Чтобы открыть доступ в интернет, настройте маршрутизацию.
После настройки источника и приемника данных создайте и запустите трансфер.
Airbyte® является зарегистрированным товарным знаком Airbyte, Inc в США и/или других странах.