Передача данных из эндпоинта-источника BigQuery
При создании или изменении эндпоинта задайте настройки доступа к BigQuery.
С помощью сервиса Yandex Data Transfer вы можете выгружать данные из хранилища BigQuery в управляемые базы данных Yandex Cloud и реализовывать различные сценарии обработки и трансформации данных. Для реализации трансфера:
- Ознакомьтесь с возможными сценариями передачи данных.
- Подготовьте базу данных BigQuery к трансферу.
- Настройте эндпоинт-источник в Yandex Data Transfer.
- Настройте один из поддерживаемых приемников данных.
- Cоздайте и запустите трансфер.
- При возникновении проблем, воспользуйтесь готовыми решениями по их устранению.
Сценарии передачи данных из BigQuery
Вы можете выгружать данные из облачного хранилища BigQuery в управляемые базы данных для дальнейшего хранения в облаке, обработки и загрузки в витрины данных с целью последующей визуализации.
Подробное описание возможных сценариев передачи данных в Yandex Data Transfer см. в разделе Практические руководства.
Подготовка базы данных BigQuery
Для подготовки источника данных BigQuery:
- Создайте учетную запись Google Cloud.
- Добавьте учетную запись в качестве участника в проект Google Cloud с ролью
BigQuery User. - Создайте ключ учетной записи Google Cloud.
Подробнее см. в документации Airbyte®.
Настройка эндпоинта-источника BigQuery
- Идентификатор проекта — укажите идентификатор проекта Google Cloud, содержащего набор данных приемника BigQuery.
- (Опционально) Идентификатор набора данных по умолчанию — идентификатор набора данных для поиска таблиц и форм просмотра. Если задано значение в этом поле, будут перенесены данные только из указанной схемы, что может привести к более быстрому обнаружению схемы.
- Учетные данные — укажите содержимое JSON-файла ключа учетной записи.
Настройка приемника данных
Настройте один из поддерживаемых приемников данных:
- MySQL®;
- MongoDB;
- ClickHouse®;
- Greenplum®;
- Yandex Managed Service for YDB;
- Apache Kafka®;
- YDS;
- PostgreSQL.
Полный список поддерживаемых источников и приемников в Yandex Data Transfer см. в разделе Доступные трансферы.
Убедитесь, что настройки сети, в которой размещен кластер-приемник, разрешают подключение к интернету. Чтобы открыть доступ в интернет, настройте маршрутизацию.
После настройки источника и приемника данных создайте и запустите трансфер.