История изменений Data Transfer

2026 год

Поддержан формат данных nginx для источника данных Object Storage.
Изменен формат имени создаваемого объекта в приемнике Object Storage: part-<таймстамп>-<хеш(partID)>.<счетчик>.<тип_файла>.
- таймстамп — timestamp по идентификатору операции;
- хеш(partID) — UUID, сгенерированный на основе partID;
- счетчик — инкрементируемый счетчик;
- тип_файла — расширение файла (csv, parquet, json, proto и nginx).
Для трансферов типа Копирование из источников PostgreSQL всегда поддержано чтение данных из родительской таблицы, если она присутствует в списке таблиц на эндпоинте или трансфере.
Для источников YDB, Apache Kafka® и YDS поддержан новый тип конвертации данных Raw-to-table, позволяет поставлять сырые данные из очереди сообщений.

Ускорен в несколько раз перенос данных при копировании из PostgreSQL в PostgreSQL.
Улучшен перенос схемы БД для трансферов из PostgreSQL в PostgreSQL. Сущности переносятся в порядке зависимости друг от друга.
Для стадии копирования будет выделяться не более 64 виртуальных машин.

Улучшена стабильность трансферов из Apache Kafka®.
Исправлена отправка метрик в Monitoring для источника Oracle.
Исправлена проблема передачи данных из PostgreSQL в PostgreSQL, когда при указании списка таблиц на уровне трансфера (не в эндпоинте) переносилась вся схема целиком.
Устранен множественный перезапуск трансфера при одновременном изменении настроек эндпоинтов и трансфера через API и Terraform.
Для приемника Managed Service for YDB исправлена проблема с очисткой таблиц.
Исправлена проблема с зависанием или повторной поставкой большого количества данных в репликациях из Managed Service for YDB.
Исправлена проблема с переносом удалений в ClickHouse® при наличии некоторых специфичных типов в колонках (например, UUID).

В настройках источников данных Apache Kafka® и Data Streams теперь можно указывать параметры подключения к Schema Registry.

2025 год

2024 год

2023 год