Связаться с намиПодключиться

Метрики Yandex Data Transfer

Статья создана
Обновлена 21 октября 2024 г.

В этом разделе описаны метрики сервиса Data Transfer, поставляемые в Monitoring.

Имя метрики пишется в метку name.

Все метрики сервиса Data Transfer имеют общие метки:

Метка Значение
service Идентификатор сервиса: data-transfer.
job_index Индекс воркера для отличия воркеров, используемых при параллельном копировании данных.
src_id Идентификатор источника.
target_type Тип приемника, например mongo.
resource_id Идентификатор трансфера Data Transfer.
dst_id Идентификатор приемника.
source_type Тип источника, например mongo.
operation_type (кроме метрик replication.*) Тип операции, например Activate.

Метрики CPU

Загрузка процессорных ядер.

Общие метки для всех метрик CPU:

Метка Значение
component Компонент системы, например psutil.
Имя
Тип, единицы измерения		 Описание
cpu.counts
COUNTER, штуки		 Количество CPU, выделенных на перенос данных в воркере.
proc.cpu
DGAUGE, %		 Загрузка процессорных ядер.
proc.descriptors
DGAUGE, штуки		 Количество открытых файловых дескрипторов.
proc.ram
DGAUGE, байты		 Использование оперативной памяти.

Метрики RAM

Общие метки для всех метрик RAM:

Метка Значение
component Компонент системы, например psutil.
Имя
Тип, единицы измерения		 Описание
mem.available
COUNTER, байты		 Использование оперативной памяти, тип потребления available.
mem.percentage
DGAUGE, %		 Процент использования оперативной памяти.
mem.used
COUNTER, байты		 Использование оперативной памяти, тип потребления used.

Метрики сервиса

Имя
Тип, единицы измерения		 Описание
Метки
fallbacks.source.deepness
DGAUGE, штуки		 Текущее количество элементов в fallback-очереди на стороне источника.
fallbacks.source.errors
COUNTER, штуки		 Количество ошибок, возникших на стороне источника в процессе fallback.
fallbacks.source.items
COUNTER, штуки		 Общее количество элементов, добавленных в fallback-очередь на стороне источника.
fallbacks.target.deepness
DGAUGE, штуки		 Текущее количество элементов в fallback-очереди на стороне приемника.
fallbacks.target.errors
COUNTER, штуки		 Количество ошибок, возникших на стороне приемника в процессе fallback.
fallbacks.target.items
COUNTER, штуки		 Общее количество элементов, добавленных в fallback-очередь на стороне приемника.
logger.bytes_written
COUNTER, байты		 Общий объем записанных логов.
logger.field_truncated_size_hist
IGAUGE, байты		 Гистограмма усеченных полей в логах.
Метка bin — бакеты гистограммы.
logger.leaked_count
COUNTER, штуки		 Количество утечек в логах.
logger.leaked_size
COUNTER, байты		 Объем утечек в логах.
logger.leaked_size_hist
IGAUGE, байты		 Гистограмма утечек в логах.
Метка bin — бакеты гистограммы.
logger.success_size_hist
IGAUGE, байты		 Гистограмма записанных логов.
Метка bin — бакеты гистограммы.
middleware.error_tracker.failures
COUNTER, штуки		 Количество ошибок в трекере ошибок.
Метка component — компонент системы, например middleware_filter.
middleware.error_tracker.success
COUNTER, штуки		 Количество успешных операций в трекере ошибок.
Метка component — компонент системы, например middleware_filter.
middleware.filter.dropped
COUNTER, штуки		 Количество отброшенных элементов.
Метка component — компонент системы, например middleware_filter.
publisher.consumer.active
DGAUGE, штуки		 Количество активных консьюмеров (потоков обработки данных).
publisher.consumer.compress_ratio
DGAUGE, %		 Коэффициент сжатия данных во время передачи данных.
publisher.consumer.ddl_error
COUNTER, штуки		 Количество ошибок, связанных с операциями DDL (Data Definition Language).
publisher.consumer.error
COUNTER, штуки		 Общее количество ошибок, возникающих у консьюмеров.
publisher.consumer.extracted_bytes
DGAUGE, байты		 Объем данных, извлеченный из источника.
publisher.consumer.fatal
COUNTER, штуки		 Количество фатальных ошибок, требующих вмешательства оператора.
publisher.consumer.log_usage_bytes
DGAUGE, байты		 Объем буфера или журнала опережающей записи (там, где он поддерживается) в источнике.
publisher.consumer.read_bytes
DGAUGE, байты		 Объем прочитанных данных.
publisher.data.bytes
COUNTER, байты		 Объем считанных из источника данных.
publisher.data.changeitems
COUNTER, штуки		 Число событий на источнике, сгенерированных для переноса (события помимо переносимых данных могут содержать технические операции).
publisher.data.parsed_rows
COUNTER, штуки		 Количество строк, успешно обработанных после их парсинга.
publisher.data.transactions
COUNTER, штуки		 Количество транзакций данных, обработанных в процессе передачи.
publisher.data.unparsed_rows
COUNTER, штуки		 Количество строк данных, которые не удалось успешно распарсить.
publisher.time.delay_ms
DGAUGE, миллисекунды		 Задержка в процессе передачи данных.
publisher.time.parse_ms
DGAUGE, миллисекунды		 Время, затраченное на парсинг данных.
publisher.time.push_ms
DGAUGE, миллисекунды		 Время, затраченное на отправку данных в приемник.
publisher.time.transform_ms
DGAUGE, миллисекунды		 Время, затраченное на трансформацию данных.
replication.running
DGAUGE, 0/1		 Текущее состояние репликации.
Принимает значения:
  • 1 — запущена;
  • 0 — остановлена.
replication.start.unix
DGAUGE, число		 Метка времени начала репликации в формате Unix epoch.
runtime.alloc
COUNTER, байты		 Общий объем выделенной, но еще не освобожденной памяти.
Метка component — компонент системы, например psutil.
runtime.heapIdle
COUNTER, байты		 Объем памяти, который был выделен под динамическую память, но в данный момент не используется.
Метка component — компонент системы, например psutil.
runtime.heapInuse
COUNTER, байты		 Объем памяти, активно используемой под динамическую память.
Метка component — компонент системы, например psutil.
runtime.numGC
COUNTER, штуки		 Количество циклов сборки мусора (GC), выполненных с начала времени измерения.
Метка component — компонент системы, например psutil.
runtime.sys
COUNTER, байты		 Общий объем используемой системной памяти.
Метка component — компонент системы, например psutil.
runtime.totalAlloc
COUNTER, байты		 Общий объем памяти, выделенной за все время работы.
Метка component — компонент системы, например psutil.
sinker.pusher.data.changeitems
COUNTER, штуки		 Число событий, записанных в приемник (события помимо переносимых данных могут содержать технические операции).
sinker.pusher.data.row_events_pushed
COUNTER, штуки		 Число строк, отправленных в приемник.
sinker.pusher.time.batch_push_distribution_sec
IGAUGE, секунды		 Полное время записи в приемник батча данных с учетом предварительной обработки.
Метка bin — бакеты гистограммы.
sinker.pusher.time.row_lag_sec
IGAUGE, секунды		 Разница между временем появления записей на приемнике и источнике.
Метка bin — бакеты гистограммы.
sinker.pusher.time.row_max_lag_sec
DGAUGE, секунды		 Максимальное отставание данных.
sinker.pusher.time.row_max_read_lag_sec
DGAUGE, секунды		 Максимальное отставание данных от момента их появления на источнике до момента их чтения.
sinker.table.deleted_rows
COUNTER, штуки		 Количество удаленных строк в таблице.
Метка table — таблица БД или коллекция.
sinker.table.error
COUNTER, штуки		 Количество ошибок, возникших при обработке таблицы.
Метка table — таблица БД или коллекция.
sinker.table.rows
COUNTER, штуки		 50 таблиц с максимальным количеством записанных в приемник строк.
Метка table — таблица БД или коллекция.
sinker.table.updated_rows
COUNTER, штуки		 Количество обновленных строк в таблице.
Метка table — таблица БД или коллекция.
sinker.table.upserted_rows
COUNTER, штуки		 Количество строк, вставленных или обновленных (upsert) в таблице.
Метка table — таблица БД или коллекция.
sinker.time.bulkPrepare
DGAUGE, секунды		 Время подготовки батча данных для записи.
sinker.time.bulkWrite
DGAUGE, секунды		 Время записи батча данных.
sinker.time.push
DGAUGE, секунды		 Общее время операции записи данных.
sinker.transactions.inflight
COUNTER, штуки		 Количество активных транзакций.
sinker.transactions.total
COUNTER, штуки		 Общее количество выполненных транзакций.
storage.diff_perc
DGAUGE, %		 Разница в процентах между количеством записей на источнике и приемнике.
Метка table — таблица БД или коллекция.
storage.source_rows
DGAUGE, штуки		 Количество строк на источнике данных.
Метка table — таблица БД или коллекция.
storage.target_rows
DGAUGE, штуки		 Количество строк на приемнике данных.
Метка table — таблица БД или коллекция.
task.snapshot.remainder.table
DGAUGE, штуки		 Количество строк, ожидающих переноса.
Метка table — таблица БД или коллекция.
task.snapshot.reminder.total
DGAUGE, штуки		 Общее количество оставшихся строк для переноса.
Метка table — таблица БД или коллекция.
task.status
DGAUGE, 0/1		 Статус выполняющейся операции.
Принимает значения:
  • 1 — задача активна;
  • 0 — задача неактивна.
Предыдущая
Yandex Data Processing
Следующая
Cloud DNS