Базовая формула для хранения on-premises
Ёмкость дисков = объём данных к концу периода / коэффициент сжатия × число копий / 0,7.

Разбираем, какой сервер для аналитики нужен ClickHouse, MPP-СУБД и Apache Spark, когда хватит управляемого сервиса и как рассчитать конфигурацию от объёма данных до числа узлов.
Хранение и обработка данных — самый частый сценарий использования bare metal, по данным нашего исследования
Сервер для аналитики обычно начинают выбирать, когда текущая инфраструктура перестаёт справляться с нагрузкой. Например, фоновые слияния в ClickHouse на виртуальных машинах (ВМ) занимают всё больше пропускной способности дисков, и дашборды открываются медленнее. Или ночные задачи Apache Spark не успевают завершиться за отведённое время. Или пора обновлять собственный MPP-кластер, а закупка оборудования займёт месяцы.
При выборе сервера для обработки данных учитывают объём данных после сжатия, число копий, характер запросов и параметры сети между узлами. Эта статья — для инженеров данных и руководителей DWH, которым уже не хватает текущей инфраструктуры для обработки больших данных.
У каждого профиля нагрузки свои показатели производительности и узкие места:
|
Профиль |
Типичные системы и задачи |
Что измеряют |
Узкое место |
|
Интерактивная аналитика на колоночной СУБД |
ClickHouse: дашборды, логи, события |
Время ответа при пиковой нагрузке |
Память и диски при чтении и слиянии данных |
|
MPP-хранилище |
Greenplum® и его форки: DWH, витрины, тяжёлые JOIN |
Время пересчёта витрин |
Память и диски сегментов, сеть между ними |
|
Распределённая и пакетная обработка |
Spark, Apache Hadoop® и HDFS: ETL, скоринг |
Время выполнения задачи в отведённый срок |
Процессорные ядра, локальные диски, сеть |
Колоночная СУБД хранит данные по столбцам и читает с диска только те столбцы, которые нужны для запроса. Такой подход помогает быстро рассчитывать агрегаты и хорошо сжимать данные. Подробнее мы рассказывали в нашем обзоре ClickHouse.
MPP-СУБД, например Apache Cloudberry™, распределяет таблицы между сегментами на разных узлах и обрабатывает запросы параллельно. Оба типа аналитических баз данных используют как основу корпоративного хранилища данных — DWH.
При распределённых вычислениях одну задачу выполняют несколько узлов. Они обмениваются промежуточными данными по сети, поэтому при выборе конфигурации нужно учитывать и её характеристики.
При пакетной обработке данные обрабатывают порциями по расписанию. Здесь важно, сколько времени занимает задача целиком и укладывается ли она в отведённый срок. Так работают ETL-пайплайны, скоринг и другие задачи, в которых большие массивы данных обрабатывают за ночь.
Транзакционные СУБД и HPC-расчёты в этой статье не рассматриваем.
На физическом сервере кластеру доступны все локальные NVMe-диски и память машины. Ресурсы не приходится делить с другими клиентами, а данные обрабатываются без слоя виртуализации. Это помогает сделать скорость чтения и слияния данных более предсказуемой. Команда также полностью контролирует программное окружение: от ОС и файловой системы до собственного дистрибутива Hadoop или форка Greenplum.
Управляемые сервисы Yandex Cloud берут на себя часть задач по обслуживанию: обновления, резервное копирование и механизмы отказоустойчивости. Вычислительные ресурсы можно добавлять без закупки оборудования.
Для аналитики доступны Yandex Managed Service for ClickHouse® и Yandex MPP Analytics Engine for PostgreSQL с движками Greenplum и Apache Cloudberry. Для Spark — Yandex Managed Service for Apache Spark™ и Yandex Data Processing. Их различия мы разбирали в обзоре Apache Spark. Дашборды по результатам обработки можно строить в Yandex DataLens
|
Ситуация |
Что выбрать |
|
Некому обновлять СУБД и восстанавливать реплики |
Управляемый сервис |
|
Нагрузка растёт скачками |
Управляемый сервис или гибрид |
|
Кластер загружен круглосуточно, а производительность ограничена локальными дисками |
Сравните Yandex Managed Service for ClickHouse® с локальными SSD и Yandex BareMetal на своей нагрузке. Последний стоит выбрать при подтверждённом ограничении доступных конфигураций, необходимости управлять ОС и оборудованием либо преимуществе по полной стоимости эксплуатации |
|
Нужна сборка или дистрибутив, которых нет в сервисе |
Физический сервер |
|
Нужно перенести свой кластер со всем программным окружением |
Сначала физический сервер, затем перенос части компонентов в управляемые сервисы |
|
Данные должны оставаться в изолированном контуре |
Физический сервер; для платформенных сервисов на нём — Yandex Cloud Stackland в составе Yandex BareMetal Extend |
|
Нужно отделить аналитику от транзакционной системы |
Гибрид: витрины в Yandex Managed Service for ClickHouse®, перенос данных через Yandex Data Transfer |
|
Объём архива растёт быстрее потребности в вычислениях |
Гибрид: редко используемые данные в объектном хранилище |
Стоимость самостоятельного размещения базы и управляемого сервиса за три года мы сравнивали в отдельной статье. Другие варианты размещения разбирали в статье о выборе мощностей.
Эти системы по-разному используют ресурсы сервера. В таблице ниже собрали, что стоит учитывать при выборе оборудования и где искать причину замедления:
|
Движок |
Процессор |
Память |
Диски |
Сеть |
Что проверить первым |
|
ClickHouse |
Ядра для параллельного чтения данных |
Объём с учётом данных на реплике |
NVMe для горячих данных, HDD или S3 для холодных |
Передача данных между репликами |
Нагрузку на диски при слияниях |
|
MPP-СУБД |
Ядра на каждый сегмент |
Память на каждый сегмент |
Диски для сегментов и их зеркал |
Обмен между сегментами |
Самый медленный сегмент |
|
Spark и Hadoop |
Ядра для выполнения задач |
Память для задач и запас для ОС |
Локальные диски без RAID |
Перераспределение данных между узлами — шафл |
Объём шафла |
ClickHouse распределяет чтение данных и расчёт агрегатов между ядрами процессора. Поэтому для аналитики число ядер обычно важнее их частоты.
В рекомендациях ClickHouse
На каждое ядро рекомендуют от 2 до 8 ГБ памяти в зависимости от типа машины. Больший объём памяти обычно помогает ускорить запросы.
Для аналитики с нерегламентированными запросами (ad hoc) рекомендуют ориентироваться на среднюю загрузку процессора 10–20%. Оставшийся запас нужен для всплесков нагрузки. Это отправные ориентиры: точную конфигурацию стоит подбирать по результатам профилирования своих запросов.
Фоновые слияния (merge) объединяют части данных и записывают результат на диск. Старые части тоже занимают место, пока система их не удалит. «Горячие» данные хранят на NVMe, а «холодные» переносят на HDD или в S3 с помощью политик хранения MergeTree
Для кластера на локальных дисках рекомендуется не менее трёх реплик на шард: сначала увеличивать ресурсы существующих реплик, затем добавлять новые. Автоматически перераспределять данные между шардами ClickHouse не умеет.
В MPP-хранилище на одном узле работают несколько сегментов. При выборе сервера нужно учитывать, сколько ядер, памяти и дисковых ресурсов получит каждый из них. Зеркала сегментов размещают на других узлах — для хранения данных потребуется вдвое больше места.
Выполнение запроса зависит от самого медленного из участвующих сегментов. Если данные распределены неравномерно, часть сегментов получает больше работы и задерживает весь запрос. Поэтому важно равномерно распределять данные и использовать узлы одинаковой конфигурации.
При JOIN и перераспределении данных сегменты обмениваются ими по внутренней сети кластера. Документация Apache Cloudberry
Spark выполняет многие вычисления в памяти. Данные, которые в неё не помещаются, и промежуточные результаты между этапами он записывает на локальные диски.
Документация Apache Spark
Если на узле больше 215 ГБ памяти, можно запустить несколько исполнителей (executors), каждый в отдельной JVM. Это помогает избежать проблем, которые могут возникать у одной JVM при работе с таким объёмом памяти.
Hadoop с HDFS по умолчанию хранит три копии каждого блока
Вычисления размещают на тех же узлах, что и HDFS, или на отдельных узлах в той же локальной сети. Spark также может читать данные из S3-совместимого хранилища
Расчёт для ClickHouse, MPP-СУБД и Spark строится по общей схеме: оценить объём данных, учесть сжатие и копии, затем подобрать диски, память, процессоры и сеть.
Базовая формула для хранения on-premises
Ёмкость дисков = объём данных к концу периода / коэффициент сжатия × число копий / 0,7.
Она предусматривает 30% свободного места. Если часть данных хранится в объектном хранилище, её не включают в расчёт локальных дисков.
SELECT
table,
formatReadableDecimalSize(sum(data_uncompressed_bytes)) AS uncompressed,
formatReadableDecimalSize(sum(data_compressed_bytes)) AS compressed,
formatReadableDecimalSize(sum(bytes_on_disk)) AS on_disk,
round(sum(data_uncompressed_bytes) / sum(bytes_on_disk), 1) AS ratio
FROM system.parts
WHERE active AND database = currentDatabase()
GROUP BY table
ORDER BY sum(bytes_on_disk) DESC;
Запрос к system.parts
Рассмотрим условный пример для ClickHouse: один шард, три реплики, 40 ТБ несжатых данных и прирост 2 ТБ в месяц. Планируем на два года, старые данные не удаляем, коэффициент сжатия принимаем равным пяти. Все данные храним локально:
|
Шаг |
Расчёт |
Результат |
|
Объём через два года |
40 ТБ + 2 ТБ × 24 мес |
88 ТБ |
|
После сжатия |
88 ТБ / 5 |
17,6 ТБ на реплику |
|
Три реплики |
17,6 ТБ × 3 |
52,8 ТБ |
|
Заполнение дисков до 70% |
52,8 ТБ / 0,7 |
С округлением вверх — 75,6 ТБ, по 25,2 ТБ на узел |
|
Память для редких отчётов, 1:100 |
17,6 ТБ / 100 |
≈180 ГБ на реплику |
|
Память для частых запросов, 1:30 |
17,6 ТБ / 30 |
≈590 ГБ на реплику |
В примере диски работают отдельно, без RAID — по схеме JBOD. Способ организации дисков выбирают при установке ОС. ClickHouse поддерживает такую схему, но отказ отдельного диска требует восстановления данных из другой копии, поэтому нужны три реплики или больше.
Для частых запросов можно рассмотреть три узла с 1 ТБ памяти и шестью NVMe по 6,4 ТБ на каждом. Это 38,4 ТБ дисковой ёмкости на узел. Для редких отчётов — три узла с 512 ГБ памяти, «горячими» данными на NVMe и «холодными» на HDD. Оба варианта нужно проверить на своих запросах.
Если объединить те же шесть NVMe в RAID 10, полезная ёмкость составит 19,2 ТБ на узел. Данные займут около 92% этого объёма. Чтобы сохранить запас при той же конфигурации дисков и размещении одной реплики на узле, понадобятся два шарда по три реплики — шесть узлов.
Перед длительной арендой сравните две-три конфигурации на копии своих данных. Воспроизведите нагрузку дашбордов и ночную обработку, отключите один узел и измерьте время восстановления реплики. Запросы и задачи должны укладываться в целевое время на пике нагрузки, а у кластера должен оставаться запас ресурсов. Например, команда «КИТ Финанс» перед выбором сравнила работу SSD на виртуальных машинах и выделенных серверах.
Учтите минимальные сроки аренды. Готовую конфигурацию из наличия можно арендовать на день, сервер в своей конфигурации — минимум на месяц. Даже короткий тест такого сервера потребует оплаты месяца аренды. Для конфигураций по индивидуальному запросу сроки и условия определяются отдельно.
Yandex BareMetal — сервис аренды выделенных физических серверов. Все ресурсы сервера доступны только его арендатору. Для Spark и ClickHouse нужны разные сочетания процессоров, памяти и дисков, поэтому конфигурацию выбирают под нагрузку.
Некоторые серверы в таблице ниже поддерживают MC-LAG. В каждой сети два порта разных сетевых карт подключены к разным коммутаторам. Если одна карта или один коммутатор выйдет из строя, сервер сохранит подключение через второй канал. При установке ОС из собственного образа MC-LAG нужно настроить самостоятельно.
Собрали в таблице варианты для разных задач и проверки, которые помогут оценить их на тесте:
|
Профиль |
Конфигурация |
Почему подходит |
Что проверить на тесте |
|
Частые запросы к горячим данным |
BA-i523-NH-2X25G: 2 × Intel® Xeon® Gold, 64 ядра, 1 ТБ DDR4; 6 × 6,4 ТБ NVMe и 2 × 4 ТБ HDD; 2 × 25 Гбит/с с MC-LAG |
Много памяти и быстрых дисков NVMe |
Скорость запросов дашбордов и фоновых слияний |
|
Длительное хранение истории, «горячие» и «холодные» данные |
BA-i512-NH-2X25G с MC-LAG или BA-i511-NH-25G с 25 Гбит/с без MC-LAG: 2 × Intel Xeon Gold, 64 ядра, 512 ГБ памяти; 6 × 3,2 ТБ NVMe, 2 × 16 ТБ HDD и 2 × 4 ТБ HDD |
«Горячие» и «холодные» данные можно хранить на одном сервере |
Скорость запросов к «холодным» данным |
|
Крупный кластер, сложные агрегации и JOIN |
BA-a702-6N-4H-2X25G: 2 × AMD, 192 ядра, 2,3 ТБ DDR5; 6 × 6,4 ТБ NVMe, 2 × 20 ТБ HDD и 2 × 4 ТБ HDD; MC-LAG |
Много ядер и памяти на узел |
Насколько дополнительные ядра ускоряют запросы |
|
Spark, ETL и пакетные расчёты |
BA-a704-4N-2X25G: 2 × AMD, 192 ядра, 768 ГБ DDR5; 4 NVMe-диска; MC-LAG |
Много ядер и локальные NVMe для шафла |
Время выполнения задач и объём шафла |
|
Собственное S3-хранилище на Ceph или MinIO, если данные нельзя размещать в Yandex Object Storage |
BA-a612-N-25G: 2 × AMD, 128 ядер, 512 ГБ памяти; 2 × 6,4 ТБ NVMe; 25 Гбит/с без MC-LAG |
Быстрые диски NVMe |
Восстановление после отказа узла |
Готовый сервер в конфигураторе можно получить за несколько минут.
Для своей конфигурации вы выбираете процессоры, память, диски, скорость сетевых подключений и поддержку MC-LAG. Сборка и подготовка занимают до четырёх календарных дней. Если не хватает квот на сборку или количество серверов, запросите увеличение через поддержку
Если нужны RAID-контроллеры, дисковые полки JBOD или GPU, можно заказать индивидуальную конфигурацию. Её состав, сроки сборки и условия аренды согласуют отдельно.
Перед арендой проверьте характеристики в каталоге, а наличие — в консоли управления.
В аренду входит базовый пакет входящего и исходящего трафика публичной сети: 10 ТБ в сутки при подключении 1 Гбит/с. Трафик между Yandex BareMetal и Yandex Object Storage не тарифицируется в обоих направлениях. Подробнее — в правилах тарификации.
Узлы кластера соединяют через приватную сеть. Она поддерживает MTU до 8910 байт — максимальный размер передаваемого пакета. Крупные пакеты помогают снизить накладные расходы при репликации и шафле.
Серверы для обработки больших данных часто дополняют облачными сервисами. Например, исходные и редко используемые данные хранят в Yandex Object Storage.
Yandex Cloud Interconnect позволяет связать приватную сеть серверов, облачные сети и собственную площадку компании. Трафик между приватными адресами Yandex BareMetal и облачных сетей через это подключение не тарифицируется. По умолчанию пропускная способность между BareMetal и Yandex Virtual Private Cloud ограничена 10 Гбит/с на пользователя, независимо от числа серверов. Увеличить её можно, обратившись в поддержку.
Yandex Cloud Backup позволяет делать резервные копии каждого файла или сервера целиком.
Для запуска готовой платформы в изолированном контуре есть линейка Yandex BareMetal Extend:
Линейка находится на стадии Preview. Если создание нужного ресурса недоступно, оставьте заявку на подключение.
Большое количество серверов переносят поэтапно. Например, команда «Наши игры» перенесла игру на 53 сервера Yandex BareMetal за полгода, разделив работу на три этапа.
Когда RAID полезен, например для дисков с ОС, мы рассказывали в разборе ошибок при работе с выделенными серверами.
Требования зависят от данных и запросов. Для небольших объёмов документация ClickHouse допускает соотношение памяти и хранилища 1:1, но рекомендует не менее 8 ГБ памяти. Для рабочей системы объём памяти и дисков рассчитывают с учётом сжатия и характера запросов, а число ядер — с учётом сложности запросов и того, сколько их выполняется одновременно.
MPP-СУБД распределяет данные и обработку запросов между несколькими узлами. Так работают, например, Greenplum и Apache Cloudberry. Для рабочего кластера обычно выбирают узлы одинаковой конфигурации. NVMe ускоряют работу с данными, а резервирование сетевых подключений помогает сохранить связь при отказе оборудования.
При распределённых вычислениях несколько узлов совместно выполняют задачу и обмениваются промежуточными результатами. В Spark такой обмен происходит при шафле, например для группировок и JOIN, в MPP-СУБД — при перераспределении данных между сегментами. Медленная сеть задерживает обработку: узлам приходится ждать данные. Поэтому её пропускную способность учитывают вместе с производительностью процессоров и дисков.
Сравнивайте полные расходы: аренду ресурсов и время инженеров на обслуживание, обновления, бэкапы и восстановление после сбоев. При круглосуточной загрузке и опытной команде расходы на физические серверы проще планировать. Если нагрузка меняется, управляемый сервис проще масштабировать. Какой вариант дешевле, покажет расчёт для вашей нагрузки.
Это зависит от СУБД, объёма данных, нагрузки и требований к отказоустойчивости. Например, для ClickHouse на локальных дисках можно использовать три реплики одного шарда на трёх разных узлах. Если данных слишком много для одного узла, их распределяют между несколькими шардами. При размещении каждой реплики на отдельном узле три шарда по три реплики потребуют девяти узлов.
Выбор сервера для аналитики начинают с данных. Их объём, сжатие, число копий и запас свободного места определяют ёмкость дисков. Частота обращения к данным помогает выбрать между NVMe, HDD и объектным хранилищем. Характер запросов определяет требования к памяти и процессорам, а обмен между узлами — к сети.
Физические серверы подходят, когда нужны локальные диски, предсказуемая производительность и контроль над программным окружением. При этом круглосуточная нагрузка и требование быстрых дисков сами по себе не исключают управляемые сервисы баз данных. Так, в Yandex Managed Service for ClickHouse® доступны локальные SSD, а для растущего архива есть гибридное хранение с Object Storage. Для нерегулярной нагрузки, особенно без своей команды эксплуатации, удобнее управляемый сервис. Конфигурацию Yandex BareMetal стоит выбирать после проверки на своих данных и запросах.
Подберите сервер для работы с данными в аналитическом проекте
Сравните конфигурации Yandex BareMetal или соберите сервер под задачу из готовых компонентов.
В этой статье: