Облачное хранилище на примере Yandex Object Storage

Вы наверняка пользовались Dropbox, Mega или другими облачными онлайн‑сервисами, которые позволяют загружать данные любого типа, но жёстко ограничивают объём используемой памяти. Такие сервисы удобны для хранения личных документов или домашнего фотоархива, но есть недостатки — например, файлы могут открываться довольно долго.

Компаниям нужны другие хранилища — высокопроизводительные, гарантированно доступные, автоматически масштабируемые и без ограничений на объём хранимых данных. Корпоративные облачные хранилища стоят дороже публичных, но обеспечивают быстрый доступ к данным и предоставляют несоизмеримо больше возможностей. Пример такого хранилища — Yandex Object Storage, которое обеспечивает стабильную скорость передачи независимо от числа одновременных обращений. Yandex Object Storage подходит для хранения любых неструктурированных данных: логов, отчётов, медиафайлов, статических сайтов.

Для чего необходимы объектные облачные хранилищаДля чего необходимы объектные облачные хранилища

Всего несколько лет назад пользователи хранили данные на локальных дисках персональных компьютеров, а обменивались ими с помощью компакт‑дисков или флешек. И носители, и локальные диски компьютера ограничивали объём хранимых данных, и скорость доступа к ним, не позволяли работать с файлами одновременно нескольким пользователям и, как правило, не защищали от несанкционированного доступа: данные мог прочесть любой обладатель флешки. Эти ограничения совершенно неприемлемы для современных пользователей и компаний.

Часть этих проблем решают сетевые или NAS‑хранилища Samba, CIFS, NFS: они позволяют работать и обмениваться файлами одновременно нескольким пользователям, но ограничены производительность и масштабирование, а ещё не позволяют работать с данными в интернете.

Для работы с данными в интернете предназначены объектные облачные хранилища, например Yandex Object Storage. Объясним почему:

• Быстрый доступ к данным. Объектные хранилища открывают быстрый доступ к информации большому количеству пользователей одновременно, где бы они ни находились и какой бы объём файлов ни загружали. Массовая передача больших объёмов данных по силам именно Yandex Object Storage.

• Эластичность. Объектное хранилище S3 автоматически расширяется по мере необходимости. Компании могут заниматься масштабной аналитикой озёр данных, объёмы которых измеряются петабайтами и эксабайтами.

• Стабильность. Компании предъявляют строгие требования к доступности, а потери абсолютно недопустимы. Yandex Object Storage размещает копии данных в разных зонах доступности (физически удалённых дата‑центрах), чтобы сохранить работоспособность систем даже в случае крупного инфраструктурного сбоя. Если нагрузка на сеть внезапно вырастет в несколько раз или выйдет из строя один из серверов, пользователи ничего не заметят, вся информация будет надёжно сохранена.

• Защищённость. В Yandex Object Storage хранение данных осуществляется в строгом соответствии с 152‑ФЗ, GDPR, стандартов ISO и PCI DSS. Можно дополнительно шифровать критичные данные на стороне сервера с помощью Yandex Key Management Service. Сервис надёжно защищает данные от физического уничтожения из‑за сбоя оборудования, человеческого фактора и программных ошибок.

• Отказоустойчивость. Объектные хранилища прекрасно справляются с пиковыми нагрузками и хорошо подходят крупным ресурсам с большой аудиторией, которая ежедневно загружает десятки и сотни тысяч файлов. Например, Yandex Object Storage помог организовать прямой эфир для дилеров компании Renault.

• Индустриальный стандарт. Совместимость с S3 API. S3 был запущен в 2006 году и с тех пор является золотым стандартом для организации облачных хранилищ. Управлять хранилищем можно с помощью широкого набора инструментов, включая API, CLI, WinSCP, Java SDK, Python SDK и других, а скачивать файлы можно в обычном веб‑браузере.

• Стандартное, «холодное» и «ледяное» хранилище S3. Yandex Object Storage можно использовать не только для хранения часто запрашиваемых данных. Можно создать и «холодное» хранилище для данных, к которым обращаются очень редко. Это дешевле, так как вы платите за хранение, операции и исходящий трафик. Файлы помещаются в «ледяное» хранилище минимум на 12 месяцев, оно дешевле стандартного и «холодного» хранилищ.

• Экономическая эффективность. Объектное хранилище снижает нагрузку на собственную IT‑инфраструктуру компании и обслуживающих её сотрудников. В Yandex Object Storage можно размещать файлы проекта для публичного, или закрытого доступа или совместно работать с данными внутри организации.

Чтобы эффективнее использовать облачное пространство, вы можете настроить автоматическое удаление по заданным правилам (bucket lifecycle).

Итак, сервис Yandex Object Storage подходит как для небольших проектов, так и для высоконагруженных сервисов с жёсткими требованиями к инфраструктуре хранения. Решение позволяет масштабироваться до эксабайтных объёмов без деградации производительности. Пользователи могут работать с Yandex Object Storage как с NAS‑хранилищем, а разработчики получат доступ к данным через API и SDK.

Как устроено и из чего состоит объектное облачное хранилище Yandex Object StorageКак устроено и из чего состоит объектное облачное хранилище Yandex Object Storage

В Yandex Object Storage нет классических файлов и папок: все данные — это объекты. Объект содержит информацию произвольного формата (value) и имеет имя (key, строковый идентификатор). Объекты размещаются в бакетах — логических сущностях с плоской структурой хранения. Несмотря на то, что внутреннее устройство отличается от классической файловой системы, пользовательские приложения предлагают работать с Yandex Object Storage как с обычной иерархической файловой системой. Они рассматривают объекты как обычные файлы, а иерархию папок с файлами выстраивают с помощью добавления разделителей в имена объектов. Значит, с объектным хранилищем можно работать как с иерархической файловой системой.

С помощью объектного хранилища можно управлять правами и политиками доступа (Access Control List и Backet Policy), шифровать данные и делиться ими в интернете, публиковать сайты, версионировать, чтобы отслеживать изменения и защититься от случайного удаления.

В зависимости от требований к длительности хранения и частоте операций с объектами можно выбирать хранилища разных классов. Класс определяет способ хранения информации в облаке, оптимизированный для высокой производительности с частым доступом либо для низкой стоимости хранения с редким доступом. Yandex Object Storage предлагает стандартное, «холодное» и «ледяное» хранилища. Чем холоднее хранилище, тем дешевле хранить в нём данные, но дороже их читать и записывать. Проще говоря, чем дольше планируется хранить объекты и чем реже с ними приходится работать, тем более холодное хранилище для них следует выбирать. Если не указать класс хранилища при загрузке объектов, будет использован тот, что задан по умолчанию для бакета.

Пример расчёта с калькулятором

Инструменты для работы с облачным хранилищем Yandex Object StorageИнструменты для работы с облачным хранилищем Yandex Object Storage

Облачное хранилище оптимизировано для работы по сети: для любого объекта (файла) можно получить ссылку (URL) и открыть её в браузере. Так можно поделиться файлами, опубликовать их в интернете или разместить свой сайт.

Помимо работы в веб‑консоли Yandex Cloud, Yandex Object Storage позволяет работать и с хранилищем Amazon S3 как в виде дерева папок и файлов (раздел «Консольные клиенты и файловые браузеры»), так и подключить его к компьютеру как ещё один диск (раздел FUSE) или напрямую использовать хранилище в программном коде (раздел SDK).

Как Yandex Object Storage защищает данныеКак Yandex Object Storage защищает данные

По умолчанию Yandex Object Storage имеет несколько компонентов защиты. Например, доступ к хранилищу осуществляется по протоколу HTTPS, физические носители расположены в защищённых дата‑центрах Yandex Cloud, а сами данные хранятся в зашифрованном виде. И никто из тех, кто имеет доступ к физическому носителю, не сможет эти данные прочитать.

Сервис Yandex Cloud соответствует требованиям Федерального закона Российской Федерации № 152‑ФЗ «О персональных данных», что позволяет безопасно хранить в нём персональные данные разных категорий. Дополнительно можно настроить шифрование критичных данных в состоянии покоя и при передаче.

Компании могут самостоятельно настраивать политики безопасности в зависимости от потребностей или по рекомендациям вендора. Например, назначать минимальные роли доступа к данным с помощью IAM, а затем дополнять и конкретизировать их с помощью Bucket Policy, Bucket ACL и Object ACL. Так можно ограничить доступ к бакету по IP‑адресам и выдавать гранулярные права доступа к объектам.

Для чего можно использовать Yandex Object StorageДля чего можно использовать Yandex Object Storage

Надёжное хранение и резервное восстановлениеНадёжное хранение и резервное восстановление

В Yandex Object Storage можно хранить данные любого типа, в том числе архивы большого объёма (до 5 ТБ на один файл).

Сервис надёжно защищает критически важные данные. Каждый объект имеет несколько копий, которые хранятся в разных зонах доступности. В случае выхода из строя одной из зон доступности информация будет восстановлена из копии, хранящейся в другой зоне.

Для организации системы резервного копирования данных предусмотрены удобные инструменты Acronis, Duplicati, Bacula, CloudBerry Desktop Backup и другие.

Сбор статистики для машинного обученияСбор статистики для машинного обучения

Объектное облачное хранилище позволяет хранить большие объёмы статистических и иных сведений, упрощает сбор исторической информации о компании для аналитики и строительства витрин данных. Например, компания MAXIMUM Education использовала хранилище, чтобы накапливать информацию и анализировать направления развития.

Хостинг статических сайтовХостинг статических сайтов

В Yandex Object Storage можно разместить личный или корпоративный сайт. Архитектура облачного объектного хранилища обеспечивает высокую скорость загрузки анимации и страниц, которые редко обновляются.

Организация сред тестирования и разработкиОрганизация сред тестирования и разработки

Среды тестирования и разработки ПО обычно требуют наличия нескольких независимых дублирующих контуров, в которых хранятся данные. Эти контуры должны легко создаваться и удаляться, иметь простое управление. Гибкость, масштабируемость и низкая стоимость облачных хранилищ делают их отличным вариантом для разработчиков.

Хранение данных мобильных и веб‑приложенийХранение данных мобильных и веб‑приложений

Объектное хранилище обеспечивает комфортные условия хранения и контролируемое масштабирование при значительном увеличении объёма данных. А благодаря его устойчивости к нагрузкам пользователи мобильных и веб‑приложений не будут испытывать дискомфорта от медленной загрузки контента. В этом убедилась, например, компания VizorLabs.

Работа с Big DataРабота с Big Data

Данные — новое золото, компании активно собирают их для анализа и принятия стратегически важных решений. Компании в сфере ритейла, финансов, логистики, научно‑исследовательские предприятия используют Yandex Object Storage для хранения больших объёмов неструктурированных данных.

Подробно о сценариях использования Yandex Object Storage мы рассказали в этом видео:

Нужна помощь или совет по использованию облачного хранилища Yandex Cloud? Обратитесь к нашим специалистам. Они помогут правильно настроить параметры Yandex Object Storage, рассчитать стоимость хранения архива или решить другой вопрос.