S3
S3 или Simple Storage Service — сервис, где хранятся цифровые данные большого объема. Работает по одноименному протоколу.
Как появился S3
S3 — это вариант «плоского» (не иерархического) хранилища. С точки зрения системы все объекты равнозначны, поэтому в S3-хранилище удобно долго хранить разнородную информацию и быстро получать к ней доступ.
S3 использует API, который разработали в Amazon Web Services (AWS). Любой объект в хранилище можно получить с помощью URL-ссылки с уникальным идентификатором объекта по протоколу HTTP или HTTPS. С полученными объектами работают либо через веб-интерфейс, либо программно через API.
AWS запустили сервис S3 в 2006 году в США, а в 2007 году — в Европе. Сейчас объектные хранилища + протокол S3 — это одно из самых используемых решений для облачного хранения данных.
Как работает S3
Сервис включает доступ к защищенному облачному хранилищу, API-интерфейс с прямым доступом к хранимым объектам через интернет и дополнительные опции, зависящие от поставщика сервиса.
Каждый объект в S3 состоит из уникального идентификатора, метаданных и содержимого:
- Уникальный идентификатор — строка, с помощью которой можно однозначно идентифицировать хранимый объект и обращаться к нему в хранилище. URL-адрес с уникальным идентификатором — прямая ссылка на этот объект (например,
https://storage.yandexcloud.net/<имя бакета>/<имя идентификатора>). - Метаданные — прочие значимые атрибуты объекта (размер, тип и другие пользовательские данные для отбора и сортировки). Нужны, чтобы находить однотипные объекты и работать с ними.
- Содержимое — данные произвольного формата (цифровые документы, фото- и видеоматериалы, архивы, образы виртуальных систем). Пользователь определяет состав содержимого, а хранилище может накладывать на него технические ограничения, например на максимальный размер объекта.
Для удобной работы любые объекты можно объединять в бакеты (buckets). Бакет получает уникальный идентификатор, который входит в URL каждого объекта в бакете.
Протокол S3 позволяет разделять права доступа к хранимым объектам и определять их жизненный цикл (назначать политики хранения и удаления информации).
Преимущества S3
- Масштабируемость. Если вы захотите увеличить объем хранимой информации, то донастройки системы или оборудования не понадобятся. Это из-за того, что в S3 нет иерархической структуры хранения.
- Универсальность. Если сравнивать с хранилищами других типов, в S3 нет никаких ограничений по обязательной предварительной обработке данных и их содержимому. Только пользовательские потребности определяют состав хранимой информации.
- Гибкость. Доступ к объектам облачного объектного хранилища можно настроить и получить из любой точки мира, где есть интернет. Прямые URL-адреса с уникальными идентификаторами корзин и объектов позволяют работать с содержимым хранилища по протоколам HTTP и HTTPS из любого браузера.
- Надежность. Большинство облачных S3-хранилищ гарантируют сохранность данных за счет избыточности хранения. Каждый объект хранится одновременно в нескольких местах (узлах). Целостность данных регулярно проверяется с помощью контрольных сумм объектов и, при необходимости, восстанавливается.
- Версионность. Хранилище S3 позволяет настроить механизм хранения версий любых объектов (по умолчанию версионность обычно отключена для экономии места).
- Экономичность. Не нужно покупать дорогостоящие серверные системы. Сервис S3 предоставляет пользователю различные классы хранения данных. Классы хранилища различаются уровнем сервиса, стоимостью за единицу хранимой информации и трафиком.
Для чего необходимо S3
Для чего можно использовать облачное объектное хранилище:
-
Создавать резервные копии информации.
Легкое масштабирование и подключаемая версионность позволяют хранить копии любых сайтов, баз данных, образы серверов и виртуальных машин. А дополнительное преимущество — простая интеграция с системами резервирования и восстановления данных благодаря API-интерфейсу.
-
Хранить данные браузерных и мобильных программ.
Благодаря HTTP API и метаданным объектов многие действия с ними возможно производить прямо из хранилища. Разработка программ ускоряется, ресурсы устройств пользователя экономятся.
-
Хранить большие данные.
По своей структуре S3 — идеальный инструмент для хранения и быстрого поиска больших объемов разнородной информации, что полезно при работе с системами Big Data.
-
Создавать мультимедийные библиотеки.
Хранить аудио-, видеофайлы и изображения, которым нужно много дискового пространства, максимально эффективно в S3. Пользователи получают быстрый доступ к контенту благодаря настраиваемым правам на работу с корзинами и объектами.
-
Долго хранить цифровые архивы.
Гибкая система тарифов S3 дает наиболее экономичный способ хранить информацию, к которой не требуется постоянного доступа: отчетные документы, системные лог-файлы, архивы систем видеонаблюдения и т. п. Большинство российских сервисов объектных хранилищ соответствуют Федеральному закону Российской Федерации «О персональных данных» № 152-ФЗ.
Yandex Object Storage — облачное объектное хранилище от Yandex Cloud
Сервис Yandex Object Storage — облачное объектное хранилище от Яндекса. Благодаря современным решениям и гибкой системе тарификации сервис одинаково подходит как для систем, требующих высокой надежности хранения и скорости доступа к информации, так и для небольших бюджетных проектов.
Сервис поддерживает API AWS S3. Это позволяет использовать не только встроенные возможности Yandex Cloud, но и большинство популярных инструментов, совместимых с AWS S3: файловые браузеры, консольные клиенты, SDK и т. п. (подробнее см. в разделе Поддерживаемые инструменты документации сервиса).
Yandex Object Storage содержит все преимущества облачного S3-хранилища и позволяет хранить объекты произвольного формата размером в несколько терабайт. Все данные защищены в соответствии с Федеральным законом Российской Федерации «О персональных данных» № 152-ФЗ.
В сервисе доступны хранилища нескольких классов («стандартный», «холодный» и «ледяной»), в зависимости от длительности хранения и частоты доступа к объектам.