Object Storage

Архитектура хранения данных в виде отдельных объектов с уникальными идентификаторами и метаданными, доступ к которым осуществляется через HTTP API.

Object Storage (объектное хранилище) организует данные в плоской структуре без использования иерархии папок. Каждый объект состоит из самих данных, набора метаданных и уникального ключа (ID). Взаимодействие с хранилищем происходит по протоколу HTTP/HTTPS через REST API, где стандартом де-факто является протокол S3 (Simple Storage Service).

В отличие от файловых систем, объектное хранилище не поддерживает частичное изменение файлов. При любом редактировании объект перезаписывается целиком. Метаданные позволяют присваивать файлам дополнительные атрибуты, такие как тип контента, автор или срок хранения, что упрощает индексацию и поиск в массивах данных объемом в петабайты.

Применение

Технология применяется для хранения статического контента (изображения, видео), резервных копий, логов и датасетов для машинного обучения. Благодаря горизонтальному масштабированию, лимит на количество объектов практически отсутствует, а надежность обеспечивается репликацией или использованием Erasure Coding.

Факт: Объектные хранилища обеспечивают доступность данных на уровне 99.99% и выше, при этом стоимость хранения 1 ГБ данных в таких системах обычно в разы ниже, чем в блочных хранилищах (SSD/HDD диски серверов).