Четыре сценария использования S3 хранилища

Главная особенность S3 — плоскостная структура без иерархической вложенности. Объекты (файлы и данные) хранятся в адресном пространстве с идентификатором и метаданными. Это позволяет найти нужный файл по идентификатору напрямую через HTTP API. Также к плюсам объектного хранилища относится хранение данных любого типа. Почему это плюс и что от этого выигрывает бизнес, расскажем дальше.

Хранение архивов

В облачных хранилищах S3 удобно держать редко используемые архивы. Объектный принцип позволяет хранить в S3 информацию любых форматов. Это как раз то самое преимущество «хранения данных любых форматов». Бухгалтерия может держать в репозитории отчеты за последние 5 лет. Департамент безопасности — архивы системы видеонаблюдения. IT-служба — системные логи. Отдел маркетинга — статистику рекламных кампаний и медиаматериалы.

Пользователи получают доступ к архивным файлам через интернет по протоколу HTTP/HTTPS. При этом для каждого отдела/пользователя можно настроить доступ к конкретному блоку объектов. Так, чтобы в buckets (контейнер) департамента безопасности заходили только сотрудники отдела безопасности, а информацию маркетологов видели безопасники и маркетологи. Более того, если настроить политику прав доступа, маркетологам, например, можно разрешить загрузку и чтение, безопасникам — только чтение документов.

Хранение бэкапов и копий данных для аварийного восстановления

Один из самых популярных сценариев использования S3 хранилища — PaaS платформа для бэкапов. Бэкапов чего угодно: баз данных, виртуальных машин, корпоративного сайта, интернет-магазина, каталога для дистрибьюторов, образовательного портала. Бэкапы в S3 можно версионировать, так что если базу данных придется восстанавливать после падения, вы легко найдете и поднимите последнюю ее версию.

для переноса копий в безопасное облачное хранилище S3 используют агент резервного копирования. Он делает бэкап согласно правилам и переносит их в репозиторий по заданному расписанию.

Самое удобное, что хранилище S3 практически «резиновое» — оно растет одновременно с загружаемым объемом данных. В случае с хранением на СХД, бизнесу придется заранее определить лимит размещаемых данных, допустим, 2, 3...10 ТБ. S3 самостоятельно подстроится под изменение объема, поэтому мы называем услугу масштабируемой и на неограниченное количество данных.

Хранение Big Data

Бизнес, работающий с большими данными, интересует масштабирование за пределы петабайтного диапазона. При таких объемах экономика хранения, архивирования и обработки Big Data из простой задачи вырастает в глобальную проблему. Решение - разделить вычислительную подсистему и подсистему хранения, масштабируя их независимо друг от друга.

Масштабируемость системы хранения в S3 обеспечивает кластерный принцип. PaaS платформа позволяет размещать данные на разных физических дисках, распределенных не только по нескольким ЦОДам, но и по нескольким зонам или регионам доступности. Так, по мере роста объема данных сервис задействует для их размещения новые диски, новые ЦОДы и даже новые регионы размещения. В масштабе как раз для Big Data.

Размещение бэкенда мобильных приложений и статичного контента сайтов

Удобный сценарий разработки приложений, когда на своей стороне разработчики держат фронтенд, а бэкенд хранят в S3. Обычно для работы бэкенда нужны надежные производительные ресурсы, и S3 справляется с этим как нельзя лучше. Работает это следующим образом.

Допустим, вы разрабатываете аналог приложения Pinterest. Вам нужно, чтобы после запроса пользователя приложение выводило фотографии по определенным критериям. Если сортировка и группировка фотографий будет идти на стороне приложения, получится медленно. Чтобы пользователь получал подборку фотографий через доли секунды после запроса, медиафайлы размещают в S3 и запросы пользователей через API тоже отправляются в S3. В ответ пользователь получает подборку фотографий, соответствующих запросу. Быстро и без нагрузки на клиентскую сторону пользовательского интерфейса.

Похожий принцип динамической генерации данных по идентификаторам и метаданным применяется для загрузки статичного контента сайтов. Самый наглядный пример — интернет-магазины с ассортиментом более 30 000 позиций. Если у каждой позиции по 3-4 фотографии, плюс одно 360° панорамное видео, можете себе представить, с какими объемами данных работает сайт и как это сказывается на скорости загрузки страниц. Чтобы решить проблему скорости, фотографии привязываются к артикулу, характеристике товара и цене, а фотоконтент переносится в S3. Тогда в базе данных остаются только ссылки на иллюстрации, и при загрузке страницы сайт отправляет запрос на фотографии не к серверу, а в S3. Фотографии, страница и сам сайт загружаются быстро, что удобно для пользователей и важно для SEO.

Многие CMS, например 1С-Битрикс и Wordpress, даже в формате из коробки поддерживают S3. для удобства работы с такими системами файлы из нашего, к примеру, хранилища доступны по обычным гиперссылкам.

Варианты адаптации PaaS услуг для бизнеса

Несмотря на общность принципа объектного хранения, S3 сервисы отличаются друг от друга производительностью и некоторыми техническими особенностями. Одни поддерживают высокую скорость скачивания и низкую скорость загрузки, а значит оптимизированы в основном под раздачу статического контента и хостинг сайтов. Другие предлагают именно корпоративные объектные хранилища с большим списком поддерживаемых API, впечатляющими скоростями чтения и записи. Чтобы определиться, подходит ли конкретное S3 хранилище под задачи бизнеса, уточните совместимость с ПО резервного копирования, возможности георепликации, скорости загрузки/выгрузки объемов. Или не уточняйте, а протестируйте PaaS платформу 7-10 дней. Прогоните все сценарии использования, включая экстренное восстановление и работу с большими файлами. На практике получится наглядней.