Точка монтирования для Amazon S3 теперь GA для доступа к корзине как к локальной файловой системе

Во время последнего День хранилища AWS событие, Amazon объявила о общедоступность точки монтирования для Amazon S3. Новый файловый клиент с открытым исходным кодом обеспечивает через файловый интерфейс эластичное хранилище и пропускную способность Amazon S3, поддерживая передачу данных со скоростью до 100 Гбит/с между каждым экземпляром EC2 и хранилищем объектов.

Объявлено в предварительный просмотр Ранее в этом году, Точка монтирования для Amazon S3 предназначен для рабочих нагрузок, таких как приложения озера данных, которые выполняют последовательную запись, последовательное и произвольное чтение и не требуют полной семантики POSIX. Джефф Баррвице-президент и главный евангелист AWS, объясняет:

Многие клиенты AWS используют S3 API и AWS SDK для создания приложений, которые могут отображать, получать доступ и обрабатывать содержимое корзины S3. Однако у многих клиентов есть существующие приложения, команды, инструменты и рабочие процессы, которые знают, как получить доступ к файлам в стиле UNIX: чтение каталогов, открытие и чтение существующих файлов, а также создание и запись новых. Эти клиенты просили нас об официальном корпоративном клиенте, который поддерживает высокопроизводительный доступ к S3 в любом масштабе.

Другими распространенными вариантами использования нового клиента с открытым исходным кодом являются обучение машинному обучению, рендеринг изображений, моделирование автономных транспортных средств и ETL. Точка монтирования поддерживает передачу данных на до 100 Гб/сек между каждым экземпляром EC2 и корзиной S3, преобразование вызовов API локальной файловой системы в вызовы API объектов S3 и снижение затрат по сравнению с управляемой сетевой файловой системой (NFS). Барр добавляет:

Под прикрытием виртуальная файловая система Linux (VFS) переводит эти операции в вызовы точки монтирования, которая, в свою очередь, переводит их в вызовы S3: LIST, GET, PUT и так далее. Mountpoint стремится эффективно использовать пропускную способность сети, увеличивая пропускную способность и позволяя вам снизить затраты на вычисления, выполняя больше работы за меньшее время.

В популярном Ветка Redditразные пользователи задаются вопросом, как новый продукт сравнивается с существующим продуктом с открытым исходным кодом. s3fs и коммерческие продукты ObjectiveFS. Фернандо Шуберт, старший облачный инженер Human Made, Комментарии:

Интересно, что теперь это официально поддерживается, но s3fs/fuse уже делал это некоторое время, стремясь к сравнению функций и тестам.

Юкка Форсгрен, старший архитектор решений в AWS, основные моменты одна из целей клиента AWS:

В моей предыдущей компании я круглосуточно дежурил по вызову для большого количества клиентских сред AWS. Одно из распространенных предупреждений было связано с зависанием монтирования S3 в инстансах EC2 Linux, которые нам часто приходилось исправлять посреди ночи. В свете этого было приятно отметить, что мы только что сделали общедоступный клиент под названием Mountpoint для Amazon S3, одной из основных целей которого является стабильность.

Точка монтирования не является сетевой файловой системой общего назначения и имеет некоторые ограничения на операции с файлами. Построенный на основе библиотеки AWS Common Runtime (CRT), клиент на основе ржавчины может читать файлы размером до 5 ТБ, не может изменять существующие файлы или удалять каталоги и не поддерживает символические ссылки или блокировку файлов.

В настоящее время поддерживаются не все классы хранилища S3, а точка монтирования не работает с классами архивов Glacier Flexible Retrieval, Glacier Deep Archive, Intelligent-Tiering Archive Access Tier и Intelligent-Tiering Deep Archive Access Tier.

Конкретной платы за использование точки монтирования нет, разработчики платят за базовую S3 операции. Точка монтирования доступна в формате RPM, а дорожная карта доступна на Гитхаб.