Home » Спрос на цифровые хранилища ЦЕРН будет расти из-за более интенсивных физических экспериментов

Спрос на цифровые хранилища ЦЕРН будет расти из-за более интенсивных физических экспериментов

Спрос на цифровые хранилища ЦЕРН будет расти из-за более интенсивных физических экспериментов

Рабочий едет на велосипеде по туннелю Большого адронного коллайдера (БАК) ЦЕРН во время технического обслуживания.

– через Getty Images

В конце мая у меня была возможность посетить ЦЕРН, расположенный недалеко от Женевы, и встретиться с Якубом Мосицки, руководителем группы хранения и управления данными ЦЕРН в ИТ-отделе ЦЕРН, и Альберто Ди Меглио, главой отдела ИТ-инноваций, включая открытую лабораторию ЦЕРН. ЦЕРН проводит один из крупнейших в мире научных экспериментов, и на этом объекте находится крупнейший в мире ускоритель частиц — Большой адронный коллайдер (БАК). У нас состоялась дискуссия и экскурсия по главному центру обработки данных ЦЕРН, а также мне удалось увидеть фабрику антивещества (о которой я упоминал в предыдущем блоге). Мы говорили о цифровом хранении и управлении данными для большого объема научных данных, полученных в результате экспериментов ЦЕРН по физике элементарных частиц.

Группа управления хранением и данными ЦЕРН разрабатывает и управляет крупномасштабными службами хранения с открытым исходным кодом для управления хранилищами для экспериментов, как для сбора данных, так и для долгосрочного архивирования для различных исследовательских программ (их 37), включая БАК. Группа также поддерживает глобальное распределение и управление данными примерно в 200 компьютерных центрах по всему миру, а также доступ и анализ конечных пользователей на периферийных устройствах, таких как ноутбуки, настольные компьютеры и компьютерные кластеры.

Эта группа также поддерживает облачные и инфраструктурные хранилища, включая домашние каталоги, блочный и объектный доступ к данным. Изображение ниже, взятое из моего брифинга, дает представление об услугах хранения данных CERN и их поддержке экспериментов, пользователей и центров обработки данных. Ceph предоставляет блочные устройства для вычислительных сервисов, таких как пакетные и интерактивные кластеры, а CERNBox предоставляет хранилище для анализа данных, интегрированное с доступом конечных пользователей к данным на периферийных устройствах. EOS — это крупномасштабная дисковая система, большая часть данных которой хранится на жестких дисках (более 1 эксабайта на более чем 100 000 жестких дисках). Ленточный архив ЦЕРН содержит около 750 ПБ данных на 180 ленточных накопителях в 5 библиотечных системах.

Read more:  Tesla FSD переходит к вождению без участия рук и наблюдения с FSD 12.4.1 на всех дорогах, оставляя BlueCruise Ford и GM Super Cruise в зеркале заднего вида.

Приложения для хранения цифровых данных в ЦЕРН

Изображение из ЦЕРН

В настоящее время CERN минимально использует твердотельные накопители и другие устройства хранения данных NVMe, в основном используя их для эффективной обработки метаданных и некоторых приложений с высоким IOP. Чтобы глубже проникнуть в наше понимание физики элементарных частиц, необходимы регулярные обновления оборудования ЦЕРН. На изображении ниже показана история увеличения светимости (то есть интенсивности генерации столкновений частиц) на БАКе с годами и прогноз на будущее (до 2040 года).

ЦЕРН История светимости LHC и дорожная карта

Изображение из ЦЕРН

Увеличение интенсивности генерации столкновений частиц приводит к увеличению объема данных, генерируемых в ходе экспериментов, которые затем необходимо хранить, архивировать и передавать исследователям по всему миру. На диаграммах ниже показано увеличение емкости жестких дисков CERN (слева) и магнитной ленты (справа) с 2010 по 2024 год.

Рост емкости хранения данных на жестких дисках и магнитной ленте в ЦЕРН

Изображение из ЦЕРН

За период после 2024 года прогнозируется, что объем данных, генерируемых в ходе экспериментов ЦЕРН, будет расти еще больше, а к 2037 году спрос на жесткие диски, вероятно, будет находиться в диапазоне 5-10 ЭБ. С ростом объема архивируемых данных ожидается появление магнитной ленты. увеличить установленную емкость гораздо больше, вероятно, более 6 ЭБ ленточного архивного хранилища, которое потребуется к 2032 году. На изображении ниже Альберто Ди Меглио со мной перед ленточной библиотекой Spectra Logic Infinity в главном центре обработки данных ЦЕРН.

Альберто Ди Мельо и я перед ленточной библиотекой Spectra Logic в ЦЕРНе

Том Кафлин Изображение

ЦЕРН следит за развитием технологии и готов изучить переход от жестких дисков, использующих традиционную магнитную запись (CMR) с перпендикулярной магнитной записью (PMR), к жестким дискам PMR с кольцевой магнитной записью (SMR, где дорожки записываются частично друг на друга для увеличения скорости записи). плотность дорожек и, следовательно, емкость жесткого диска). Диски SMR не имеют значительного снижения производительности чтения, однако они наиболее полезны для приложений, в которых данные записываются только один раз, поскольку перезапись данных на жесткий диск SMR требует дополнительных шагов, что снижает производительность записи.

Read more:  ЛИЗ ДЖОНС: Король Чарльз и Уильям, сделайте Гарри и Меган лучший подарок на годовщину, который они только могли себе представить: приветствуйте возвращение крупнейших активов фирмы в свои ряды.

Кроме того, ЦЕРН планирует изучить жесткие диски с магнитной записью с подогревом (HAMR) по мере их появления. Диски HAMR от Seagate теперь доступны емкостью 32 ТБ. Я также говорил со своими хозяевами о жестких дисках с двойным приводом, которые могут повысить скорость передачи данных с жестких дисков и могут быть полезны для поддержки больших потоков данных в их физических экспериментах.

Что касается будущих планов архивирования, ЦЕРН продолжит использовать магнитную ленту, но они также изучают другие технологии архивирования данных, включая подходы к оптическому хранению, такие как технологии Cerabyte (с использованием керамического диска) и Project Silica (с использованием кварцевого стекла). Они также следят за использованием хранилища ДНК для приложений архивирования.

ЦЕРН постоянно занимается инновациями, используя программное обеспечение с открытым исходным кодом, где программно-определяемое хранилище можно использовать для максимизации производительности при минимальных затратах на оборудование. Они также стремятся оптимизировать использование дорогостоящей ленточной инфраструктуры и предоставить новые способы доступа и обмена данными для конечных пользователей «на периферии». ЦЕРН также хочет интегрироваться с услугами Open Science FAIR, а также с инфраструктурой управления данными и всемирными исследовательскими инфраструктурами.

ЦЕРН, расположенный недалеко от Женевы, Швейцария, проводит крупные физические эксперименты, включая БАК. По прогнозам, объем данных этих физических экспериментов увеличится в течение следующих 10 с лишним лет, особенно в части требований к данным для архивирования научных данных. Это будет способствовать инновациям в программном обеспечении управления, а также требованиям к оборудованию хранения данных.

2024-06-18 12:15:53


1718713831
#Спрос #на #цифровые #хранилища #ЦЕРН #будет #расти #изза #более #интенсивных #физических #экспериментов

Leave a Comment

This site uses Akismet to reduce spam. Learn how your comment data is processed.