Технический долг и обучение пользователей замедлили миграцию данных Meta • Реестр

Вот один из файлов «добро пожаловать в реальный мир, дети, мы не сочувствуем вашему бедственному положению»: команда инженеров гиганта социальных сетей Meta оплакивала сложность миграции с устаревших технологий.

в четверг после подробно описывая миграцию эксабайтных хранилищ данных на новые схемы, четверка инженеров-программистов Meta поделилась следующим мнением о своей работе.

Ребята, мы откроем вам секрет: у всех есть технические долги, и у всех есть проблемы с обучением пользователей новым системам.

Мета не особенная. Это не красивая и уникальная снежинка. Это такой же разлагающийся набор собранных вместе технологий, который со временем накапливается в любой другой организации.

В данном случае ветхой технологией были «многочисленные разнородные сервисы, такие как хранилище данных хранилища и различные системы реального времени, которые составляют платформу данных Meta — все они обмениваются между собой большими объемами данных, взаимодействуя через сервисные API».

Как Мета подробный в декабре 2022 года эти системы с трудом масштабировались, поскольку гигант по сбору данных создал больше рабочих нагрузок ИИ, которым требовался доступ к данным из различных источников.

Ответом на этот вопрос стали улучшенная регистрация и сериализация данных, чтобы данные могли более эффективно описывать себя и, следовательно, их было легче использовать в различных приложениях.

Мета построила систему под названием «Тюльпан», чтобы разобраться в этом. И был доволен тем, что форматы, которые он использовал, требовали на 40-85% меньше байтов и использовали на 50-90% меньше циклов процессора.

Как объясняется в сообщении Meta, опубликованном в четверг, Tulip, возможно, была передовой технологией, но заставить ее работать было сложно, не в последнюю очередь потому, что гигант социальных сетей использовал более 30 000 схем ведения журналов.

За четыре года работы по внедрению Tulip инженеры Meta обнаружили, что некоторые данные не могут быть легко приняты или преобразованы, или что это требует больших вычислительных ресурсов. Некоторые инструменты, предназначенные для облегчения миграции, создавали проблемы во время работы, поэтому инженеры создали ограничители скорости, чтобы проблемы не росли как снежный ком.

А еще были те надоедливые пользователи, чья роль посадки Tulip в технологическом саду Meta потребовала создания руководства по миграции, обучающего видео и группы поддержки.

«Делать огромные ставки, такие как преобразование форматов сериализации по всей платформе данных, в краткосрочной перспективе сложно, но это дает долгосрочные преимущества и со временем ведет к эволюции», — завершается пост.

«Для успеха важны решения по проектированию и архитектуре, учитывающие как технические, так и нетехнические аспекты выполнения миграции в таком масштабе», — добавляется в сообщении. «Мы надеемся, что смогли дать представление о проблемах, с которыми мы столкнулись, и решениях, которые мы использовали в ходе этого процесса».

Четыре инженера Meta, вероятно, предложили полезную информацию тем, кто сталкивается с аналогичными проблемами обработки данных. Остальные из вас, кто пережил унаследованные миграции? Может быть, меньше.

А для всех остальных вывод здесь заключается в том, что Met стал более эффективно обращаться с эксабайтами данных. Многое из этого собрано от вас и о вас. ®