Система федеративного обучения Lancelot сочетает в себе шифрование и надежное агрегирование для защиты от атак-отравителей.

Федеративное обучение — это метод машинного обучения, который позволяет нескольким людям, называемым «клиентами», совместно обучать модель, не передавая друг другу необработанные данные обучения. Этот подход «совместного обучения» может быть особенно полезен для обучения моделей машинного обучения, предназначенных для выполнения задач в финансовых и медицинских учреждениях без доступа к личным данным людей.

Несмотря на их потенциал, прошлые исследования выявили уязвимость методов федеративного обучения к так называемым отравляющим атакам. Эти атаки заключаются в отправке злонамеренными пользователями поврежденных данных, что отрицательно влияет на производительность модели.

Один из предлагаемых подходов к минимизации влияния поврежденных данных или обновлений на производительность модели известен как византийско-надежное федеративное обучение. Этот подход основан на математических стратегиях, гарантирующих игнорирование ненадежных данных, однако он не предотвращает потенциальные утечки конфиденциальной информации, запоминаемой нейронными сетями, которая может быть восстановлена злоумышленниками.

Исследователи из Китайского университета Гонконга, Городского университета Гонконга и других институтов недавно разработали эффективную, надежную византийскую систему федеративного обучения, которая также включает в себя передовые криптографические методы, что сводит к минимуму риск как отравляющих атак, так и утечки личных данных. Эта новая система, получившая название «Ланселот», была введена в бумага опубликовано в Природа Машинный интеллект.

«Мы намеревались решить проблему, которую мы постоянно наблюдали в регулируемых областях: федеративное обучение может противостоять злоумышленникам посредством надежной агрегации, а полностью гомоморфное шифрование может сохранять обновления в секрете, но делать и то, и другое одновременно было слишком медленно для использования», — рассказал Tech Xplore Сиянг Цзян, первый автор статьи. «Наша цель состояла в том, чтобы создать систему, которая останется надежной, даже когда некоторые клиенты пытаются отравить модель, сохранит каждое обновление в зашифрованном виде от начала до конца и будет достаточно быстрой для повседневной работы».

Lancelot, система, разработанная Цзяном и его коллегами, хранит локальные обновления модели в зашифрованном виде, а также выбирает надежные клиентские обновления, не раскрывая их выбор другим. Более того, система требует меньше вычислений, выполняя только два более интеллектуальных криптографических шага и гарантируя, что более тяжелые математические операции выполняются графическими процессорами.

«Короче говоря, Lancelot устраняет пробелы в конфиденциальности и безопасности в федеративном обучении, одновременно значительно сокращая время обучения», — объяснил Цзян. «У Lancelot есть три роли, которые работают вместе. Клиенты обучаются на своих собственных данных и отправляют только зашифрованные обновления модели. Центральный сервер, который следует правилам (честный), но может быть любопытным, работает непосредственно с зашифрованными данными, чтобы измерить, насколько похожи обновления, и объединить их».

В системе команды секретный ключ, используемый для шифрования и дешифрования данных, хранится в отдельном и доверенном центре генерации ключей. Этот центр расшифровывает только информацию, необходимую для ранжирования клиентов на основе их надежности, а затем возвращает зашифрованную «маску» (т. е. скрытый список клиентов, которые должны быть включены в обучение модели). В конечном итоге это позволяет серверу собирать достоверные данные для обучения модели, не узнавая, какие клиенты были выбраны.

«Основная идея заключается в зашифрованной сортировке на основе маски: вместо медленного сравнения зашифрованных данных доверенный центр выполняет сортировку и отправляет обратно только скрытую выборку», — сказал Цзян.

Чтобы сделать систему быстрой, мы используем два простых, но мощных криптографических метода. Во-первых, мы применяем ленивую релинеаризацию, чтобы уменьшить количество релинеаризации и тем самым уменьшить вычислительные затраты. Во-вторых, динамический подъем группирует и распараллеливает повторяющиеся операции, чтобы они выполнялись более эффективно. Мы также перекладываем тяжелые зашифрованные операции, такие как полиномиальное умножение, на графические процессоры для крупномасштабного параллелизма».

Уникальный дизайн, предложенный этими исследователями, в конечном итоге гарантирует, что каждое обновление, представленное клиентами, останется конфиденциальным на протяжении всего процесса федеративного обучения. Было обнаружено, что это защищает их систему от вредоносных или ошибочных клиентов, а также значительно сокращает время, необходимое для обучения моделей.

«Наша работа представляет собой первую практическую систему, которая действительно сочетает в себе надежное федеративное обучение (BRFL) с полностью гомоморфное шифрование», — сказал Цзян. «Вместо того, чтобы делать множество медленных сравнений на зашифрованные данныемы используем зашифрованную сортировку на основе маски: доверенная сторона ранжирует обновления клиента и возвращает только зашифрованный список выбора, поэтому сервер может объединять правильные обновления, даже не видя, кто был выбран. Две простые идеи делают это эффективным на практике: ленивая релинеаризация откладывает дорогостоящий криптографический шаг до конца, а динамический подъем группирует и распараллеливает повторяющиеся операции; вместе с выполнением тяжелых зашифрованных математических вычислений на графических процессорах эти изменения сокращают время обработки и гораздо быстрее перемещают данные через память».

В будущем надежная византийская система федеративного обучения, разработанная этой исследовательской группой, может быть использована для обучения моделей для различных приложений. В частности, это могло бы помочь в разработке инструментов искусственного интеллекта, которые могли бы повысить эффективность операций в больницах, банках и различных других организациях, хранящих конфиденциальную информацию. Цзян и его коллеги сейчас работают над дальнейшим улучшением Lancelot, который все еще находится в пилотной версии, чтобы его можно было масштабировать и развертывать в реальных условиях.

«Параллельно мы изучаем пороговые значения и многоключевые CKKS, чтобы укрепить модель доверия без увеличения пропускной способности или задержек, сохраняя византийское надежное федеративное обучение практичным в масштабе», — добавил Цзян. «Мы также углубляем комбинацию с дифференциальной конфиденциальностью и добавляем асинхронную и кластерную агрегацию, чтобы система изящно справлялась с крайне разнородными клиентами и нестабильными сетями».

© 2025 Сеть Science X