Исследователи продвигают кросс-модальную интеллектуальную безопасность с помощью модели трансформатора

Исследовательская группа под руководством профессора Ван Хунцяна из Института физических наук Хэфэй Китайской академии наук предложила модель глобального-локального выравнивания (GLAA), основанную на асимметричном сиамском трансформаторе (AST), которая заметно повышает производительность задач переидентификации пакетов кросс-модальности в видимом рентгеновском излучении.

Это исследование было опубликовано в Транзакции IEEE по информационной криминалистике и безопасности.

Видимая рентгеновская кроссмодальность упаковка повторная идентификация является основной технологией проверки безопасности. испытание заключается в значительных различиях на уровне пикселей между двумя модальными изображениями, что затрудняет традиционным методам извлечение надежных инвариантных кросс-модальных характеристик.

В этом исследовании исследователи включили концепцию асимметричного дизайна в архитектуру сиамского трансформатора, предложив структуру кросс-модального асимметричного сиамского трансформатора (CAST). Встраивание слоев LayerNorm и кодирования с учетом модальности в одну ветвь эффективно улучшает модельспособность извлекать кросс-модальные инвариантные функции.

Они также разработали модуль внимания к глобально-локальному межмодальному выравниванию. Моделируя взаимодействие между глобальными и локальными объектами, он улучшает детализированное представление объектов, одновременно решая проблемы пространственного смещения в кросс-модальных изображениях.

Результаты экспериментов показывают, что ключевые показатели этой модели в специальном наборе данных кросс-модальной повторной идентификации пакетов демонстрируют значительное улучшение по сравнению с современными методами, обеспечивая надежную техническую поддержку для интеллектуализации проверки безопасности.

По мнению исследователей, эта работа является первой, в которой архитектура Transformer используется в задаче кросс-модальной повторной идентификации пакетов, преодолевая ограничения существующих методов, основанных на симметричных сверточных сетях.