1770063700
2026-02-02 20:08:00
Исследователи все больше внимания уделяют оценке перцептивных способностей больших мультимодальных моделей (LMM). Однако одному важнейшему аспекту — пониманию эстетики видео — уделяется сравнительно ограниченное внимание. Хотя предыдущие работы в основном делали упор на распознавание объектов, понимание действий и семантическое рассуждение, тонкая оценка визуальной формы, стиля и аффекта остается недостаточно изученной.
Чтобы восполнить этот пробел, Юньхао Ли, Сидзин Ву и Жилин Гао из Шанхайского университета Цзяо Тонг вместе с Цзычэн Чжан из Шанхайской лаборатории искусственного интеллекта, Ци Цзя, Хуйюй Дуань и коллегами представляют VideoAesBench, тест, специально разработанный для строгой оценки понимания LMM эстетического качества видео. Эта работа выходит за рамки поверхностного восприятия и устанавливает структурированную основу для оценки эстетических суждений в видео — способность, которая становится все более актуальной для творческих, социальных и развлекательных приложений искусственного интеллекта.
Набор данных и дизайн VideoAesBench
VideoAesBench включает 1804 видеоролика, отобранных из различных источников, включая пользовательский контент (UGC), контент, созданный искусственным интеллектом (AIGC), контент, созданный роботами (RGC), сжатые видео и игровые кадры. Включая примеры как высокого, так и низкого качества из различных методов создания, тест позволяет всесторонне оценить, как LMM воспринимают эстетику в различных визуальных и технических условиях.
Ключевой вклад VideoAesBench заключается в многогранном дизайне вопросов. В дополнение к обычным вопросам с одним или несколькими вариантами ответов, эталонный тест включает в себя вопросы «Верно» или «Неверно», а также новый открытый описательный формат, направленный на получение подробных объяснений эстетики видео. Чтобы обеспечить ясность и уменьшить двусмысленность, аннотаторы тщательно составляли вопросы так, чтобы эстетические описания фокусировались на ярких визуальных атрибутах и избегали ненужных деталей.
Целостные эстетические аспекты
Тест объединяет эстетику видео в три измерения высокого уровня:
-
Визуальный стиль, охватывающий четыре аспекта, такие как использование цвета, текстура и стилистическая последовательность.
-
Визуальная аффективность, состоящая из трех аспектов, отражающих эмоциональный тон и выразительное воздействие.
Эта структурированная таксономия позволяет более детально оценить эстетическое восприятие, эмпатию и интерпретативные рассуждения LMM, а не полагаться только на грубые показатели точности.
Экспериментальная оценка и результаты
Используя VideoAesBench, исследователи протестировали 23 крупные мультимодальные модели с открытым исходным кодом и коммерческие модели. Результаты экспериментов показывают, что, несмотря на недавний прогресс, современные LMM демонстрируют лишь рудиментарные способности к эстетическому восприятию видео. Общая производительность остается неполной и неточной, особенно когда от моделей требуется делать тонкие суждения, включающие тонкую композицию, цветовую гармонию или эмоциональное выражение.
Результаты показывают заметные различия в производительности между моделями и типами видео. Более крупные модели обычно демонстрируют более сильное эстетическое понимание, что позволяет предположить, что масштаб модели и разнообразие тренировок играют важную роль. Определенные модели работают лучше в определенных категориях — например, некоторые демонстрируют относительную эффективность при оценке пользовательских или игровых видеороликов, в то время как другие лучше работают со сжатым контентом, — что подчеркивает дисбаланс в текущих возможностях LMM.
Важно отметить, что даже самые эффективные модели сталкиваются со сложными эстетическими сценариями, особенно когда визуальное качество ухудшается или когда художественный замысел неуловим. Эти ограничения подчеркивают сложность перевода эстетических чувств человека в автоматизированные системы.
Последствия и будущие направления
VideoAesBench создает надежную испытательную площадку для будущих исследований в области объяснимой оценки эстетики видео. Интегрируя различные источники видео, структурированные эстетические аспекты и несколько форматов оценки, тест дает ценную информацию о том, в чем текущие модели успешны, а где нет.
Авторы подчеркивают, что будущая работа должна быть сосредоточена на разработке LMM с более последовательным и обобщенным эстетическим пониманием всех типов видео. Устранение предвзятости в обучающих данных, улучшение междисциплинарного обобщения и улучшение способности моделей формулировать эстетические рассуждения — вот ключевые задачи на будущее.
Помимо академической оценки, улучшенное эстетическое восприятие видео имеет практическое значение для таких приложений, как рекомендации контента, редактирование видео, творческая помощь, модерация в социальных сетях и создание контента с помощью искусственного интеллекта. Поскольку системы искусственного интеллекта все больше взаимодействуют с творческими способностями человека, такие тесты, как VideoAesBench, будут иметь важное значение для продвижения к более проницательным и художественным моделям.
👉 Дополнительная информация
🗞 VideoAesBench: сравнение возможностей восприятия эстетики видео больших мультимодальных моделей
🧠 АрXiv:
#Videoaesbench #провел #надежную #эстетическую #оценку #видео #использованием #LMM
Читайте также
