Познакомьтесь с лидерами технологий 3D-аудио нового поколения – Samsung Global Newsroom

Чтобы зрители могли в полной мере насладиться таким контентом, как фильмы, спортивные игры и прямые трансляции, домашним телевизорам необходимо не только превосходное качество изображения, но и впечатляющее качество звука. Понимая это, лидеры отрасли занимаются разработкой 3D-звука, чтобы обеспечить более глубокий уровень погружения в развлечения, воплощая в жизнь захватывающие боевые сцены и улавливая мельчайшие детали окружающего шума.

Проще говоря, 3D-звук дает слушателям ощущение, будто они действительно находятся в центре событий. Обычно 3D-звук поддерживается только в определенных местах, таких как кинотеатры или студии звукозаписи, но сейчас он проникает в дома, предоставляя зрителям новый способ насладиться любимым контентом.

Передовой исследовательский институт Samsung Electronics Samsung Research стремится популяризировать 3D-звук с 2020 года. С этой целью Samsung работала с Google над совместной разработкой модели и форматов иммерсивного звука (IAMF) — передовой технологии пространственного 3D-звука, принятой Альянсом. для открытых СМИ (АОМ)¹ в октябре 2023 года. Отдел новостей Samsung поговорил с командой, разработавшей IAMF, чтобы услышать историю о том, как эта технология появилась на свет.

Новый способ наслаждаться 3D-аудио дома

Окружающий шум существует повсюду — от скрипа обуви по тротуару до тихого шума проезжающих по дороге автомобилей. Хотя этот шум может показаться ненужным в средствах массовой информации, он жизненно важен для придания глубины и ощущения реальности. 3D-звук плавно смешивает окружающий шум с разговорами и другими звуковыми эффектами, создавая более яркие и аутентичные впечатления от развлечений.

«3D-звук позволяет вам почувствовать, будто вы действительно находитесь в самом центре событий, регулируя силу, движение и яркость звука», — сказал Ухён Нам из команды визуальных технологий в Samsung Research. «Таким образом, зрители смогут насладиться более насыщенным звуком, передающим трехмерные аспекты окружающего нас мира».

Несмотря на преимущества 3D-звука, применить эту технологию к домашним аудиоустройствам было сложно из-за технологических ограничений. «Информация о 3D-звуке из контента не может быть правильно интерпретирована домашними аудиосистемами, такими как динамики телевизора или звуковые панели, что приводит к несколько ограниченному звучанию, в котором отсутствуют детали исходного контента», — сказал Сунгхи Хван из группы визуальных технологий в Samsung Research.

Чтобы решить эту проблему, Samsung усердно работала с Google над разработкой аудиорешения, которое позволило бы зрителям воспроизводить звук контента так, как задумано. «Если производители устройств могут читать 3D-аудиоданные, они могут регулировать звук в аудиоустройствах, что позволяет добиться захватывающего звучания с помощью стандартных динамиков телевизора или звуковых панелей дома», — сказал Нам. «Настраивая звук в соответствии с условиями домашнего устройства, слушатели могут слышать звук так, как задумал создатель, без каких-либо искажений или потери качества».

Для бесперебойной отправки и получения аудиоданных между создателями и производителями устройств необходим единый стандарт. «Соответствующий опыт Samsung и Google в устройствах и контенте сделал компании идеальными партнерами для создания технологии IAMF», — сказал Чон Хун Пак, исполнительный вице-президент. и руководитель группы визуальных технологий в Samsung Research. «Объединившись для разработки этой беспрецедентной технологии, мы открываем потребителям возможность наслаждаться 3D-звуком у себя дома».

Три характеристики технологии IAMF: вертикальное аудио, аудио на основе искусственного интеллекта и индивидуальное аудио

Технология IAMF предлагает три различные функции, улучшающие качество звука.

1. Способность выражать звук вертикально.

Предыдущие аудиокодеки с открытым исходным кодом поддерживали только горизонтальное выражение звука. Благодаря технологии IAMF звук теперь можно выражать вертикально, поэтому звук становится все более разнонаправленным. «IAMF делает звук более реалистичным, позволяя слушателям слышать звук спереди, сзади или по бокам, а также над или под собой», — сказал Нам. «Таким образом, когда технология IAMF применяется к колонкам и звуковым панелям домашних телевизоров, она позволяет слушателям слышать на домашних телевизорах такие звуки, как пение птиц над головой».

2. Анализ сцены на основе искусственного интеллекта и 3D-аудиоэффекты.

IAMF использует искусственный интеллект и технологию глубокого обучения для анализа сцен и выделения определенных аспектов контента, регулируя уровни звука для более качественного звука на протяжении всего просмотра. «На телевидении и в кино есть определенные сцены, в которых основное внимание уделяется саундтреку или фоновой музыке», — сказал Нам. «IAMF сбалансирует звук в таких случаях. Аналогичным образом, технология будет точно настраивать звук при диалоге персонажей, чтобы позволить слушателю сосредоточиться на разговоре».

Кроме того, технология IAMF обеспечивает оптимальное звучание, несмотря на изменения в среде устройства. «Настраивая аудиоданные анализа сцены в соответствии со средой устройства, технология IAMF позволяет слушателям наслаждаться исходным качеством звука контента на стандартных домашних телевизорах», — добавил он.

3. Высоко настраиваемый звук

Пользователи смогут свободно настраивать звук в соответствии со своими предпочтениями с помощью технологии IAMF. Независимо от того, хотят ли зрители усилить звуковые эффекты сцены действия или улучшить диалоги, IAMF дает им возможность гибко настраивать звук контента для более персонализированного восприятия.

3D-аудио в отрасли с открытым исходным кодом IAMF

Открытый исходный код имеет решающее значение для создания единого стандарта во всей отрасли. IAMF — это первый стандарт аудиотехнологий с открытым исходным кодом, принятый AOM. Это означает, что как корпоративные, так и независимые создатели контента в отрасли могут получить доступ к технологии и расширить ее использование.

«Чтобы люди могли свободно создавать контент с помощью технологии 3D-аудио, соответствующая технология должна быть открыта для всех», — сказал Нам. «Предоставление полной среды с открытым исходным кодом для 3D-аудио, от создания до доставки и воспроизведения, позволит в будущем создавать еще более разнообразный аудиоконтент».

Аналогичным образом, Пак подчеркнул, что технология IAMF окажет большое влияние на развитие аудиоиндустрии в будущем. «Поскольку мы живем в эпоху, когда доминирует создание контента, IAMF поможет возглавить, расширить и преобразовать экосистему 3D-аудио», — сказал он.

Успех, достигнутый благодаря сотрудничеству

Исследования IAMF начались в 2020 году и заняли почти четыре года. Благодаря сочетанию настойчивости и трудолюбия коллектив смог добиться успеха.

«Проект включал в себя многодневную непрерывную работу, и бывали случаи, когда нам приходилось работать по ночам из-за разницы во времени между нашим офисом и офисом Google», — сказал Хван. «Несмотря на эти трудности, в конце концов я был горд. Это была прекрасная возможность поработать с разработчиками из других стран».

За время работы команды развили чувство товарищества и заложили прочную основу доверия и понимания. «Сотрудник Google упомянул, что это партнерство с Samsung было самым приятным сотрудничеством, которое он когда-либо совершал», — вспоминает Пак. «Мы смогли реализовать этот проект, потому что наши команды доверяли друг другу. Я очень горжусь и благодарен за усилия членов нашей команды и их сотрудничество».

Кроме того, Пак высоко оценил уникальные навыки и опыт каждого члена команды, которые помогли создать IAMF. «УХён Нам сыграл важную роль в предложении идей по развитию технологий, а Сонхи Хван четко организовал и задокументировал идеи нашей команды», — сказал он.

Видение «Samsung Sound»

После его выпуска исследовательская группа Samsung поняла, что стандартизация пространственного 3D-звука ознаменовала новую эру звуковых технологий.

«Благодаря IAMF мы можем начать исследование технологий, которые откроют мир аудиовозможностей», — сказал Нам. В соответствии с этим исследовательская группа Samsung в настоящее время разрабатывает усовершенствованную версию технологии IAMF, которую можно применять в различных секторах, таких как мобильные устройства, метавселенная, видеоигры и многое другое.

Учитывая успех IAMF, исследовательская группа Samsung заинтересована в создании более совершенных аудиотехнологий для потребителей. Каждый из членов команды поделился своими чаяниями на будущее 3D-звука.

Нам рассказал о своем желании создать более захватывающую аудиотехнологию. «Я хочу создать более совершенную технологию 3D-аудио, которая позволит пользователям почувствовать, что они действительно находятся в сцене фильма, телешоу или живого события», — сказал он. «Я также надеюсь продолжить это исследование до тех пор, пока 3D-звук не будет применен к смартфонам Samsung».

В более широком смысле Хван рассказал о том, как он надеется, что Samsung сможет создать непревзойденную аудиотехнологию, которая выведет ее в ряды других ведущих аудиокомпаний. «Моя цель — разработать технологию, которую потребители смогут легко распознать как «Samsung Sound», когда они ее услышат», — сказал он. «Я уверен, что стандарт IAMF станет ступенькой на пути к этой мечте».

«Я надеюсь, что звуковая технология Samsung позволит потребителям наслаждаться улучшенным звуком, который не уступит нынешним визуальным впечатлениям», — сказал Пак. «Я надеюсь, что создатели контента будут использовать аудиотехнологии Samsung, чтобы сделать 3D-аудиоконтент доступным. Кроме того, мы стремимся создать благоприятную среду, которая позволит исследователям решать смелые и захватывающие задачи, такие как расширение аудиотехнологий Samsung».

Технологические стандарты, такие как IAMF, сделают развлечения более захватывающими для зрителей по всем направлениям. Исследовательская группа Samsung прокладывает путь к инновациям, которые изменят будущее аудио.

¹ Некоммерческий отраслевой консорциум, созданный для разработки и распространения технологий доставки мультимедиа, что позволяет создателям использовать эту технологию, не беспокоясь о стоимости. Он управляется альянсом 38 компаний, включая Samsung Electronics, Google, Amazon, Apple и Meta.