Pink Floyd вызвали отклик у ученых, воссоздавших песню на основе активности мозга

Получайте бесплатные обновления нейротехнологий

Мы вышлем вам Ежедневный дайджест myFT электронная почта, сводящая последние нейротехнологии новости каждое утро.

«В общем, это был просто кирпич в стене», — припев классической песни Pink Floyd раздался из динамиков в лаборатории неврологии Калифорнийского университета в Беркли, ритмы и слова звучали грязно, но узнаваемо.

Трек не был записью рок-группы, а был сгенерирован с использованием искусственный интеллект методы из мозговых волн людей, слушающих ее, в первом в мире научном эксперименте по воссозданию узнаваемой песни из нейронных сигналов.

Полученные данные будут бесценны как для ученых, стремящихся понять, как мозг реагирует на музыку, так и для нейротехнологи которые хотят помочь людям с серьезными неврологическими повреждениями общаться через интерфейсы мозг-компьютер так, чтобы это звучало более естественно, независимо от того, говорят они или поют.

«В музыке есть просодия [patterns of rhythm and sound] и эмоциональное содержание», — сказал Роберт Найт, профессор психологии и неврологии Калифорнийского университета в Беркли, который руководил исследованием и чьи результаты были опубликованы в журнале. ПЛОС Биология во вторник.

«По мере развития всей области интерфейсов мозг-машина это дает возможность добавить человеческий тон и ритм к будущим мозговым имплантатам для людей, которым нужна речь или голосовые выходы. . . это то, над чем мы действительно начали взламывать код», — добавил Найт.

Записи электроэнцефалографии (ЭЭГ), используемые в исследовании, были получены примерно в 2012 году, в то время, когда у людей с тяжелой эпилепсией часто были большие группы электродов — обычно по 92 штуки — на поверхности их мозга, чтобы точно определить местонахождение трудноизлечимых припадков.

Пациенты вызвались помогать научным исследованиям, позволяя исследователям записывать свои мозговые волны, пока они слушали речь и музыку.

Предыдущие исследования, основанные на этих экспериментах, дали ученым достаточно данных для реконструкции отдельных слов, которые люди слышали по записям активности их мозга. Но только сейчас, десятилетие спустя, ИИ стал достаточно мощным, чтобы реконструировать отрывки из песен.

Исследователи из Беркли проанализировали записи 29 пациентов, которые слушали «Another Brick in the Wall (Part 1)» Pink Floyd, часть трилогии песен с альбома 1979 года. Стена. Они точно определили области мозга, участвующие в определении ритма, и обнаружили, что некоторые части слуховой коры, расположенные сразу за ухом и над ним, реагируют на начало голоса или синтезатора, в то время как другие реагируют на продолжительный вокал.

Полученные данные подтвердили давние представления о роли двух полушарий мозга. Хотя они тесно взаимодействуют друг с другом, речь обрабатывается преимущественно левой стороной, в то время как «музыка более распределена, с уклоном в сторону [the] правильно, — сказал Найт.

Его коллега Людовик Белье, руководивший анализом, сказал, что устройства, используемые для помощи людям в общении, когда они не могут говорить, склонны озвучивать слова одно за другим. Предложения, произносимые машиной, имеют роботизированное качество, напоминающее то, как покойный Стивен Хокинг звучал на устройстве, генерирующем речь.

«Мы хотим дать больше цвета и выразительной свободы вокализации, даже когда люди не поют», — сказал Белье.

Исследователи из Беркли заявили, что технология чтения мозга может быть расширена до такой степени, что музыкальные мысли можно будет расшифровывать от человека, надевшего ЭЭГ-колпачок на кожу головы, вместо того, чтобы требовать электродов под черепом на мозгу. Тогда можно было бы представить или сочинить музыку, передать музыкальную информацию и услышать, как она воспроизводится на внешних динамиках.

«Неинвазивные методы сегодня недостаточно точны», — сказал Белье. «Будем надеяться, что в будущем мы сможем просто с электродов, размещенных снаружи на черепе, считывать активность из более глубоких областей мозга с хорошим качеством сигнала».