Слушайте и учитесь: системы искусственного интеллекта обрабатывают речевые сигналы так же, как человеческий мозг

Краткое содержание: Системы искусственного интеллекта (ИИ) могут обрабатывать сигналы, аналогичные тому, как мозг интерпретирует речь, потенциально помогая объяснить, как работают системы ИИ. Ученые использовали электроды на головах участников для измерения мозговых волн, когда они слушали один слог, и сравнили эту активность мозга с системой искусственного интеллекта, обученной изучению английского языка, и обнаружили, что формы были удивительно похожи, что может помочь в разработке все более мощных систем. .

Ключевые факты:

1. Исследователи обнаружили, что сигналы, производимые системой искусственного интеллекта, обученной изучению английского языка, были удивительно похожи на мозговые волны, измеренные, когда участники слушали один слог «ба», в исследовании, опубликованном недавно в журнале Scientific Reports.
2. Команда использовала систему электродов, размещенных на головах участников, для измерения мозговых волн, когда они слушали звук, а затем сравнивали активность мозга с сигналами, производимыми системой искусственного интеллекта.
3. Понимание того, как и почему системы ИИ предоставляют информацию, которую они делают, становится важным, поскольку они внедряются в повседневную жизнь в самых разных областях, от здравоохранения до образования.
4. Изучение волн в их необработанном виде поможет исследователям понять и улучшить то, как эти системы учатся и все чаще становятся отражением человеческого познания.

Источник: Калифорнийский университет в Беркли

Новое исследование Калифорнийского университета в Беркли показывает, что системы искусственного интеллекта (ИИ) могут обрабатывать сигналы способом, удивительно похожим на то, как мозг интерпретирует речь. Ученые говорят, что это открытие может помочь объяснить «черный ящик» работы систем ИИ .

Используя систему электродов, размещенных на головах участников, ученые из Лаборатории речи и вычислений Беркли измеряли мозговые волны, когда участники слушали один слог — «ба». Затем они сравнили эту мозговую активность с сигналами, производимыми системой искусственного интеллекта, обученной изучению английского языка.

«Формы удивительно похожи», — сказал Гаспер Бегус, доцент кафедры лингвистики Калифорнийского университета в Беркли и ведущий автор исследования, недавно опубликованного в журнале. Научные отчеты. «Это говорит о том, что похожие вещи кодируются, что обработка аналогична. “

Сравнительный график двух сигналов наглядно показывает это сходство.

«В данных нет никаких изменений», — добавил Бегус. «Это сырое».

В последнее время системы искусственного интеллекта продвинулись вперед семимильными шагами. С тех пор, как в прошлом году ChatGPT распространился по всему миру, прогнозируется, что эти инструменты перевернут слои общества и произведут революцию в том, как работают миллионы людей. Но, несмотря на эти впечатляющие достижения, у ученых было ограниченное понимание того, как именно созданные ими инструменты работают между вводом и выводом.

Вопрос и ответ в ChatGPT были эталоном для измерения интеллекта и предубеждений системы ИИ. Но то, что происходит между этими шагами, было чем-то вроде черного ящика. Знание того, как и почему эти системы предоставляют ту информацию, которую они делают — как они учатся, — становится важным, поскольку они внедряются в повседневную жизнь в областях, охватывающих здравоохранение и образование.

Бегус и его соавторы, Алан Чжоу из Университета Джона Хопкинса и Т. Кристина Чжао из Вашингтонского университета, входят в группу ученых, работающих над тем, чтобы взломать этот ящик.

Для этого Бегус обратился к своему обучению лингвистике.

Когда мы слушаем произносимые слова, сказал Бегус, звук попадает в наши уши и преобразуется в электрические сигналы. Затем эти сигналы проходят через ствол головного мозга к внешним частям нашего мозга.

С помощью эксперимента с электродом исследователи проследили этот путь в ответ на 3000 повторений одного звука и обнаружили, что мозговые волны для речи точно следуют реальным звукам языка.

Исследователи передали ту же запись звука «ба» через неконтролируемую нейронную сеть — систему ИИ, которая могла интерпретировать звук. Используя технику, разработанную в Лаборатории речи и вычислений Беркли, они измерили совпадающие волны и задокументировали их по мере их появления.

Предыдущие исследования требовали дополнительных шагов для сравнения волн, исходящих от мозга и машин. По словам Бегуса, изучение волн в их необработанном виде поможет исследователям понять и улучшить то, как эти системы учатся, и все больше и больше отражает человеческое познание.

«Меня как ученого очень интересует интерпретируемость этих моделей, — сказал Бегус. «Они такие могущественные. Все говорят о них. И все ими пользуются. Но гораздо меньше делается для того, чтобы попытаться их понять».

Бегус считает, что то, что происходит между вводом и выводом, не должно оставаться черным ящиком. Понимание того, как эти сигналы соотносятся с активностью мозга человека, является важным ориентиром в гонке за создание все более мощных систем. Как и знание того, что происходит под капотом.

Например, такое понимание может помочь установить барьеры для все более мощных моделей ИИ. Это также могло бы улучшить наше понимание того, как ошибки и предвзятость внедряются в процессы обучения.

Бегус сказал, что он и его коллеги сотрудничают с другими исследователями, используя методы визуализации мозга, чтобы измерить, как эти сигналы могут сравниваться. Они также изучают, как другие языки, такие как мандарин, по-разному расшифровываются в мозгу, и что это может указывать на знания.

Многие модели обучаются на визуальных сигналах, таких как цвета или письменный текст, которые имеют тысячи вариаций на детальном уровне. Язык, однако, открывает дверь для более глубокого понимания, сказал Бегус.

В английском языке, например, всего несколько десятков звуков.

«Если вы хотите понять эти модели, вы должны начать с простых вещей. И речь намного легче понять», — сказал Бегус. «Я очень надеюсь, что речь поможет нам понять, как учатся эти модели».

В когнитивной науке одной из основных целей является создание математических моделей, максимально похожих на людей. Недавно задокументированные сходства в мозговых волнах и волнах ИИ являются эталоном того, насколько исследователи близки к достижению этой цели.

«Я не говорю, что нам нужно строить вещи как люди, — сказал Бегус. «Я не говорю, что мы этого не делаем. Но важно понимать, чем разные архитектуры похожи или отличаются от людей».

Об этой новости исследования искусственного интеллекта

Автор: Джейсон Пол
Источник: Калифорнийский университет в Беркли
Контакт: Джейсон Пол – Калифорнийский университет в Беркли
Изображение: Изображение предоставлено Neuroscience News.

Оригинальное исследование: Открытый доступ.
“Кодирование речи в сверточных слоях и стволе мозга на основе языкового опытаГаспер Бегус и др. Научные отчеты

---

Абстрактный

Кодирование речи в сверточных слоях и стволе мозга на основе языкового опыта

Сравнение искусственных нейронных сетей с результатами методов нейровизуализации в последнее время свидетельствует о существенном прогрессе в (компьютерном) зрении и текстовых языковых моделях. Здесь мы предлагаем основу для сравнения биологических и искусственных нейронных вычислений репрезентаций разговорного языка и предлагаем несколько новых задач для этой парадигмы.

Предлагаемая методика основана на аналогичном принципе, который лежит в основе электроэнцефалографии (ЭЭГ): усреднение нейронной (искусственной или биологической) активности по нейронам во временной области и позволяет сравнивать кодирование любого акустического свойства в мозге и в промежуточных сверточных слоях мозга. искусственная нейронная сеть.

Наш подход позволяет напрямую сравнивать ответы на фонетические свойства в мозге и в глубоких нейронных сетях, что не требует линейных преобразований между сигналами. Мы утверждаем, что реакция ствола мозга (cABR) и реакция в промежуточных сверточных слоях на один и тот же стимул очень похожи без применения каких-либо преобразований, и мы количественно оцениваем это наблюдение.

Предлагаемая методика не только выявляет сходство, но и позволяет анализировать кодирование реальных акустических свойств в двух сигналах: мы сравниваем пиковую латентность (i) в cABR относительно стимула в стволе мозга и в (ii) промежуточных сверточных слоях. относительно ввода/вывода в глубоких сверточных сетях.

Мы также изучаем и сравниваем влияние предшествующего воздействия языка на пиковую задержку в cABR и в промежуточных сверточных слоях. Существенное сходство в кодировании пиковой задержки между человеческим мозгом и промежуточными сверточными сетями проявляется на основе результатов восьми обученных сетей (включая эксперимент по репликации).

Предлагаемый метод можно использовать для сравнения кодирования между человеческим мозгом и промежуточными сверточными слоями для любого акустического свойства и для других методов нейровизуализации.