«Таблица Менделеева» для методов искусственного интеллекта призвана стимулировать инновации

Искусственный интеллект все чаще используется для интеграции и анализа различных типов форматов данных, таких как текст, изображения, аудио и видео. Однако одной из проблем, замедляющих развитие мультимодального ИИ, является процесс выбора алгоритмического метода, который лучше всего соответствует конкретной задаче, которую должна выполнить система ИИ.

Ученые выработали единый взгляд на методы ИИ, направленный на систематизацию этого процесса. Журнал исследований машинного обучения опубликовал новая структура для вывода алгоритмов, разработанных физиками Университета Эмори.

«Мы обнаружили, что многие из наиболее успешных сегодня методов искусственного интеллекта сводятся к одной простой идее — сжимать несколько типов данных ровно настолько, чтобы сохранить фрагменты, которые действительно предсказывают то, что вам нужно», — говорит Илья Неменман, профессор физики Эмори и старший автор статьи.

«Это дает нам своего рода «периодическую таблицу» методов ИИ. Разные методы попадают в разные ячейки, в зависимости от того, какую информацию функция потерь метода сохраняет или отбрасывает».

Функция потерь системы ИИ — это математическое уравнение, которое измеряет частоту ошибок прогнозов модели. Во время обучения модели ИИ цель состоит в том, чтобы минимизировать ее потери путем корректировки параметров модели, используя частоту ошибок в качестве руководства для улучшения.

«Люди разработали сотни различных функций потерь для мультимодальных систем искусственного интеллекта, и некоторые из них могут быть лучше других, в зависимости от контекста», — говорит Неменман. «Мы задавались вопросом, есть ли более простой способ, чем начинать с нуля каждый раз, когда вы сталкиваетесь с проблемой в мультимодальном ИИ».

Объединяющая структура

Исследователи разработали единую математическую основу для вывода функций потерь для конкретных задач, основываясь на том, какую информацию следует сохранить, а какую — выбросить. Они назвали это вариационной многомерной информационной системой узких мест.

«Наша структура по сути похожа на ручку управления», — говорит соавтор Майкл Мартини, который работал над проектом в качестве постдокторанта Эмори и научного сотрудника в группе Неменмана. «Вы можете «повернуть ручку», чтобы определить, какую информацию следует сохранить для решения конкретной проблемы».

«Наш подход является обобщенным и принципиальным», — добавляет Эслам Абделалим, первый автор статьи. Абделалим взялся за проект в качестве доктора философии Эмори. кандидат физических наук, прежде чем закончить учебу в мае и поступить в Технологический институт Джорджии в качестве постдокторанта.

«Наша цель — помочь людям разрабатывать модели ИИ, адаптированные к проблеме, которую они пытаются решить, а также позволить им понять, как и почему работает каждая часть модели», — говорит он.

Разработчики систем искусственного интеллекта могут использовать эту структуру, чтобы предлагать новые алгоритмы, прогнозировать, какие из них могут работать, оценивать необходимые данные для конкретного мультимодального алгоритма и предвидеть, когда он может потерпеть неудачу.

«Так же важно», — говорит Неменман. «Это может позволить нам разработать новые методы искусственного интеллекта, которые будут более точными, эффективными и заслуживающими доверия».

Физический подход

Исследователи привнесли уникальный взгляд на проблему оптимизации процесса проектирования мультимодальных систем искусственного интеллекта.

«Сообщество машинного обучения сосредоточено на достижении точности в системе, не обязательно понимая, почему система работает», — объясняет Абделалим. «Однако мы, физики, хотим понять, как и почему что-то работает. Поэтому мы сосредоточились на поиске фундаментальных, объединяющих принципов для объединения различных методов искусственного интеллекта».

Абделалим и Мартини начали этот поиск — довести сложность различных методов ИИ до их сути — с ручного выполнения математических вычислений.

«Мы провели много времени, сидя у меня в офисе и рисуя на доске», — говорит Мартини. «Иногда я писал на листе бумаги, а Эслам заглядывал мне через плечо».

Этот процесс занял годы: сначала работа над математическими основами, обсуждение их с Неменманом, проверка уравнений на компьютере, а затем повторение этих шагов после того, как они наткнулись на ложные следы.

«Это было много проб и ошибок и возвращение к доске», — говорит Мартини.

Занимаюсь наукой с душой

Они хорошо помнят день, когда наступил момент их эврики.

Они разработали объединяющий принцип, описывающий компромисс между сжатием данных и реконструкцией данных.

«Мы опробовали нашу модель на двух наборах тестовых данных и показали, что она автоматически обнаруживает общие важные функции между ними», — говорит Мартини. «Это было приятно».

Когда Абделалим покидал кампус после изнурительного, но волнующего последнего рывка, ведущего к прорыву, он случайно взглянул на свои умные часы. Он использует систему искусственного интеллекта для отслеживания и интерпретации данных о здоровье, таких как частота сердечных сокращений. Однако ИИ в тот день неправильно понял значение его колотящегося сердца.

«Мои часы показали, что я ехал на велосипеде три часа», — говорит Абделалим. «Вот как это интерпретировало уровень волнения, которое я чувствовал. Я подумал: «Ух ты, это действительно что-то!» Очевидно, наука может иметь такой эффект».

Применение фреймворка

Исследователи применили свою систему к десяткам методов искусственного интеллекта, чтобы проверить ее эффективность.

«Мы провели компьютерные демонстрации, которые показали, что наша общая структура хорошо справляется с задачами тестирования на наборах контрольных данных», — говорит Неменман. «Мы можем легче выводить функции потерь, которые могут решить волнующие вас проблемы с меньшими объемами обучающих данных».

Эта структура также потенциально может уменьшить количество вычислительной мощности, необходимой для запуска системы искусственного интеллекта.

«Помогая направлять лучший подход к искусственному интеллектуструктура помогает избежать кодирования функций, которые не важны», — говорит Неменман. «Чем меньше данных требуется для системы, тем меньше вычислительной мощности требуется для ее запуска, что делает ее менее вредной для окружающей среды. Это также может открыть дверь для передовых экспериментов по проблемам, которые мы не можем решить сейчас, потому что существующих данных недостаточно».

Исследователи надеются, что другие будут использовать обобщенную структуру для адаптации новых алгоритмов, специфичных для научных вопросов, которые они хотят исследовать.

Тем временем они продолжают свою работу по изучению потенциала новой структуры. Их особенно интересует, как этот инструмент может помочь обнаружить закономерности биологии, что приведет к пониманию таких процессов, как когнитивные функции.

«Я хочу понять, как ваш мозг одновременно сжимает и обрабатывает информацию из нескольких источников», — говорит Абделалим. «Можем ли мы разработать метод, который позволит нам увидеть сходство между моделью машинного обучения и человеческим мозгом? Это может помочь нам лучше понять обе системы».