Объяснение: Генеративный ИИ | Новости Массачусетского технологического института

При беглом просмотре заголовков создается впечатление, что генеративный искусственный интеллект в наши дни повсюду. Фактически, некоторые из этих заголовков на самом деле могли быть написаны генеративным искусственным интеллектом, например ChatGPT от OpenAI, чат-ботом, продемонстрировавшим сверхъестественную способность создавать текст, который, кажется, был написан человеком.

Но что на самом деле имеют в виду люди, когда говорят «генеративный ИИ»?

До бума генеративного ИИ последних нескольких лет, когда люди говорили об ИИ, обычно они имели в виду модели машинного обучения, которые могут научиться делать прогнозы на основе данных. Например, такие модели обучаются на миллионах примеров, чтобы предсказать, покажет ли определенный рентгеновский снимок признаки опухоли или вероятность того, что конкретный заемщик не сможет выплатить кредит.

Генеративный ИИ можно рассматривать как модель машинного обучения, которая обучена создавать новые данные, а не делать прогнозы относительно конкретного набора данных. Генеративная система искусственного интеллекта — это система, которая учится генерировать больше объектов, похожих на данные, на которых она обучалась.

«Когда дело доходит до реальных механизмов, лежащих в основе генеративного ИИ и других типов ИИ, различия могут быть немного размытыми. Часто одни и те же алгоритмы могут использоваться для обоих», — говорит Филип Изола, доцент кафедры электротехники и информатики Массачусетского технологического института и член Лаборатории компьютерных наук и искусственного интеллекта (CSAIL).

И несмотря на шумиху, вызванную выпуском ChatGPT и его аналогов, сама технология не нова. Эти мощные модели машинного обучения основаны на исследованиях и вычислительных достижениях, произошедших более 50 лет назад.

Увеличение сложности

Ранним примером генеративного ИИ является гораздо более простая модель, известная как цепь Маркова. Метод назван в честь Андрея Маркова, русского математика, который в 1906 году представил этот статистический метод для моделирования поведения случайных процессов. В машинном обучении модели Маркова уже давно используются для задач прогнозирования следующего слова, например, функция автозаполнения в программе электронной почты.

При прогнозировании текста модель Маркова генерирует следующее слово в предложении, просматривая предыдущее слово или несколько предыдущих слов. Но поскольку эти простые модели могут оглядываться назад только так далеко, они не очень хороши в создании правдоподобного текста, говорит Томми Яаккола, профессор электротехники и компьютерных наук Томаса Зибеля в Массачусетском технологическом институте, который также является членом CSAIL и Института компьютерных наук. Данные, системы и общество (IDSS).

«Мы создавали вещи задолго до прошлого десятилетия, но главное различие здесь заключается в сложности объектов, которые мы можем генерировать, и масштабе, в котором мы можем обучать эти модели», — объясняет он.

Всего несколько лет назад исследователи были склонны концентрироваться на поиске алгоритма машинного обучения, который наилучшим образом использует конкретный набор данных. Но этот фокус немного сместился, и многие исследователи теперь используют более крупные наборы данных, возможно, содержащие сотни миллионов или даже миллиарды точек данных, для обучения моделей, которые могут достичь впечатляющих результатов.

Базовые модели, лежащие в основе ChatGPT и подобных систем, работают почти так же, как модель Маркова. Но одно большое отличие состоит в том, что ChatGPT намного больше и сложнее, с миллиардами параметров. И он был обучен на огромном количестве данных — в данном случае на большей части общедоступного текста в Интернете.

В этом огромном корпусе текста слова и предложения появляются последовательно с определенными зависимостями. Это повторение помогает модели понять, как разрезать текст на статистические фрагменты, обладающие некоторой предсказуемостью. Он изучает закономерности этих блоков текста и использует эти знания, чтобы предположить, что может быть дальше.

Более мощные архитектуры

Хотя большие наборы данных являются одним из катализаторов, которые привели к буму генеративного искусственного интеллекта, ряд крупных исследовательских достижений также привел к созданию более сложных архитектур глубокого обучения.

В 2014 году исследователи из Монреальского университета предложили архитектуру машинного обучения, известную как генеративно-состязательная сеть (GAN). GAN используют две модели, которые работают в тандеме: одна учится генерировать целевой результат (например, изображение), а другая учится отличать истинные данные от выходных данных генератора. Генератор пытается обмануть дискриминатор и в процессе учится выдавать более реалистичные результаты. Генератор изображений StyleGAN основан на этих типах моделей.

Модели диффузии были представлены годом позже исследователями из Стэнфордского университета и Калифорнийского университета в Беркли. Путем итеративного уточнения результатов эти модели учатся генерировать новые образцы данных, которые напоминают образцы из обучающего набора данных, и используются для создания реалистичных изображений. Модель диффузии лежит в основе системы преобразования текста в изображение Stable Diffusion.

В 2017 году исследователи из Google представили архитектуру преобразователя, которая использовалась для разработки больших языковых моделей, подобных тем, которые используются в ChatGPT. При обработке естественного языка преобразователь кодирует каждое слово в корпусе текста как токен, а затем генерирует карту внимания, которая фиксирует отношения каждого токена со всеми другими токенами. Эта карта внимания помогает преобразователю понять контекст, когда он генерирует новый текст.

Это лишь некоторые из многих подходов, которые можно использовать для генеративного ИИ.

Спектр приложений

Общим для всех этих подходов является то, что они преобразуют входные данные в набор токенов, которые являются числовыми представлениями фрагментов данных. Если ваши данные можно преобразовать в этот стандартный формат токенов, теоретически вы можете применять эти методы для создания новых данных, которые выглядят похоже.

«Ваш результат может варьироваться в зависимости от того, насколько зашумлены ваши данные и насколько сложно извлечь сигнал, но на самом деле это приближается к тому, как процессор общего назначения может принимать любые данные и начинать их обработку в едином путь», — говорит Изола.

Это открывает огромный спектр приложений для генеративного ИИ.

Например, группа Изолы использует генеративный искусственный интеллект для создания синтетических данных изображений, которые можно использовать для обучения другой интеллектуальной системы, например, обучая модель компьютерного зрения распознаванию объектов.

Группа Яакколы использует генеративный искусственный интеллект для разработки новых белковых структур или действительных кристаллических структур, которые определяют новые материалы. По его словам, точно так же, как генеративная модель изучает зависимости языка, если вместо этого показывать кристаллические структуры, она может изучить отношения, которые делают структуры стабильными и реализуемыми.

Но хотя генеративные модели могут дать невероятные результаты, они не являются лучшим выбором для всех типов данных. По словам Деваврата Шах, профессора Эндрю и Эрны Витерби в области электротехники и информатики в Массачусетском технологическом институте, для задач, которые включают в себя прогнозирование структурированных данных, таких как табличные данные в электронной таблице, генеративные модели искусственного интеллекта, как правило, уступают традиционным методам машинного обучения. и член IDSS и Лаборатории систем информации и принятия решений.

«На мой взгляд, их высшая ценность — стать потрясающим интерфейсом для машин, дружелюбных к человеку. Раньше людям приходилось говорить с машинами на языке машин, чтобы что-то происходило. Теперь этот интерфейс научился общаться как с людьми, так и с машинами», — говорит Шах.

Поднимаем красные флаги

Чат-боты с генеративным искусственным интеллектом сейчас используются в колл-центрах для ответа на вопросы клиентов-людей, но это приложение подчеркивает один потенциальный тревожный сигнал внедрения этих моделей — увольнение работников.

Кроме того, генеративный ИИ может наследовать и распространять предвзятости, существующие в обучающих данных, или усиливать разжигание ненависти и ложных заявлений. Модели обладают способностью к плагиату и могут генерировать контент, который выглядит так, как будто он был создан конкретным создателем-человеком, что поднимает потенциальные проблемы с авторскими правами.

С другой стороны, Шах предполагает, что генеративный ИИ может расширить возможности художников, которые могли бы использовать генеративные инструменты, чтобы помочь им создавать творческий контент, на создание которого у них в противном случае не было бы средств.

Он видит, что в будущем генеративный искусственный интеллект изменит экономику во многих дисциплинах.

Одним из многообещающих направлений развития генеративного искусственного интеллекта, которое компания Isola видит в будущем, является его использование в производстве. Вместо того, чтобы модель создавала изображение стула, возможно, она могла бы создать план стула, который можно было бы изготовить.

Он также видит будущее использование генеративных систем искусственного интеллекта для разработки более интеллектуальных агентов искусственного интеллекта.

«Есть различия в том, как работают эти модели и в том, как, по нашему мнению, работает человеческий мозг, но я думаю, что есть и сходства. У нас есть способность думать и мечтать, придумывать интересные идеи и планы, и я думаю, что генеративный ИИ — это один из инструментов, который позволит агентам делать это», — говорит Изола.