Языковые модели: что это такое, почему о них так много говорят и какое будущее у них будет

я языковые модели больших измерений (большая языковая модель, LLM) сегодня, прежде всего, в центре дискуссий спасибо ChatGPTчто способствовало демократизации ИИ, сделав его использование доступным для всех, а следовательно, и для тех, кому совершенно не хватает конкретных знаний.

Однако официально их история начинается в шестидесятые годы прошлого века, когда из лабораторий Массачусетского технологического института (MIT) Элиза вышлато, что можно считать первым чат-ботом в мире, дало форму обработке естественного языка, которая сегодня переживает еще одну молодость, завоевывая большую аудиторию пользователей и обширную отклонение от употребления.

Чтобы лучше понять, какое будущее у больших языковых моделей, мы воспользовались опытом Алессио Помаро, инженера и руководителя отдела искусственного интеллекта компании Поиск в медиа-группе.

Числа

От 6 до 180 миллиардов долларов в год: инвестиции в ИИ выросли в 30 раз с 2013 года

Эмануэле Капоне

26 апреля 2023 г.

Что такое языковые модели

Большие языковые модели (LLM) — это ответвление машинного обучения, способное понимать и генерировать человеческий язык. Для этого он использует глубокие нейронные сети — методы, способные обрабатывать большие объемы данных и имитировать человеческий мозг. Вдали от формальностей: языковая модель это программа, имитирующая человеческий язык использует статистические расчеты и алгоритмы и который, анализируя большие объемы данных, учится предсказывать следующее слово в предложении с учетом контекста.

В каких сферах их используют

Короткий ответ: «во всех областях», и это происходит именно потому, что при использовании специального словаря для их обучения языковые модели с определенной легкостью перемещаются в ограниченных областях, таких как право, медицина, туризм, сельское хозяйство и многие другие; также учитывая, что их использование отказался от создания чат-бота, позволяет вам отвечать на конкретные вопросы, тем самым входя в мир поддержки клиентов, контекст, в котором, однако, еще многое предстоит сделать для повышения качества. Тем не менее, они используются для генерировать текст, изображения, аудио, видео и даже программный код. Цифровые универсалы, которые открывают новые двери, поднимают новые вопросы и решают старые проблемы.

Возможно, вместо того, чтобы говорить об областях, лучше поговорить о логике, которая позволяет распространять LLM, как объясняет Алессио Помаро: «Мы наблюдаем, как программное обеспечение, CMS, платформы, операционные системы интегрируют этот тип модели.i, превращая их в расширенные функции или продвинутых помощников, которых теперь ожидают пользователи. Google, например, развивает Duet AI в Workspace, Microsoft интегрирует Второй пилот под Windows и в каждом программном обеспечении своего пакета Amazon создала Q, помощника в AWS, Adobe оснастила Photoshop передовыми инструментами для редактирования изображений и ожидала потрясающих результатов в редактировании видео и так далее, вплоть до интеграции языковых моделей в будущем. онлайн-поиск (например, Copilot в Bing, Google’s Search Generative Experience, Perplexity). С точки зрения компаний, генеративные модели будут предлагать все более совершенные инструменты, интегрированные в операционные процессы. для исследований и обработки данных, а также для достижения еще более глубокой автоматизации. Сегодня мы все чаще говорим о концепции RAG (Поисковая дополненная генерация), то есть о системах, способных связывать большие коллекции данных (потенциально корпоративные знания) с языковой моделью, чтобы облегчить их извлечение, обработку и преобразование в различные выходные данные. Структуры данных, предназначенные для этих систем, также создаются, чтобы сделать их чрезвычайно высокопроизводительными и безопасными, например Infinity, Собственная база данных AI».

Пользовательские шаблоны

LLM могут быть настроены для использования данных, которые есть у компании, и это текущая практика, которая будет все более широко распространена в будущем: «Крупномасштабная персонализация — это еще один эффект, который будет получен от генеративных моделей, который позволит компаниям расширять операции, что сегодня недостижимо». из-за больших усилий, которые они потребуют. Uber India, по случаю десятилетия бренда, отправил персонализированное видео всем сотрудникам в котором актер Сону Суд приветствует всех по имени. Это стало возможным благодаря одному кадру и благодаря генеративным алгоритмам, способным изменять видео путем клонирования голоса, вставки динамических частей и синхронизации губ, и все это на индийском и английском языках», — объясняет Помаро.

Еще многое предстоит сделать

Каждый использовал чат-бота, обычно пытаясь взаимодействовать со службой поддержки клиентов поставщика. В основном речь идет о переживания, которые порой даже раздражали которые возвращают ощущение разговора с чем-то глупым. «Мы, безусловно, пережили довольно «печальную» эпоху виртуальных помощников, — объясняет Помаро, — которая сделала нас жертвами ответов типа «извините, я не понимаю» и стимулировала неизбежное недоверие к этим системам. Все это было вызвано незрелостью технологий. Далее мы увидели, что произошло: языковые модели развивались с впечатляющим ускорением благодаря структурному совершенствованию и масштабу обучающих данных. Я хотел бы сказать, что сегодня печальная скобка в разработке виртуальных помощников закрылась, чтобы открыть отличающуюся большой гибкостью систему, способную мультимодально взаимодействовать с пользователями не только посредством текстовых чатов, но и посредством обмена изображениями, документами, аудио и на нескольких языках. LLM позволит нам способствовать преодолению языкового барьера».

По мере развития LLM и связанных с ними технологий нам также приходится иметь дело с проблемами, которые не являются новыми, но становятся все более актуальными.

Проблемы, которые необходимо решить

Любая форма прогресса приносит с собой проблемы, и степень магистра права не является исключением. Языковые модели работают с данными (входными данными) и, несмотря на этапы обучения, могут иметь нежелательные последствия: «Обратная сторона медали — риски. и проблемы, с которыми сталкиваются LLM, и которые мы можем обобщить в различных областях. Л’надежность, особенно в ситуациях высокого риска. Модели могут хорошо работать в тестах, но неожиданно терпят неудачу, когда сталкиваются с реальными данными или слегка измененными входными данными. Там конфиденциальность: Имеются степени магистра права значительные риски для конфиденциальности поскольку они агрегируют огромные объемы данных, которые могут включать конфиденциальную информацию».

Тогда возникает вопрос о Авторские права что относится к последним новостям: в конце 2023 года The New York Times подал в суд на OpenAI и Microsoft поскольку соответствующие искусственные интеллекты используют и воспроизводят части текста, на которые распространяется авторское право. «Мы также видим многочисленные жалобы от пользователей, которые создают изображения, которые, скорее всего, получены в результате обучения на данных, защищенных авторским правом», — добавляет Помаро, который также ссылается на предвзятость, возникающую из-за данных, на которых обучаются модели.

Я учусь

Искусственный интеллект и политика: ChatGPT — левые, Google — правые

Бруно Руффилли

14 августа 2023 г.

L’Открытый исходный код и LLM

Существуют проекты с открытым исходным кодом, которые фактически упрощают доступ и использование LLM (примером является Чеширский кот), и это может увеличить масштабы рисков, а также выгод. Как регулируется использование открытых моделей? Существует ли риск потери контроля над этическими последствиями программ LLM? Это два законных вопроса, которые заслуживают ответа: «Существуют течения мысли, согласно которым модели с открытым исходным кодом могут увеличить риски, связанные с генеративным ИИ. Тем не менее, я считаю, что модели открытого фундамента могут быть важно с точки зрения безопасности по нескольким причинам», — объясняет Помаро.

«Во-первых, открытые модели позволяют объем исследований безопасности крайне необходимо, во-вторых, открытые модели обеспечивают прозрачность и проверяемость. Например, большая часть экосистемы Интернета основана на программном обеспечении с открытым исходным кодом (Linux, Apache, MySQL и т. д.), что делает ее более безопасной. Учитывая простоту взлома или действий, направленных на обход мер безопасности, становится ясно, что у нас мало понимания и контроля над текущими моделями, а открытые модели подвергают нас этому риску. Этот аспект необходимо решить посредством исследований, прежде чем основывать всю критическую инфраструктуру на нестабильных системах».

Модели с открытым исходным кодом могут использоваться ненадлежащим образом, но преобладает отношение сообществ, которые поддерживают их и помогают регулировать их разработку и использование. «На самом деле принципы открытого исходного кода одинаковы, будь то искусственный интеллект или другие технологии».

Что нужно для преодоления проблем

Мы часто говорим о культуре, необходимой для принятия происходящих изменений и управления ими. Что, безусловно, верно, но заслуживает лучшего понимания: что способствует развитию этой культуры? «Технологическая эволюция сделает эти системы более надежными и прозрачными в отношении корреляции между источниками и результатами. Новые системы управления для регулирования обучения и использования. Это делается не для ограничения исследований и разработок, а для улучшения понимания и понимания возможных направлений», — заключает Помаро.

Будущее

Новые модели поведения, когда искусственный интеллект удивляет даже своих создателей

Андреа Даниэле Синьорелли

30 марта 2023 г.