Расширьте свое хранилище данных с помощью Fabric Pipelines и Azure OpenAI.

Возможность интеграции Azure OpenAI в конвейеры обработки данных Fabric позволяет использовать многочисленные сценарии интеграции для создания новых наборов данных или расширения существующих наборов данных для поддержки последующей аналитики. В качестве простого примера можно использовать генеративную модель естественного языка ИИ для сбора дополнительной информации о почтовые индексы, такие как демографические данные (население, профессии и т. д.), и это, в свою очередь, может быть обработано и обработано для обогащения данных.

В следующем примере показано, как конвейеры Fabric можно интегрировать с Azure OpenAI с помощью веб-действия конвейера, а также использовать управление API Azure для обеспечения дополнительного уровня управления и безопасности. Я большой поклонник управления API перед любыми внутренними или внешними службами API из-за таких возможностей, как аутентификация, регулирование, манипулирование заголовками и управление версиями. Дополнительные рекомендации по Azure OpenAI и управлению API описаны здесь. Создайте готовое к использованию решение Azure OpenAI для предприятий с помощью Azure API Management — Центр сообщества Microsoft.

Конвейер Fabric и поток Azure OpenAI выглядят следующим образом:

1. Извлеките элемент данных из хранилища данных Fabric (в данном случае это «почтовый индекс»).
2. Передайте значение в модель естественного языка Azure OpenAI (GPT 3.5 Turbo) через управление API Azure.
3. Модель GPT 3.5 Turbo (которая понимает и генерирует естественный язык и код) возвращает информацию обратно в конвейер Fabric на основе почтового индекса; в этом примере информация о численности населения возвращается в конвейер Fabric, где данные могут быть дополнительно обработаны и сохранены в хранилище.

Конвейеры Fabric предоставляют отличный выбор вариантов интеграции. Веб-активность в сочетании с динамической обработкой в ​​Fabric является чрезвычайно мощной Веб-активность — Microsoft Fabric | Microsoft Обучение и обеспечивает ряд вызовов API (GET, POST, PUT, DELETE и PATCH) к веб-сервисам. Обратите внимание: ту же функциональность можно реализовать в конвейерах Фабрики данных Azure.

На диаграмме ниже показана простая последовательность операций и действия конвейера Fabric.

Рис. 1.0. Конвейер Microsoft Fabric, интегрирующий Azure OpenAI

Начальное действие сценария извлекает атрибут исходных данных, в данном случае почтовый индекс, из структуры Fabric. ОдноОзеро хранилище данных. Вывод сохраняется в параметре варВопросПараметр. В этом примере промежуточная переменная используется в целях отладки и при необходимости может быть удалена позже.

Веб-активность конвейера легко настраивается с помощью метода POST (в модели естественного языка Azure OpenAI) через управление API с использованием ключа подписки APIM, ключа API и Content-Type, как показано ниже.

Рисунок 2.0. Конфигурация веб-активности Microsoft Fabric Pipeline.

Тело API POST создается динамически с использованием параметров, как показано ниже.

Рис. 3.0 Динамическое содержимое веб-активности Microsoft Fabric Pipeline

Динамические выражения в конвейерах Fabric невероятно эффективны и позволяют настраивать действия, соединения и наборы данных во время выполнения.

В приведенном выше примере max_tokens — это настраиваемый параметр, который определяет максимальное количество токенов (сегментированных текстовых строк), которые могут быть сгенерированы при завершении чата. Иногда необходимо увеличить значение. Например, рассмотрите возможность установки max_token значение выше, чтобы гарантировать, что модель не прекратит генерировать текст до того, как он достигнет конца сообщения.

Напротив, температура (отбора проб) используется для контроля творческих способностей модели. Более высокая температура (например, 0,7) приводит к более разнообразному и творческому результату, а более низкая температура (например, 0,2) делает результат более детерминированным и целенаправленным. Примеры значений и определений можно найти здесь. Шпаргалка: Освоение температуры и Топ_п в ChatGPT API – API – Форум разработчиков OpenAI.

Выходные данные модели передаются обратно в веб-активность Fabric, которую затем можно сохранить в Fabric. ОдноОзеро или другое место хранения. Это всего лишь простой пример, демонстрирующий, насколько легко внедрить сценарии генеративного ИИ в конвейеры интеграции данных.

Напишите, если у вас есть вопросы/комментарии или если вы изучаете конвейер данных и сценарии интеграции генеративного искусственного интеллекта, чтобы получить новую информацию.

Рекомендации