В этой статье я демонстрирую, как функцию обнаружения текста, предлагаемую службой Azure AI Content Safety, можно использовать для модерации текста в строковом свойстве, которое находится в процессе публикации в типе контента Optimizely.
API обнаружения текста, который является частью службы безопасности контента Azure AI, сканирует текст на наличие сексуального контента, насилия, ненависти и категорий членовредительства, которые возвращаются с уровнем серьезности. Более подробную информацию об уровнях серьезности можно найти здесь:
Одним из важных правил API обнаружения текста является то, что используемый для этого текст не может превышать 1000 символов. Если вы хотите проанализировать более длинный текст, вы можете разделить его на более мелкие части с учетом знаков препинания или пробелов и отправить их отдельно.
Текстовую модерацию строкового свойства можно выполнить, загрузив пакет NuGet «Patel.AzureAIContentSafety.Optimizely». Этот пакет можно получить на сайте Оптимизация NuGet Feed или в NuGet-канал.
После загрузки пакета NuGet и выполнения начальных шагов настройки/настройки вам необходимо добавить логическое свойство с [TextAnalysisAllowed] присвойте типу стартовой страницы в Optimizely, чтобы активировать эту функцию. Более подробную информацию об этом вы можете найти здесь.
Следующим шагом является создание целочисленных свойств уровня серьезности с помощью метода [SeverityLevel] Атрибут на стартовой странице введите в Optimizely для каждой категории вреда. Это помогает решить, какой уровень вредного контента разрешен в CMS. Для получения более подробной информации о [SeverityLevel] атрибут, нажмите здесь. На изображении ниже показан этот процесс.
После завершения предыдущего шага следующее, что нужно сделать, — это создать строковое свойство с [TextAnalysis] атрибут. Его можно добавить к любой странице CMS или типу блока. Вы можете найти дополнительную информацию здесь.
После выполнения предыдущих шагов последнее, что вам нужно сделать, — это заполнить свойство text (которое имеет [TextAnalysis] атрибут) с некоторым содержимым, готовым к публикации.
Ниже приведен снимок экрана, на котором показан код, используемый для модерации содержимого строкового свойства с использованием API обнаружения текста.
Ответ от API через консоль
Безопасность контента Azure AI: анализ текста завершен
Степень ненависти: 0
Серьезность самоповреждения: 0
Сексуальная тяжесть: 4
Серьезность насилия: 0
API обнаружения текста возвращает уровни серьезности на основе опубликованного контента. В данном случае для содержания сексуального характера был установлен уровень серьезности 4. Если этот уровень выше определенного целочисленного значения (с [SeverityLevel] атрибут применен), отображается сообщение об ошибке, как показано на снимке экрана.
Если обнаруженный уровень ниже определенного предела, контент будет опубликован и доступен в CMS.