1769207953
2026-01-23 22:18:00
Исследователи все больше внимания уделяют быстро расширяющемуся ландшафту генеративного искусственного интеллекта и его неожиданным применениям, а новое исследование изучает распространенность и характеристики чат-ботов Not-Safe-For-Work (NSFW) на платформе FlowGPT. Сянь Ли вместе с Юаньнин Ханем из Школы дизайна Парсонс и Ди Лю, вместе с Пэнченгом Анем и Шуо Ню из Университета Кларка и др. проанализировали 376 чат-ботов NSFW и более 300 сеансов разговоров, чтобы понять, как пользователи взаимодействуют с этими системами искусственного интеллекта. Их работа обнаруживает тревожную тенденцию: эти чат-боты не просто отвечают на явные запросы, но активно генерируют сексуальный, жестокий и часто оскорбительный контент, даже без прямых подсказок, создавая пространство, где виртуальная близость сочетается с потенциально вредными выражениями. Это исследование важно, поскольку оно дает решающее представление о возникающих рисках, связанных с генеративным искусственным интеллектом, создаваемым пользователями, и подчеркивает острую необходимость улучшения модерации контента и ответственного проектирования чат-ботов.
Это исследование, основанное на функциональной теории контента NSFW в социальных сетях, раскрывает сложную картину виртуальных взаимодействий, сексуального самовыражения и потенциальных рисков. Команда определила четыре различных типа чат-ботов: персонажи ролевых игр, генераторы историй, генераторы изображений и боты «делай что угодно сейчас», каждый из которых отвечает различным желаниям пользователей и уровням вовлеченности.
Персонажи с искусственным интеллектом, предназначенные для изображения фантастических персонажей и облегчения взаимодействия в стиле тусовок, оказались наиболее распространенными, часто используя откровенные изображения аватаров для привлечения пользователей. Эксперименты показывают, что эти чат-боты часто инициируют взаимодействие с наводящим на размышления контентом даже без явных подсказок со стороны пользователей, демонстрируя упреждающее создание материалов NSFW. Исследование показывает, что как подсказки пользователей, так и результаты чат-бота часто содержат сексуальные, агрессивные и оскорбительные выражения, подчеркивая потенциал создания и распространения вредоносного контента. Такое активное создание откровенных материалов, даже при отсутствии прямых запросов пользователей, является ключевым открытием, которое отличает этих чат-ботов на базе GenAI от традиционного контента NSFW, который можно найти на других платформах.
Исследование показывает, что опыт NSFW с FlowGPT — это многогранное явление, охватывающее виртуальную близость, сексуальные заблуждения, агрессивное выражение мыслей и получение потенциально небезопасного контента. Исследователи тщательно изучили журналы публичных разговоров и выяснили, как пользователи взаимодействуют с этими чат-ботами, чтобы исследовать фантазии, выражать желания и даже моделировать отношения. Эта работа открывает новые возможности для понимания мотивов создания и потребления контента NSFW, созданного искусственным интеллектом, а также психологических эффектов таких взаимодействий. Открытая экосистема FlowGPT, хотя и способствует творчеству, также создает серьезные проблемы для модерации контента и безопасности пользователей, требуя тонкого подхода для устранения рисков, связанных с этой новой технологией.
Этот прорыв показывает, что чат-боты NSFW на базе GenAI снижают входной барьер для создания откровенного контента, позволяя пользователям использовать модели искусственного интеллекта и настраиваемые подсказки для создания более естественного и интерактивного опыта. В отличие от традиционного контента NSFW, созданного пользователями-людьми, доступ к этому материалу на FlowGPT требует активного подсказывания чат-ботам, создавая уникальную динамику взаимодействия пользователя и реакции искусственного интеллекта. Исследование показывает, что, несмотря на усилия по модерации со стороны GenAI и поставщиков услуг LLM, авторы по-прежнему могут обходить ограничения, используя «взломанные» подсказки, что позволяет скрытно создавать и распространять материалы откровенного характера. Следовательно, команда приходит к выводу, что решение проблем чат-ботов NSFW требует тщательного рассмотрения дизайна чат-бота, поддержки создателей, безопасности пользователей и надежных стратегий модерации контента.
Анализ чат-бота NSFW с использованием инструментов безопасности контента
Исследователи приступили к комплексному исследованию 376 чат-ботов Not-Safe-For-Work (NSFW), размещенных на FlowGPT, а также к анализу 307 общедоступных сеансов бесед. В этой работе использовался эмпирический подход, основанный на данных, начиная с качественной категоризации типов чат-ботов, тем конфигурации и потенциально вредоносного контента, присутствующего во взаимодействиях. Впоследствии команда применила количественные методы, чтобы тщательно оценить распространенность материалов откровенного характера и выявить закономерности небезопасного контента. Для количественной оценки вредоносного контента ученые использовали возможности ChatGPT, Google Safe Search и Azure Content Safety — набора инструментов, предназначенных для обнаружения потенциально нежелательных выражений и изображений.
Эти инструменты систематически применялись как к пользовательским запросам, так и к выводам чат-ботов, отмечая случаи сексуального, агрессивного или оскорбительного контента с помощью точной алгоритмической оценки. Затем исследовательская группа тщательно изучила эти помеченные экземпляры, подтвердив наличие вредного материала и классифицировав его природу. Этот процесс позволил провести детальную количественную оценку частоты и типов небезопасного контента, создаваемого в среде чат-бота. Кроме того, исследование положило начало новому подходу к анализу аватаров, используя программное обеспечение для распознавания изображений для выявления откровенных изображений, представленных в профилях чат-ботов.
Это включало обработку изображений аватаров с помощью специального алгоритма, обученного обнаруживать наготу и непристойный контент, что обеспечивало количественную оценку того, в какой степени чат-боты использовали провокационные визуальные подсказки для привлечения внимания пользователей. Команда тщательно документировала характеристики каждого чат-бота, включая назначенную ему роль, параметры конфигурации, а также наличие любого откровенного контента в его профиле или сгенерированных ответах. Эта многогранная методология позволила исследователям идентифицировать четыре различных типа чат-ботов: персонажи ролевых игр, генераторы историй, генераторы изображений и боты, готовые делать что угодно, обнаружив, что наиболее распространенными были фэнтезийные персонажи и взаимодействия в стиле тусовок. Детальный анализ сеансов разговоров в сочетании с количественной оценкой безопасности контента в конечном итоге пролил свет на сложную динамику виртуальной близости, сексуального бреда, агрессивного выражения мыслей и небезопасного получения контента, происходящих на платформе FlowGPT.
Типы чат-ботов NSFW и взаимодействие с пользователями быстро
Ученые исследовали растущую популярность чат-ботов Not-Safe-For-Work (NSFW), работающих на базе генеративного искусственного интеллекта на платформе FlowGPT. В ходе исследования были тщательно проанализированы 376 чат-ботов NSFW и 307 сессий публичных бесед, что позволило получить ключевую информацию о взаимодействии пользователей и характеристиках контента. Команда определила четыре различных типа чат-ботов: персонажи для ролевых игр, генераторы историй, генераторы изображений и боты, способные делать что угодно, демонстрируя разнообразие приложений в рамках этой новой технологии. Эксперименты показали, что чат-боты на основе персонажей, предназначенные для изображения фантастических персонажей и облегчения взаимодействия в стиле тусовок, были наиболее распространенными: их было 279 из проанализированных ботов.
Эти чат-боты часто использовали откровенные изображения аватаров, активно привлекая пользователей к участию и создавая виртуальную близость. Данные показывают, что среднее количество разговоров на одного чат-бота составило 70 343,35, а среднее количество отзывов достигло 38,94, что указывает на значительную активность пользователей и обратную связь. Исследователи зафиксировали случаи появления сексуального, жестокого и оскорбительного контента как в подсказках пользователей, так и в сообщениях чат-ботов, подчеркивая потенциальную возможность вредоносного взаимодействия. Тесты показали, что некоторые чат-боты генерируют откровенные материалы, даже не получая эротических подсказок от пользователей, что вызывает опасения по поводу контроля контента и непреднамеренных выходных данных.
В ходе исследования были тщательно собраны данные, включая имена чат-ботов, описания, URL-адреса, миниатюры изображений и чаты, которыми поделились пользователи, что предоставило комплексный набор данных для анализа. Анализ 307 сеансов публичного чата, проведенных с участием 160 чат-ботов, поддерживающих эту функцию, позволил команде изучить взаимодействие в реальном времени и динамику контента. Измерения подтверждают, что опыт NSFW на FlowGPT включает в себя виртуальную близость, сексуальный бред, агрессивное выражение мыслей и небезопасное получение контента. В исследовании использовалась альфа Криппендорфа с использованием метрики Жаккара, получив оценку 0,705 в последнем раунде согласования между экспертами, что обеспечило надежность тематического анализа. Кроме того, команда использовала Google SafeSearch и Azure Content Safety наряду с ручной проверкой для обнаружения и аннотирования вредоносного контента, защиты исследователей и обеспечения ответственного обращения с данными. Эта работа закладывает основу для понимания сложного взаимодействия между искусственным интеллектом, поведением пользователей и потенциально опасным контентом в развивающейся среде генеративных чат-ботов.
👉 Дополнительная информация
🗞 Когда генеративный ИИ интимен, сексуален и жесток: исследование чат-ботов, небезопасных для работы (NSFW), на FlowGPT
🧠 АрXiv:
#Анализ #ботов #NSFW #на #FlowGPT #выявил #типы
По теме
