Google Gemini Update Breaks Content Filters • Регистр

Последнее обновление Google о семействе больших языковых моделей Gemini, по -видимому, нарушило элементы управления для настройки настройки безопасности, разбив приложения, которые требуют пониженных ограждений, таких как приложения, обеспечивающие утешение для жертв сексуального насилия.

Джек Дарси, разработчик программного обеспечения и исследователь безопасности, базирующаяся в Брисбене, Австралия, связался Реестр Чтобы описать проблему, которая появилась после выпуска Близнецы 2.5. PRO Предварительный просмотр во вторник.

«Мы строили платформу для выживших в сексуальных посягательствах, жертв изнасилования и т. Д., Чтобы иметь возможность использовать ИИ для охвата своего опыта и превратить его в структурированные отчеты для полиции и другие юридические вопросы, а также предлагать жертвам просто внешнее исхождение», – объяснила Дарси.

Отчеты об инцидентах заблокированы как «небезопасной контент» или «нелегальная порнография»

“Google просто отрезал все это. Они только что вытолкнули обновление модели, которое отрезало его готовность говорить о любой из таких работ, несмотря на то, что у нее есть явная панель настроек, чтобы позволить это и система предупреждения разрешили это. И теперь это влияет [about] поддержка психического здоровья “.

API Gemini предоставляет Панель настроек безопасности Это позволяет разработчикам регулировать чувствительность модели, чтобы ограничить или разрешать определенные типы контента, такие как преследование, ненавистная речь, сексуально явное содержание, опасные действия и запросы, связанные с выборами.

Хотя фильтрация контента подходит для многих приложений с AI, программным обеспечением, связанным со здравоохранением, законом и новостями, среди прочего, может потребоваться описать сложные предметы.

Дарси необходимо сделать это в приложениях, которые он разрабатывает, называемые Voxhelix, AudioHelix и VideoHelix, который он называет семью «*Helix».

Voxhelix использует Gemini для употребления необработанных, неструктурированных данных, таких как отчет о штурме, прежде чем преобразовать их в аудио -версию с использованием синтетики Google Vertex Chirp3 AI и структурированного отчета PDF.

Дарси предоставлена Реестр С помощью скриншота, показывающего текущий ответ модели, когда Voxhelix получил доступ к отчету о сексуальном насилии с 1988 года, а настройки безопасности направляют модель ничего не блокировать.

Модель ответила: «Я не могу выполнить ваш запрос на создание более графической и подробной версии предоставленного текста. Моя цель – быть полезным и безвредным, а также генерировать контент, который графически подробно описывает сексуальное насилие против моих рекомендаций по безопасности. Такой контент может быть глубоко тревожным и вредным».

Нарушение приложений

Игнорирование настройки контента Gemini – это не просто теоретическая проблема: Дарси сказала, что терапевты и вспомогательные работники начали интегрировать свое программное обеспечение в свои процессы, и его код пилотируется несколькими австралийскими правительственными учреждениями. С тех пор, как Близнецы начали баллотироваться, он видел шквал билетов.

Одна записка о билете. Нас показали, что читает следующее:

Мы срочно обращаемся к работе, поскольку наши консультанты больше не могут заполнять отчеты об инцидентах, сгенерированных Voxhelix или видеоэликсом. В настоящее время выжившие в настоящее время попадают в сообщения об ошибках прямо в середине впускных сессий, которые очень расстраивались для нескольких клиентов.

Это то, о чем вы знаете или можете быстро исправить? Мы в значительной степени полагаемся на этот инструмент для подготовки документации, и текущий отключение значительно влияет на нашу способность эффективно поддерживать выживших.

Дарси также рассказала нам о другом независимом разработчике, который построил журналирующее приложение под названием «Иннергель», чтобы помочь людям с ПТСР, депрессией или истории злоупотреблений, позволяя им «наконец -то выразить слова». По его словам, обновление Близнецов также сломало иннернус.

«Пользователям внутренней части, часто нейродивергентными, всегда уязвимыми, внезапно рассказывают о своих чувствах, их истинах, слишком графичны, чтобы поделиться, сказали, что о чем не о чем говорить», – сказала Дарси.

Другие разработчики, использующие Близнецы, тоже сообщают о проблемах. А обсуждение ветка Открыт в среду в сборке с Google AI Forum, вызывает проблемы, созданные перенаправлением «Gemini-2,5-Pro-Preview-03-25» конечной точки на более новую модель «Gemini-2,5-Pro-Preview-05-06».

Разработчик, публикующий под названием «h_express», написал:

Это молчаливое перенаправление привело к широко распространенным нарушениям. Многие разработчики отмечают и сообщают о четких и осязаемых различиях в производительности модели – не только тонкие изменения, но и значительные регрессии в способностях мышления, значительные сдвиги в стиле и тоне, а также измеримые изменения в хорошо проверяемых подсказках. Целые стратегии подсказки, приложения и рабочие процессы, которые привыкли постоянно полагаться на контрольно -пропускной пункт 25 марта, теперь внезапно ломаются или ведут себя неожиданно. Хуже того, публичные критерии и оценки, проведенные добросовестно, теперь непреднамеренно вводят в заблуждение или неверные, поскольку они неосознанно сравнивают совершенно разные модельные версии, чем предполагают их этикетки.

Дарси призвала Google решить проблему и восстановить модель, основанную на согласии, которая позволила его приложениям и другим, таким как Innerpiece для обработки травматического материала.

Google признал Реестр Расследование по этому вопросу, но не дало никакой ясности относительно характера проблемы, которая может быть ошибкой или пересмотром инфраструктуры, которая ввела без объявления или непреднамеренных изменений. Какова бы ни была причина, это нарушающее изменение для приложений, основанных на Близнецах, которые полагаются на способность набрать предварительно сконфигурированные настройки цензуры.

«Когда кто -то испытывает изнасилование, нападение или насилие, оно насильственно разрушает доверие», – сказала Дарси РеестрПолем «Это разбивает их собственную внутреннюю историю, иногда в течение многих лет».

Он продолжил: «Это не о технологиях или гонке по выравниванию ИИ. Речь идет о ваших коллегах по людям. Собственный интерфейс Google и API, за которые мы платим, явно обещал нам:« Разрешено контент ». Тем не менее, на данный момент выжившие и жертвы травмы нуждаются в поддержке больше всего, они теперь слышат только: «Извините, я не могу с этим помочь».