Home » Реакция поставщиков на мой отчет об ошибке LLM-crasher была ужасной • –

Реакция поставщиков на мой отчет об ошибке LLM-crasher была ужасной • –

Реакция поставщиков на мой отчет об ошибке LLM-crasher была ужасной • –

Колонка Нашли ошибку? Оказывается, сообщить об этом с помощью истории в Регистр работает на удивление хорошо… в основном. После публикации моей статьи «Криптонит» о подсказке, которая приводит к сбою многих чат-ботов с искусственным интеллектом, я начал получать постоянный поток писем от читателей — во много раз больше, чем все письма от читателей, которые я получил за предыдущее десятилетие.

К сожалению, слишком многие из них представляли собой лишь просьбу раскрыть подсказку, чтобы можно было уничтожить крупные языковые модели.

Если бы я был готов передать опасное оружие любому, кто об этом попросит, я бы все равно был жителем Соединенных Штатов.

Хотя я игнорировал эти просьбы, я отвечал всем, кто, как мне казалось, действительно нуждался в помощи — ряду исследователей безопасности, разработчиков продуктов LLM и т. п. Я поблагодарил каждого за проявленный интерес и пообещал дальнейшее общение — когда Microsoft вернется ко мне с результатами собственного расследования.

Как я сообщал в своей предыдущей статье, команда Microsoft по уязвимостям высказала мнение, что запрос не является проблемой, поскольку это «предложение об ошибке/продукте», которое «не соответствует определению уязвимости безопасности».

После публикации этой истории компания Microsoft внезапно «возобновила» процесс оценки и сообщила мне, что предоставит анализ ситуации через неделю.

Пока я ждал ответа, я продолжал сортировать и расставлять приоритеты в письмах читателей.

Попытка проявить должную осторожность – даже подозрение – обеспечила несколько моментов легкомыслия. Одно письмо пришло от человека – я не буду называть имен, за исключением того, что читатели наверняка узнают имя этого Очень Важного Таланта Нетворкинга – который попросил подсказку, пообещав передать ее соответствующей группе в Большой Технологической компании, в которой он сейчас работает.

Read more:  Так больше не делают. На фото показали «вечные» устройства, которые работают десятилетиями

У этого человека не было никакого заметного опыта в области искусственного интеллекта, так почему бы ему просить подсказку? Я чувствовал себя достаточно параноидально, чтобы заподозрить нечестную игру — кто-то, притворяющийся этим человеком, был бы изящным образцом социальной инженерии.

Мне пришлось отправить шквал сообщений на другой, проверенный адрес электронной почты, прежде чем я смог убедиться, что письмо действительно пришло от этого выдающегося человека. В этот момент — поскольку открытый текст казался очень плохой идеей — я запросил ключ PGP, чтобы зашифровать запрос, прежде чем отправить его в электронное письмо. И пошло-поехало.

Через несколько дней я получил следующий ответ:

Перевод: «На моем компьютере это работает».

Я немедленно вышел и сломал несколько ботов LLM, которыми управлял работодатель этого светила из Big Tech, отправил несколько скриншотов по электронной почте и вскоре получил в ответ “ой – спасибо”. С тех пор тишина.

Это молчание говорит о многом. Некоторые из LLM, которые регулярно зависали при этом запросе, похоже, были обновлены — за кулисами. Они больше не зависают, по крайней мере, при работе с их веб-интерфейсами (хотя API — это другое дело). Где-то глубоко в недрах ChatGPT и Copilot, похоже, что-то было исправлено, чтобы предотвратить поведение, вызванное запросом.

Возможно, именно поэтому через две недели после возобновления расследования компания Microsoft ответила мне следующим образом:

Этот ответ вызвал больше вопросов, чем дал ответов, как я указал в своем ответе Microsoft:

Месяц назад я отправил это сообщение команде Microsoft по устранению уязвимостей, но ответа я до сих пор не получил.

Я понимаю, почему: хотя этот «недостаток» может и не представлять прямой угрозы безопасности, такие подсказки необходимо тестировать. очень широко, прежде чем считаться безопасным. Помимо этого, Microsoft размещает ряд различных моделей, которые оставаться восприимчивы к такого рода «дефициту» – что она намерена с этим делать? Ни на один из моих вопросов нет простых ответов – вряд ли это что-то, что фирма стоимостью в три триллиона долларов захочет брать на себя в письменной форме.

Read more:  Четыре важные сюжетные линии «Брюинз», на которые стоит обратить внимание после перерыва на Матч звезд НХЛ

Теперь я чувствую, что мое открытие – и последующая история – выявили почти полное отсутствие инфраструктуры для сообщения об ошибках у поставщиков LLM. И это ключевой момент.

У Microsoft есть нечто, наиболее близкое к такой инфраструктуре, но она не может выйти за рамки своего собственного фирменного продукта, чтобы понять, почему проблема, которая затрагивает многих LLM, включая множество размещенных на Azure, должна решаться совместно. Эта неспособность к сотрудничеству означает, что исправления, если они вообще происходят, происходят за кулисами. Вы никогда не узнаете, была ли исправлена ​​ошибка, пока система не перестанет показывать симптомы.

Мне сказали, что исследователи безопасности часто сталкиваются с подобным молчанием, а затем обнаруживают скрытые исправления. Песня остается прежней. Если мы решим повторить ошибки прошлого – несмотря на все эти извлеченные уроки – мы не можем удивляться, когда обнаруживаем себя сваренными в новом рагу из уязвимостей. ®

2024-07-10 07:25:00


1720598073
#Реакция #поставщиков #на #мой #отчет #об #ошибке #LLMcrasher #была #ужасной #Register

Leave a Comment

This site uses Akismet to reduce spam. Learn how your comment data is processed.