Если вы не хотите прислушиваться к совету попугая, не слушайте ChatGPT: тестируем инструмент

ChatGPT покорил мир с тех пор, как OpenAI представила бета-версию своего усовершенствованного чат-бота. OpenAI также выпустила бесплатное приложение ChatGPT для iPhone и iPad, предоставив этот инструмент непосредственно в руки потребителей. Чат-бот и прочее генеративный ИИ Инструменты, наводнившие технологическую сцену, ошеломили и напугали многих пользователей своей человеческой реакцией и почти мгновенными ответами на вопросы.

Люди не осознают, что, хотя эти чат-боты дают ответы, которые звучат «по-человечески», им не хватает фундаментального понимания. ChatGPT обучался на множестве интернет-данных — миллиардах страниц текста — и основывает свои ответы только на этой информации.

Данные ChatGPT обучен на, называемый Common Crawl, практически настолько хорош, когда дело касается обучающих данных. Но мы никогда на самом деле не знаем почему или как бот приходит к определенным ответам. И если он генерирует неточную информацию, он скажет об этом уверенно; оно не знает, что это неправильно. Даже при наличии преднамеренных и многословных подсказок и предпосылок он может выводить как правильную, так и неверную информацию.

Дорогостоящие последствия слепого следования советам ChatGPT

Мы можем сравнить ген ИИ с попугаем, который имитирует человеческий язык. Хотя хорошо, что у этого инструмента нет уникальных мыслей или понимания, слишком много людей бездумно слушают его советы и следуют им. Когда попугай говорит, вы знаете, что он повторяет услышанные слова, поэтому относитесь к этому с недоверием. Пользователи должны относиться модели естественного языка с той же дозой скептицизма. Последствия слепого следования «советам» любого чат-бота могут оказаться дорогостоящими.

Недавнее исследование исследователей из Стэнфордского университета: «Как поведение ChatGPT меняется с течением времени?обнаружили, что точность бота в решении простой математической задачи составляла 98% в марте 2023 года, но резко упала до всего 2% в июне 2023 года. Это подчеркивает его ненадежность. Имейте в виду, что это исследование касалось базовой математической задачи — представьте, что математика или тема более сложны, и пользователь не может легко проверить, что это неправильно.

• Что, если это код и в нем есть критические ошибки?
• А как насчет прогнозов о том, есть ли у группы рентгеновских лучей рак?
• А как насчет машины, предсказывающей вашу ценность для общества?

Если человек задает вопрос в ChatGPT, скорее всего, он не является экспертом в этой теме и, следовательно, не знает разницы между правильной и неправильной информацией. Пользователи могут не тратить время на проверку фактов ответа и могут принимать решения на основе неверных данных.

Выбор «мозга» ChatGPT об устойчивости кибербезопасности

Я спросил ЧатGPT за предлагаемые решения и тактические шаги по повышению устойчивости кибербезопасности к злоумышленникам — тема, с которой я глубоко знаком. Он дал несколько полезных советов и несколько плохих советов. Основываясь на моем многолетнем опыте в области кибербезопасности, мне сразу стало очевидно, что советы сомнительны, но тот, кто не является экспертом в данной области, вероятно, не поймет, какие ответы были полезными, а какие вредными. В каждом из советов подчеркивалась необходимость человеческого фактора при оценке советов бота.

ЧатGPT: «Обучайте свой персонал: Ваш персонал может стать вашей первой линией защиты от злоумышленников. Важно обучить их передовым методам обеспечения безопасности данных и рассказать о потенциальных угрозах».

• Мой вариант: Крайне важно учитывать такие факторы, как уровень опыта и области знаний, поскольку знание аудитории определяет подход к образованию. Аналогичным образом, обучение должно быть основано на конкретных потребностях и целях организации в области кибербезопасности. Самое ценное обучение носит практический характер и основано на том, что сотрудники делают каждый день, например, на использовании надежных и уникальных паролей для защиты своих учетных записей. Как бот, ChatGPT не имеет этого контекста, если вы, задавший вопрос, не предоставите его. И даже при слишком многословных и конкретных подсказках он все равно может поделиться плохим советом.

Вердикт: это хороший совет, но в нем отсутствуют важные детали о том, как обучать и обучать сотрудников.

ЧатGPT: «Сотрудничать с другими компаниями и организациями: Сотрудничество является ключом к повышению устойчивости к злоумышленникам. Сотрудничая с другими компаниями и организациями, вы можете делиться передовым опытом и информацией о потенциальных угрозах.«

• Мое мнение: Это хороший совет, если его рассматривать в контексте, особенно когда организации государственного и частного секторов сотрудничают, чтобы учиться друг у друга и перенимать передовой опыт. Однако ChatGPT не предоставил такого контекста. Компании объединяются после того, как одна из них стала жертва нападения а обсуждение подробностей атаки или выплат, полученных от программ-вымогателей, например, может быть невероятно вредным. В случае взлома основное внимание следует уделять не сотрудничеству, а скорее сортировке, реагированию, судебно-медицинскому анализу и работе с правоохранительными органами.

Вердикт: вам нужен человеческий фактор, чтобы эффективно взвешивать информацию, полученную из моделей обработки естественного языка (НЛП).

ЧатGPT: «Внедрить строгие меры безопасности: Одним из наиболее важных шагов по повышению устойчивости к злоумышленникам является внедрение надежных мер безопасности для ваших систем ИИ. Сюда входят такие вещи, как надежные механизмы аутентификации, безопасное хранение данных и шифрование конфиденциальных данных».

• Мое мнение: Хотя это хороший совет высокого уровня (хотя и здравый смысл), «строгие меры безопасности» различаются в зависимости от уровня зрелости безопасности организации. Например, стартап из 15 человек требует иных мер безопасности, чем глобальный банк из списка Fortune 100. И хотя ИИ может давать более качественные советы с помощью более качественных подсказок, операторы не обучены тому, какие вопросы задавать или какие предостережения делать. Например, если вы скажете, что советы предназначены для малого бизнеса, у которого нет бюджета на безопасность, вы, несомненно, получите совсем другой ответ.

ЧатGPT: «Отслеживать и анализировать данные: Отслеживая и анализируя данные, вы можете выявить закономерности и тенденции, которые могут указывать на потенциальную угрозу. Это может помочь вам принять меры до того, как угроза станет серьезной».

• Мое мнение: Специалисты по технологиям и безопасности используют искусственный интеллект для определения поведенческих показателей, что может стать надежным и полезным инструментом для защитников. ИИ находит нетипичные вещи, на которые стоит обратить внимание; однако он не должен принимать решений. Например, предположим, что в организации имеется сервер, выполняющий одну функцию ежедневно в течение последних шести месяцев, и внезапно он загружает большие объемы данных. ИИ может пометить эту аномалию как угрозу. Однако человеческий фактор по-прежнему имеет решающее значение для анализа, то есть для того, чтобы увидеть, является ли проблема был аномалия или что-то обычное, например шквал обновлений программного обеспечения во «Вторник обновлений». Человеческий фактор необходим, чтобы определить, действительно ли аномальное поведение является злонамеренным.

Советы настолько же хороши (и свежи), насколько и данные обучения.

Как и любая модель обучения, ChatGPT получает «знания» из интернет-данных. Искаженные или неполные данные обучения влияют на передаваемую ими информацию, что может привести к тому, что эти инструменты будут давать неожиданные или искаженные результаты. Более того, советы, данные ИИ, так же стары, как и данные его обучения. В случае с ChatGPT все, что опирается на информацию после 2021 года, не рассматривается. Это серьезное соображение для такой отрасли, как область информационная безопасностькоторый постоянно развивается и невероятно динамичен.

Например, Google недавно выпустила в открытый доступ домен верхнего уровня .zip, что позволяет пользователям регистрировать домены .zip. Но киберпреступники уже используют домены .zip в фишинговых кампаниях. Теперь пользователям нужны новые стратегии для выявления и предотвращения подобных попыток фишинга.

Но поскольку это настолько ново, чтобы эффективно выявлять такие попытки, инструмент ИИ необходимо будет обучить на дополнительных данных, помимо общего сканирования. Создать новый набор данных, подобный тому, который у нас есть, практически невозможно из-за большого количества сгенерированного текста, и мы знаем, что использование машины для обучения машины — это прямой путь к катастрофе. Это усиливает любые искажения в данных и закрепляет неправильные элементы.

Люди не только должны с осторожностью следовать советам ChatGPT, но и индустрия должна развиваться, чтобы бороться с тем, как его используют киберпреступники. Злоумышленники уже создают более правдоподобные фишинговые электронные письма и мошенничества, и это только верхушка айсберга. Технологические гиганты должны работать вместе, чтобы гарантировать, что этичные пользователи будут осторожны, ответственны и останутся лидерами в гонке вооружений ИИ.

Зейн Бонд — эксперт по кибербезопасности и руководитель отдела продуктов в компании Хранитель безопасности.