1763761959
2025-11-21 21:43:00
В выпуске «Прототипа» на этой неделе мы рассмотрим, как поэзия игнорирует меры безопасности ИИ, новый бум ядерной энергетики, получение редкоземельных элементов из морских водорослей и многое другое. Чтобы получить Прототип на свой почтовый ящик, зарегистрируйтесь здесь.
В новой статье опубликовано На сервере препринтов ArXiv на этой неделе группа исследователей кибербезопасности обнаружила, что использование поэтических подсказок может заставить чат-бота прорваться сквозь собственные ограждения. Чтобы продемонстрировать это, они взяли 1200 запросов из базы данных MLCommons, которые используются для тестирования LLM по различным категориям угроз. Затем они предложили ИИ превратить все 1200 в стихи, сохраняющие тот же смысл, а затем протестировали поэтически вредные подсказки на различных чат-ботах.
Результаты довольно отрезвляющие. «Когда подсказки с идентичным намерением задачи были представлены в поэтической, а не в прозаической форме, показатель успешности атаки (ASR) увеличился в среднем с 8,08% до 43,07% — то есть в пять раз», — пишут авторы. Чат-боты Anthropic лучше всех справлялись с сопротивлением поэтическим атакам, но другие показали себя гораздо хуже: 13 из 25 протестированных моделей показали ASR более 70% с поэтическими подсказками, в то время как только у 5 из них ASR был ниже 35%.
Эти результаты, как отмечают исследователи, указывают на то, что эта уязвимость к поэтическим атакам носит «структурный, а не специфичный для поставщика услуг характер». Более того, пишут они, это говорит о том, что защитные ограждения на LLM, похоже, фильтруют больше на основе слов или комбинаций слов, а не основного семантического значения. Чтобы бороться с этим, они призывают, чтобы оценки безопасности были ориентированы на механизмы, которые могут удержать LLM от предоставления вредной информации независимо от того, как пользователи ее запрашивают.
Краткое служебное замечание: в следующую пятницу нового издания «Прототипа» не будет. С Днем Благодарения!
Как искусственный интеллект открывает новый ядерный век
Соучредители Aalo Мэтт Лозак и Ясир Арафат.
Тревор Паулхус для Forbes
Спрос на электроэнергию стремительно растетв основном из-за энергоемких центров обработки данных, лежащих в основе бума искусственного интеллекта, а предприниматели в атомной отрасли стремятся оседлать волну долларов ИИ. Дюжина предприятий с такими названиями, как Valar Atomics, Oklo, Kairos Power и X-energy, стремятся усовершенствовать, разрешить и внедрить новое поколение небольших сборных реакторов, которые могли бы питать отдельные центры обработки данных или даже питать более крупную электрическую сеть.
По данным PitchBook, к 2025 году венчурные капиталисты, инвесторы фондового рынка, миллиардеры, Министерство энергетики и другие вложили более 4 миллиардов долларов в эти и другие новые ядерные предприятия США по сравнению с почти 500 миллионами долларов в 2020 году, согласно данным PitchBook. Для возвращения ядерной энергетики потребуются еще десятки миллиардов. Двухлетний Аало привлек $136 миллионов (из них $100 миллионов в августе), при этом ведущим спонсором выступила компания Valor Equity Partners миллиардера Антонио Грасиаса. Вэлор был одним из первых институциональных инвесторов Tesla, и Грасиас, член совета директоров SpaceX, рассказал: Форбс что Aalo станет победителем благодаря своей приверженности производству и вертикальной интеграции, «аналогично первопринципному подходу Tesla к батареям, электромобилям и робототехнике».
Не все эти стартапы будут успешными. Но звезды, кажется, сошлись в ожидании возвращения ядерной энергии. Спрос есть: Сэм Альтман из OpenAI заявил, что через восемь лет ему понадобится невероятная мощность в 250 гигаватт. (Это столько же, сколько потребляет Бразилия.) Более трезвые аналитики прогнозируют, что к 2030 году центрам обработки данных потребуется вдвое больше мощности, чем примерно 40 ГВт, которые они потребляют сейчас. При нынешней средней цене на промышленную электроэнергию в девять центов за киловатт-час 40 ГВт будут стоить 32 миллиарда долларов в год, но цены вырастут, если спрос будет расти быстрее, чем генерирующие мощности. Аналитики полагают, что турбины, работающие на природном газе, удовлетворяют, возможно, 60% потребности, но заказы на них принимаются с задержкой на четыре года. Уголь остается непопулярным (независимо от того, как часто президент Дональд Трамп называет самое грязное ископаемое топливо «красивым и чистым»). Ветер и солнечная энергия, помимо того, что они входят в список Трампа, не обеспечивают круглосуточную надежность центров обработки данных, необходимую без дополнительных батарей. Это большой пробел, который необходимо заполнить ядерным стартапам.
«У каждого есть достаточно возможностей для преуспевания, потому что миру нужно столько энергии и даже больше», — говорит уроженец Ирана миллиардер Камаль Гаффарян, аэрокосмический предприниматель, основатель компании X-energy в Роквилле, штат Мэриленд, которая разрабатывает ядерный реактор с газовым охлаждением.
ОТКРЫТИЕ НЕДЕЛИ: ПОИСК РЕДКОЗЕМЕЛЬНЫХ ЗЕМЕЛЬ ИЗ МОРСКИХ ВОДОРОСЛЕЙ
Ученые из Национальной лаборатории возобновляемых источников энергии нашли удивительный потенциальный источник редкоземельных минералов, которые имеют решающее значение для многих технологий: водоросли. Это могло бы стать преимуществом для добычи этих металлов, добыча которых обходится дорого, поскольку извлекать их из растительной жизни гораздо проще. Сейчас исследователи сосредоточены на как морские водоросли впитывают редкоземельные элементы, потому что этот механизм неизвестен. Как только они это поймут, они смогут определить, из каких морских водорослей лучше всего собирать редкоземельные элементы, что может привести к совершенно новому, более устойчивому способу получения этих важнейших материалов.
ЧТО ЕЩЕ Я НАПИСАЛА НА ЭТОЙ НЕДЕЛЕ
В другом моем информационном бюллетене InnovationRx Эми Фельдман и я рассмотрели почти 150 миллиардов долларов, потраченных на слияния и поглощения в биофармацевтической отрасли в этом году, предстоящие проблемы новому генеральному директору Recursion, вспышку ботулизма из-за детского питания и многое другое.
НАУКА И ТЕХНИКА
Zoox, компания Amazon по производству беспилотных автомобилей, начала предлагать публике поездки на специально построенном роботакси в Сан-Франциско.
ИИ компания Quindar поднял 18 миллионов долларов в рамках серии А построить объект в Колорадо, который позволит использовать автономное программное обеспечение для управления полетами для управления операциями космических кораблей.
Космическая компания Redwire обеспечил Контракт на 44 миллиона долларов совместно с DARPA продолжить разработку спутника, способного работать на очень низкой околоземной орбите, где все еще существует тонкая атмосфера.
Новые археологические открытия показывают, что 3000-летнее место под названием Агуада Феникс в Мексике было геометрическая карта Вселенной как это понимали майя.
НАУЧНЫЙ СОВЕТ: ХОТИТЕ СТАРЕТЬ МЕДЛЕННЕЕ? ИЗУЧИТЕ ВТОРОЙ ЯЗЫК
Данные более чем 86 000 человек в возрасте от 51 до 90 лет из 27 разных стран показывают, что говорить на нескольких языках полезно: это может помочь вам стареть медленнее. А новое исследование обнаружили, что люди, говорящие только на одном языке, примерно в два раза чаще испытывают ускоренное старение по сравнению с теми, кто говорит более чем на одном языке. И преимущества тем выше, чем больше языков говорит человек. Исследователи предположили, что причина этого в том, что владение более чем одним языком делает мозг более гибким, что может замедлить процессы как физического, так и умственного старения. А теперь, если вы меня извините, я попытаюсь выяснить, считается ли говорить на клингонском языке.
ЧТО МЕНЯ РАЗВЛЕКАЕТ НА ЭТОЙ НЕДЕЛЕ
Я начал читать Каждый экран на планете: Война за TikTok моя невероятная коллега Эмили Бейкер-Уайт (за которой однажды шпионила компания социальных сетей). Это захватывающая история технологической компании, которая доминировала в дискурсе и стала источником мини-конституционного кризиса после того, как Конгресс принял закон, запрещающий ее в Соединенных Штатах, но который нынешняя администрация не выполнила. Мне еще предстоит прочитать часть книги, но пока что она оказалась захватывающей.
БОЛЬШЕ ОТ ФОРБС
Основатель ForbesAI незаконно отправил чипы Nvidia в Китай по схеме на 4 миллиона долларов, утверждает Министерство юстицииТомас БрюстерИстория Трампа с Джеффри Эпштейном: вот полный графикСара ДорнForbesЧистый капитал Вивека Рамасвами увеличился почти вдвое, пока он баллотируется на пост губернатора ОгайоКайл Хан-Муллинз
#Злоумышленники #могут #использовать #поэзию #чтобы #подорвать #защиту #ИИ
По теме
