Квартира Кати Грейс в Западном Беркли находится в здании старой машиностроительной фабрики со скатными крышами и окнами, расположенными под странными углами. Здесь терракотовые полы и отсутствие центрального отопления, что может создать впечатление, будто вы вышли из калифорнийского солнца в более темное место где-то давно или далеко. Тем не менее, есть и некоторые футуристические штрихи. По углам гудят мощные очистители воздуха. Нескоропортящиеся продукты сложены в кладовке. Гладкий белый аппарат, который проводит тесты на РНК лабораторного качества. Виды объектов, которые могут предвещать будущее легкости, обеспеченной технологиями, или будущее постоянной бдительности.
Грейс, ведущий исследователь некоммерческой организации AI Impacts, описывает свою работу как «размышление о том, уничтожит ли ИИ мир». Она тратит свое время на написание теоретических статей и публикаций в блогах о сложных решениях, связанных с развивающейся областью, известной как безопасность ИИ. Она нервно улыбается, слишком болтлива и немного болтлива; ей за тридцать, но выглядит она почти как подросток, с средней частью тела и круглым открытым лицом. Квартира забита книгами, и когда однажды в ноябре к нам пришел друг Грейс, он некоторое время, ошеломленный, но непредвзято, рассматривал несколько корешков: «Еврейская этика развода», «Еврейский путь в смерти». и траур», «Смерть смерти». Грейс, насколько ей известно, не еврейка и не умирает. Она позволила двусмысленности задержаться на мгновение. Затем она объяснила: ее домовладелец хотел, чтобы имущество предыдущего жильца, его недавно умершей бывшей жены, осталось нетронутым. «Честно говоря, какое-то облегчение», — сказала Грейс. «Один набор решений, которые мне не нужно принимать».
Весь день она готовила ужин на шестерых: салат из йогурта и огурцов, невозможные говяжьи гирос. В одном углу доски она разбила свои предпраздничные задания на кропотливые маленькие шаги («Нарезать салат», «Смешать салат», «Сформовать мясо», «Приготовить мясо»); на других частях доски она написала еще несколько гномических подсказок («Пищевая зона», «Предметы», «Вещества»). Ее друг, криптограф из Android по имени Пол Кроули, носил черную футболку и черные джинсы и выкрасил черные волосы. Я спросил, откуда они знают друг друга, и он ответил: «О, мы пересекались много лет, будучи частью сцены».
Было понятно, что под «сценой» подразумевались несколько переплетенных между собой субкультур, известных своими исчерпывающими дебатами о малопонятных вопросах (безопасный синтез ДНК, благополучие креветок), которые члены считают важными, но о которых большинство нормальных людей ничего не знают. На протяжении двух десятилетий или около того один из этих вопросов заключался в том, сможет ли искусственный интеллект возвысить человечество или уничтожить его. Пессимистов называют сторонниками ИИ-безопасности или сторонниками замедления, а когда они чувствуют особую панику, ИИ-обреченными. Они находят друг друга в Интернете и часто в конечном итоге живут вместе в групповых домах в районе залива, иногда даже воспитывая своих детей вместе и обучая их на дому. До бума доткомов районы Аламо-сквер и Хейс-Вэлли с их рядными домами в пастельном викторианском стиле ассоциировались с уравновешенной домашней жизнью. В прошлом году, ссылаясь на «хакерские дома» ИИ, газета San Francisco Standard полуиронично назвала этот район Церебральной долиной.
Лагерь технооптимистов отвергает ИИ-думеризм старомодным либертарианским бумеризмом, настаивая на том, что все заламывания рук по поводу экзистенциального риска — это своего рода массовая истерия. Они называют себя «эффективными акселерационистами» или e/accs (произносится как «e-acks») и верят, что ИИ откроет утопическое будущее – межзвездные путешествия, конец болезней – пока беспокоящиеся люди не будут мешать. . В социальных сетях они троллят пессимистов, называя их «децелами», «психопатами», «по сути террористами» или, что хуже всего, «бюрократами, любящими регулирование». «Мы должны украсть огонь разума у богов [and] используйте его, чтобы продвинуть человечество к звездам», — недавно написал в Твиттере ведущий e/acc. (А еще есть нормальные люди, базирующиеся где угодно, кроме Района Залива или Интернета, которые по большей части игнорируют дебаты, приписывая их научно-фантастическому вздору или корпоративному пустословию.)
Вечеринки Грейс, полуподпольные встречи для думеров и любопытствующих думеров, были описаны как «связующее звено в сфере искусственного интеллекта в районе Залива». На подобных собраниях нередко можно услышать, как кто-то начинает разговор, спрашивая: «Каковы ваши сроки?» или «Какой у тебя р(дум)?» Временные рамки — это прогнозы того, как скоро ИИ преодолеет определенные контрольные показатели, такие как написание поп-песни из Top-40, научный прорыв, достойный Нобелевской премии, или достижение общего искусственного интеллекта, точки, в которой машина сможет выполнять любую когнитивную задачу, которую может выполнить человек. делать. (Некоторые эксперты полагают, что искусственный интеллект невозможен или появится через десятилетия; другие ожидают, что он появится в этом году.) P (гибель) — это вероятность того, что, если ИИ действительно станет умнее людей, он намеренно или случайно уничтожит все на планете. В течение многих лет даже в кругах Залива такие спекулятивные разговоры оставались на обочине. В прошлом году, после того как OpenAI выпустила ChatGPT, языковую модель, которая могла звучать невероятно естественно, они внезапно ворвались в мейнстрим. Сейчас несколько сотен человек работают полный рабочий день, чтобы спасти мир от катастрофы, вызванной искусственным интеллектом. Некоторые консультируют правительства или корпорации по поводу их политики; некоторые работы над техническими аспектами безопасности ИИ, рассматривая ее как набор сложных математических задач; Грейс работает в своего рода аналитическом центре, который проводит исследования по «вопросам высокого уровня», например: «Какую роль системы искусственного интеллекта будут играть в обществе?» и «Будут ли они преследовать «цели»?» Когда они не занимаются лоббистской деятельностью в Вашингтоне или не встречаются на международной конференции, их пути часто пересекаются в таких местах, как гостиная Грейс.
Остальные гости приходили один за другим: специалист по квантовым вычислениям; бывший исследователь OpenAI; руководитель института прогнозирования будущего. Грейс предложила вино и пиво, но большинство людей предпочли безалкогольные консервированные напитки, которые не поддавались простому описанию (ферментированный энергетический напиток, «хмельной чай»). Они отнесли свои «Невозможные гироскопы» на диван Грейс, где проговорили до полуночи. Они были вежливы, неприятны и удивительно терпеливы в пересмотре основных предположений. «Мне кажется, суть беспокойства можно свести к очень простому двухэтапному аргументу», — сказал Кроули. «Шаг первый: мы строим машины, которые могут стать намного умнее нас. Шаг второй: Это кажется довольно опасным».
— А мы уверены? Об этом заявил Джош Розенберг, генеральный директор Научно-исследовательского института прогнозирования. — О том, что разведка сама по себе опасна?
Грейс отметила, что не все разумные виды представляют угрозу: «Есть слоны, но мыши, похоже, все еще чувствуют себя нормально».
«Кролики, безусловно, более умны, чем миксоматоз», — сказал Майкл Нильсен, эксперт по квантовым вычислениям.
P(гибель) Кроули была «значительно выше восьмидесяти процентов». Остальные, опасаясь называть какое-либо число, уступили место Грейс, которая сказала, что, «учитывая мое глубокое замешательство и неуверенность по этому поводу – которые, я думаю, есть почти у всех, по крайней мере, у всех, кто честен», она могла только сузить свое мнение. гибель) до «от десяти до девяноста процентов». Тем не менее, продолжила она, «десятипроцентная вероятность вымирания человечества, очевидно, если относиться к этому серьезно, неприемлемо высока».
Они согласились, что среди тысяч реакций на ChatGPT одно из самых откровенных оценок пришло от Снуп Догга во время интервью на сцене. Кроули открыл стенограмму и прочитал вслух. «Это небезопасно, потому что у ИИ есть собственный разум, и эти ублюдки начнут делать свое дерьмо», — сказал Снуп, перефразируя аргумент о безопасности ИИ. — Черт, что за херня? Кроули рассмеялся. «Я должен признать, что это отражает эмоциональный тон гораздо лучше, чем мой двухэтапный аргумент», — сказал он. А затем, как бы оправдывая момент легкомыслия, он зачитал еще одну цитату, на этот раз из эссе К. С. Льюиса 1948 года: «Если мы все собираемся быть уничтоженными атомной бомбой, пусть эта бомба, когда она придет, найдет нас». заниматься разумными и человечными делами — молиться, работать, учить, читать, слушать музыку, купать детей, играть в теннис, болтать с друзьями за пинтой пива и игрой в дартс — а не сбиваться в кучу, как испуганные овцы».
Грейс раньше работал на Элиэзера Юдковского, бородатого парня в шляпе, с раздражительным поведением и ап(обреченностью) девяноста девяти процентов. Выросший в Чикаго как ортодоксальный еврей, он бросил школу после восьмого класса, самостоятельно изучил исчисление и атеизм, начал вести блог и в начале двухтысячных годов отправился в район залива. Среди его самых известных работ — «Гарри Поттер и методы рационального мышления», фанфик объемом более шестисот тысяч слов, и «Последовательности», гигантская серия эссе о том, как обострить мышление. Неформальный коллектив, выросший вокруг этих сочинений — сначала в комментариях, а затем в физическом мире — стал известен как сообщество рационалистов, небольшая субкультура, стремящаяся избегать «типичных ошибок человеческого разума», часто исходя из первых принципов. или количественную оценку потенциальных рисков. Натан Янг, инженер-программист, рассказал мне: «Я помню, как услышал об Элиэзере, который был известен как грузный парень, на сцене какого-то рационалистического мероприятия, который просил толпу предсказать, сможет ли он сильно похудеть. Затем большое открытие: он расстегивает молнию толстого костюма, который был на нем. Он уже похудел. Я думаю, что его якобы точка зрения заключалась в том, что трудно предсказывать будущее, но больше всего я помню, как думал: «Какая абсолютная легенда».
Юдковский был трансгуманистом: человеческий мозг собирались загрузить в цифровой мозг еще при его жизни, и это было отличной новостью. Недавно он рассказал мне, что «Элиезер в возрасте от шестнадцати до двадцати лет» предполагал, что ИИ «будет всегда приносить массу удовольствия всем, и хотел, чтобы он был создан как можно скорее». В 2000 году он стал соучредителем Института сингулярности искусственного интеллекта, чтобы ускорить революцию в области искусственного интеллекта. Тем не менее, он решил провести должную осмотрительность. «Я не понимал, почему ИИ убивает всех, но я чувствовал себя обязанным систематически изучать этот вопрос», — сказал он. «Когда я это сделал, я подумал: «О, наверное, я ошибался». Он написал подробные официальные документы о том, как ИИ может уничтожить нас всех, но его предупреждения остались без внимания. В конце концов он переименовал свой аналитический центр в Научно-исследовательский институт машинного интеллекта, или МИРИ.
Экзистенциальная угроза, исходящая от ИИ, всегда была среди центральных проблем рационалистов, но она стала доминирующей темой примерно в 2015 году, после стремительного развития машинного обучения. Некоторые рационалисты общались с оксфордскими философами, в том числе с Тоби Ордом и Уильямом Макаскиллом, основателями движения эффективного альтруизма, изучавшего, как принести человечеству наибольшую пользу (и, соответственно, как избежать его прекращения). Границы между движениями все больше размывались. Юдковски, Грейс и еще несколько человек летали по всему миру на конференции EA, где можно было поговорить о рисках, связанных с ИИ, и при этом вас не высмеяли бы из комнаты.
Философы судьбы склонны зацикливаться на сложных гипотезах с оттенком научной фантастики. Грейс познакомила меня с Джо Карлсмитом, философом, получившим образование в Оксфорде, который только что опубликовал статью о «интригах ИИ», которые могут убедить своих кураторов-людей в том, что они в безопасности, а затем взять на себя управление. Он застенчиво улыбнулся, излагая мысленный эксперимент, в котором гипотетического человека заставляют складывать кирпичи в пустыне на миллион лет. «Я понимаю, что это может быть много», — сказал он. Юдковский утверждает, что сверхразумная машина может увидеть в нас угрозу и решить убить нас (скажем, захватив существующие автономные системы вооружения или создав свою собственную). Или же наша гибель может произойти «мимоходом»: вы просите суперкомпьютер повысить собственную скорость обработки данных, и он приходит к выводу, что лучший способ сделать это — превратить все близлежащие атомы в кремний, включая те атомы, которые в настоящее время являются людьми. Но основные аргументы в пользу безопасности ИИ не требуют представления о том, что нынешнее поколение чат-ботов Verizon внезапно превратится в Скайнет, цифрового суперзлодея из «Терминатора». Чтобы быть опасным, ИИИ не обязательно должен быть разумным или желать нашего уничтожения. Если его цели противоречат человеческому процветанию, даже в неявных отношениях, то, говорят обреченные, мы облажались.
2024-03-11 10:00:00
1710163627
#Среди #предсказателей #ИИ #Житель #НьюЙорка
