Doomers, которые настаивают на ИИ, убьют нас всех

Субтитры Библия Doom Будет опубликовано пророками AI Extinction Eliezer Yudkowsky и Nate Soares в конце этого месяца, «почему Superhuman AI убьет нас всех». Но на самом деле это должно быть «почему сверхчеловеческий ИИ убьет нас всех», потому что даже соавторы не верят, что мир примет необходимые меры, чтобы помешать ИИ устранение всех не супер-людей. Книга за пределами темной, чтение, как заметки, нацарапано в тускло освещенной тюремной камере за ночь до казни рассвета. Когда я встречаю этих самозваных Кассандр, я прямо спрашиваю их, если они верят, что они лично встретятся с своими концами через какую-то машинную суперинтеллигентность. Ответы приходят быстро: «Да» и «Да».

Я не удивлен, потому что я прочитал книгу – кстати, кстати Если кто -нибудь его строит, все умираютПолем Тем не менее, это толчок, чтобы услышать это. Одно дело, скажем, написать о статистике рака и совсем другое, чтобы поговорить о том, чтобы смириться с фатальным диагнозом. Я спрашиваю их, как они думают, что конец придет для них. Юдковский в первую очередь уклоняется от ответа. «Я не трачу много времени на изображение моей кончины, потому что это не кажется полезным умственным понятием для решения этой проблемы», – говорит он. Под давлением он смягчается. «Я бы предположил, что внезапно падает мертвым», – говорит он. «Если вам нужна более доступная версия, что -то в размере комара или, может быть, пылевой клеща, приземлившись на заднюю часть моей шеи, и вот так».

Технические детали его воображаемого смертельного удара, нанесенного пылевым клещом, способствующим AI, необъяснимы, и Юдовский не думает, что стоит выяснить, как это будет работать. Он, вероятно, все равно не мог этого понять. Часть центрального аргумента книги заключается в том, что суперинтеллигенность придумывает научные вещи, которые мы не можем понять больше, чем пещерные люди могут представить микропроцессоры. Соавтор Соарес также говорит, что он воображает, что с ним случится то же самое, но добавляет, что он, как и Юдковский, не тратит много времени, останавливаясь на подробности своей кончины.

У нас нет шансов

Нежелание визуализировать обстоятельства их личной кончины – это странная вещь, которую можно услышать от людей, которые только что сочетали в себе целую книгу о все кончина. Для поклонников Doomer-порно, Если кто -то его строит является чтением назначения. После просмотра книги я понимаю нечеткость, прижимая метод, с помощью которого ИИ заканчивает нашу жизнь и всю человеческую жизнь после этого. Авторы немного спекулируют. Кипятить океаны? Блокируя солнце? Все предположения, вероятно, неверны, потому что мы заперты в мышлении 2025 года, и ИИ будет думать о том, что эоны впереди.

Юдковский – самый известный отступник ИИ, переключенный от исследователя на мрачный жнец много лет назад. Он даже закончил TED TalkПолем После многих лет публичных дебатов он и его соавтор отвечали на каждый контраргумент, выпущенный против их ужасного прогнозирования. Для начала, может показаться нелогичным, что наши дни пронумерованы LLMS, которые часто наткнулись на простую арифметику. Не одурачивайте, говорит авторы. «Аис не останется глупым вечно», – пишут они. Если вы думаете, что Superintelligent AIS будет уважать границы, которые рисуют люди, забудьте об этом, говорят они. Как только модели начнут учить себя, чтобы стать умнее, AIS будет развивать «предпочтения» самостоятельно, которые не будут соответствовать тому, что мы, люди, хотим, чтобы они предпочли. В конце концов они не понадобятся нас. Они не будут заинтересовать нас в качестве партнеров по разговорам или даже как домашних животных. Мы были бы неприятностью, и они намеревались ликвидировать нас.

Бой не будет справедливой. Они считают, что поначалу ИИ может потребовать, чтобы человеческая помощь построила свои собственные фабрики и лаборатории – излумито сделан, красть деньги и подкупая людей, чтобы помочь им. Тогда это будет создавать вещи, которые мы не можем понять, и это закончится нам. «Так или иначе, – пишут этих авторов, – мир исчезает к черному».

Авторы рассматривают книгу как своего рода шоковое обращение, чтобы отбросить человечество из его самоуспокоенности и принять радикальные меры, необходимые для того, чтобы остановить это невообразимо плохое заключение. «Я рассчитываю умереть от этого», – говорит Соарес. «Но борьба не закончится, пока не умрет». Поэтому жаль, что решения, которые они предлагают остановить опустошение, кажутся еще более надуманными, чем идея, что программное обеспечение убьет нас всех. Все сводится к этому: ударить тормоза. Следите за центрами обработки данных, чтобы убедиться, что они не воспитывают суперинтеллигентность. Бомбить тех, кто не соблюдает правила. Прекратите публикацию документов с идеями, которые ускоряют марш в суперинтеллигентность. Будут ли они запретили, я спрашиваю их, Бумага 2017 года о трансформаторах Это начало генеративное движение ИИ. О да, они бы отвечали. Вместо чата-GPT они хотят CIAO-GPT. Удачи, остановив эту индустрию триллионов долларов.

Играя в шансы

Лично я не вижу своего собственного света, укусающего от укуса в шее каким-то супер-добавленным пылью. Даже после прочтения этой книги я не думаю, что вполне вероятно, что ИИ убьет нас всех. Yudksowky ранее увлекался Фан-фантастика Гарри Поттераи причудливые сценарии вымирания, которые он вращает, слишком странные, чтобы мой маленький человеческий мозг, чтобы принять. Я предполагаю, что даже если суперинтеллигентность хочет избавиться от нас, она наткнутся на принятие своих планов геноцида. ИИ может быть способен взбить людей в бою, но держу пари против него в битве с законом Мерфи.

Тем не менее, теория катастроф не кажется невозможныйтем более что никто не установил потолок для того, как может стать умный ИИ. Также исследования показывают, что Advanced AI подобрал много неприятных атрибутов человечества, даже Созерцая шантаж предотвратить переподготовку, в одном эксперименте. Также беспокоит то, что некоторые исследователи, которые тратят свою жизнь, создавая и улучшая ИИ, думают, что есть нетривиальная вероятность того, что худшее может произойти. Один опрос показал Это почти половина ученых ИИ, отвечающих, привязали к шансам, что вида протирает как вероятность 10 процентов или выше. Если они верят в это, это безумие, что они каждый день ходят на работу, чтобы сделать Аги.

Моя интуиция говорит мне, что сценарии Юдковский и Спин Soares слишком странные, чтобы быть правдой. Но я не могу быть конечно Они не правы. Каждый автор мечтает о том, что их книга является устойчивой классикой. Не столько эти двое. Если они правы, в будущем нет никого, кто будет читать их книгу. Просто много разлагающихся тел, которые когда -то почувствовали небольшой щелчок на задней части их шеи, а остальное было тишиной.