Кремниевая долина сталкивается с новой мрачной метрикой искусственного интеллекта

Эта статья является частью нашего специального раздела саммита DealBook, в котором приняли участие лидеры бизнеса и политики со всего мира.

Дарио Амодей, исполнительный директор компании Anthropic, занимающейся искусственным интеллектом, ставит свой от 10 до 25 процентов. Лина Хан, председатель Федеральной торговой комиссии, недавно сказала мне, что ее доля составляет 15 процентов. А Эмметт Шир, который в прошлом месяце занимал должность временного генерального директора OpenAI около пяти минут, сказал, что его доля колеблется где-то между 5 и 50 процентами.

Я говорю, конечно, о p(doom), новой ужасной статистике, которая захлестнула Силиконовую долину.

P(doom) — что на математическом языке означает «вероятность гибели» — это то, как некоторые исследователи искусственного интеллекта говорят о том, насколько вероятно, по их мнению, что ИИ убьет нас всех или создаст какой-то другой катаклизм, который угрожает выживанию человечества. Высокий p(гибель) означает, что вы считаете, что апокалипсис ИИ вероятен, а низкий означает, что вы думаете, что мы, вероятно, справимся с этим.

Когда-то p(doom) была шуткой среди любителей искусственного интеллекта на онлайн-форумах, но в последние месяцы она стала мейнстримом, поскольку бум искусственного интеллекта, спровоцированный ChatGPT в прошлом году, породил широко распространенные опасения по поводу того, насколько быстро совершенствуется искусственный интеллект.

Это стало обычным ледоколом среди технических специалистов Сан-Франциско и неотъемлемой частью культуры искусственного интеллекта. В этом году я был на двух технических мероприятиях, где незнакомец спросил мой p(doom) так небрежно, как если бы он спрашивал, как пройти в ванную. «Этот вопрос возникает почти в каждом разговоре за ужином», — рассказал мне Аарон Леви, исполнительный директор облачной платформы данных Box.

P(doom) даже сыграл небольшую роль в драме OpenAI в прошлом месяце. После того как г-н Шир был назначен временным руководителем OpenAI, сотрудники начали распространять отрывок из недавнего подкаста, в котором руководитель заявил, что его p(гибель) может достигать 50 процентов. Некоторые сотрудники беспокоились, что он «обреченный человек» и что он может попытаться замедлить или ограничить их работу, потому что это слишком рискованно, сказал один человек, который был свидетелем обсуждений. (В конце концов, вернулся Сэм Альтман, свергнутый исполнительный директор OpenAI, так что это не имело значения.)

Конечно, поклонники научной фантастики годами строили теории о поглощении роботами. Но после выпуска ChatGPT в прошлом году угроза стала казаться более реальной. В конце концов, если бы модели ИИ выигрывали художественные премии и сдавали экзамен на адвоката, как далеко могла бы быть катастрофа?

Инсайдеры искусственного интеллекта также били тревогу. Джеффри Хинтон, известный исследователь ИИ, который в этом году покинул Google и начал предупреждать о рисках ИИ, недавно оцененный что, если ИИ не будет строго регулироваться, существует 10-процентная вероятность, что он приведет к вымиранию человечества в ближайшие 30 лет. Йошуа Бенджио, которого вместе с г-ном Хинтоном считают одним из «крестных отцов глубокого обучения», сказал в интервью, что, по его мнению, вероятность катастрофы ИИ составляет примерно 20 процентов.

Конечно, никто не знает, с какой вероятностью ИИ нас убьет: 10, 20 или 85,2 процента. И возникает множество очевидных дополнительных вопросов, таких как: будет ли это по-прежнему считаться «гибелью», если только 50 процентов людей умрут в результате ИИ? Что, если бы никто не умер, но мы все остались бы безработными и несчастными? И вообще, как ИИ сможет захватить мир?

Но суть p(обреченности) не в точности. Целью этой миссии является то, чтобы примерно оценить, где кто-то находится в спектре от утопии к антиутопии, и передать, в смутных эмпирических терминах, что вы серьезно задумались об ИИ и его потенциальном влиянии.

Термин p(doom), судя по всему, возник более десяти лет назад на LessWrong, онлайн-форуме, посвященном рационалистическому философскому движению.

Основатель LessWrong, исследователь ИИ-самоучка по имени Элиэзер Юдковски, рано пришел к мысли, что мошеннический ИИ может взять верх, и писал о различных сценариях катастроф ИИ, которые он предполагал. (В то время ИИ едва мог установить кухонный таймер, поэтому риск казался весьма незначительным.)

Г-н Юдковски, который с тех пор стал одним из самых известных думеров в мире ИИ, сказал мне, что он не был автором термина p(doom), хотя и помог его популяризировать. (Он также сказал, что его p(гибель), если нынешние тенденции ИИ сохранятся, будет «да».) Позже этот термин был принят членами движения «Эффективный альтруизм», которые используют логические рассуждения, чтобы прийти к идеям о моральной добродетели.

Я предполагаю, что этот термин был придуман Тимом Тайлером, программистом из Бостона, который использовал его в LessWrong. начиная с 2009 года. В переписке по электронной почте г-н Тайлер сказал, что он использовал этот термин для «отнесения к вероятности гибели, не вдаваясь в подробности относительно временных масштабов или определения «гибели».

Для некоторых разговоры о вашей гибели — это просто пустая болтовня. Но это также стало важным социальным сигналом в дебатах, бушующих в Кремниевой долине между людьми, которые считают, что ИИ развивается слишком быстро, и людьми, которые считают, что он должен двигаться еще быстрее.

Г-н Леви, исполнительный директор Box, принадлежит к более оптимистичному лагерю. Он говорит, что его p(гибель) очень низок — не нулевой, а «настолько низкий, насколько это возможно» — и он делает ставку на то, что мы смягчим большие риски, связанные с ИИ, и избежим наихудших возможных результатов. Его беспокоит не то, что ИИ убьет нас всех, а то, что регулирующие органы и законодатели воспользуются пугающими предсказаниями гибели как основанием для принятия суровых мер в отношении многообещающего молодого сектора.

«Перенапряжение, вероятно, произойдет, если критические политические решения будут приняты слишком рано в развитии ИИ», — сказал он.

Другая проблема с p(doom) заключается в том, что неясно, что считать хорошими или плохими шансами, когда ставки экзистенциальны. Действительно ли вы оптимист, если предсказываете, например, что существует 15-процентная вероятность того, что ИИ убьет каждого человека на Земле? (Иными словами: если бы вы думали, что существует «всего лишь» 15-процентная вероятность того, что следующий самолет, на который вы сядете, разобьется и убьет всех находившихся на борту, вы бы сели в самолет?)

Аджей Котра, старший научный сотрудник Open Philanthropy, изучающий риски ИИ, много времени размышлял о p(doom). Она считает, что это потенциально полезно для краткого описания — для справки, ее p(обреченность) составляет от 20 до 30 процентов — но она также видит и его пределы. Во-первых, p(doom) не учитывает, что вероятность вреда, связанного с ИИ, во многом зависит от того, как мы решим им управлять.

«Я знаю некоторых людей, у которых уровень ap(doom) превышает 90 процентов, и он настолько высок отчасти потому, что они думают, что компании и правительства не будут беспокоиться о передовой практике безопасности и политических мерах», — сказала она мне. «Я знаю других, у которых коэффициент ap(doom) составляет менее 5 процентов, и он настолько низок отчасти потому, что они ожидают, что ученые и политики будут усердно работать, чтобы предотвратить катастрофический ущерб до того, как он произойдет».

Другими словами, вы можете думать о p(doom) как о своего рода тесте Роршаха — статистике, которая, как предполагается, касается ИИ, но в конечном итоге показывает больше о том, как мы относимся к людии нашу способность использовать новые мощные технологии, сохраняя при этом риски.

Итак, какой у тебя?