Как стажер помог создать ИИ, который потряс мир

В марте 2016 года система искусственного интеллекта AlphaGo компании Google DeepMind потрясла мир. В потрясающем пятиматчевая серия Годревней китайской настольной игре, ИИ победил лучшего игрока в мире Ли Седоля – момент, который транслировался по телевидению перед миллионами и многие приветствовали как исторический момент в развитии искусственного интеллекта.

Крис Мэддисонныне профессор искусственного интеллекта в Университете Торонто, тогда был студентом магистратуры и помог сдвинуть проект с мертвой точки. Все началось, когда Ilya Sutskeverкоторый позже основал OpenAI, вышел на связь…

Алекс Уилкинс: Как впервые возникла идея AlphaGo?

Крис Мэддисон — Илья [Sutskever] дал мне следующий аргумент в пользу того, почему нам следует работать над Go. Он спросил: Крис, как ты думаешь, когда опытный игрок смотрит на доску го, он может выбрать лучший ход за полсекунды? Если вы думаете, что могут, то это означает, что вы можете научиться довольно хорошей политике выбора лучшего хода с помощью нейронной сети.

Причина в том, что полсекунды — это время, необходимое для вашего зрительная кора сделать один проход вперед [a round of processing]и мы уже знали из ImageNET [an important AI image-recognition competition] что мы довольно хорошо аппроксимируем вещи, для которых требуется только один проход вашей зрительной коры.

Я поверил этому аргументу и решил присоединиться. [Google Brain] в качестве стажера летом 2014 года.

Как AlphaGo развивалась дальше?

Когда я присоединился, в DeepMind была еще одна небольшая команда, с которой мне предстояло работать: Аджа Хуанг и Дэвид Сильвер, которые начали работать над Go. По сути, мне было поручено начать создание нейронные сети. Это был сон.

Мы испробовали множество разных подходов, и многие из первых, которые мы пробовали, потерпели неудачу. В конце концов я просто разочаровался и попробовал самую глупую и простую вещь: попытаться предсказать следующий ход, который сделает эксперт в данной позиции на доске, обучая нейронную сеть на большом корпусе экспертов. игры. И именно этот подход действительно помог нам сдвинуться с мертвой точки.

В конце лета мы провели небольшой матч с Тором Грепелем из DeepMind, который считал себя приличным игроком в го, и мои сети обыграли его. Затем DeepMind начал убеждаться, что это будет реальностью, и начал вкладывать в это ресурсы и строить вокруг этого большую команду.

Насколько сложной была задача победить Ли Седоля?

Помню, летом 2014 года портрет Ли Седоля практически стоял рядом на столе. Я не игрок в Го, но играю в Аджа [Huang] является. Каждый раз, когда я строил новую сеть, она становилась немного лучше, и я обращался к Адже и говорил: «Хорошо, мы немного лучше, насколько мы близки к Ли Седолю?» А Аджа поворачивался ко мне и говорил: Крис, ты не понимаешь. Ли Седоль – в одном камне от Бога.

Вы покинули команду AlphaGo перед большим событием. Почему?

Дэйвид [Silver] сказал, что мы хотели бы оставить вас и действительно вывести этот проект на новый уровень, и, оглядываясь назад, можно сказать, что это было, возможно, одно из самых глупых решений, которые я принял, я ему отказал. Я сказал, что думаю, мне нужно сосредоточиться на докторской диссертации, поскольку в душе я академик. Я вернулся к своей докторской диссертации и с этого момента свободно консультировался с проектом. Я немного горжусь тем, что им потребовалось время, чтобы победить мои нейронные сети. Но в конечном итоге артефакт, сыгравший Ли Седоля, был продуктом большой инженерия усилия и большая команда.

Какая была атмосфера в Сеуле, когда AlphaGo победила?

Было трудно выразить то, что я был в Сеуле в тот момент. Это было эмоционально. Это было интенсивно. Было ощущение беспокойство. Ты входишь уверенно, но никогда не знаешь наверняка. Это как спортивная игра. По статистике, вы лучший игрок, но никогда не знаешь, как все обернется. Я помню, как был в отеле, где мы играли матчи, и смотрел в окно. Мы находились на достаточно высокой высоте, чтобы можно было увидеть один из главных перекрестков города. Я понял, что там был большой экран, вроде Таймс-сквер, на котором показывался наш матч. А потом я посмотрел на тротуары и увидел, что люди просто выстроились в очередь и смотрят на экран. Я слышал цифры о том, что первую игру в Китае посмотрели сотни миллионов людей, но я помню тот момент так: «О Боже, мы действительно остановили Восточную Азию».

Насколько важна AlphaGo для ИИ в целом?

Многое изменилось на поверхностном уровне в мире большие языковые модели (LLM), они теперь в чем-то сильно отличаются от AlphaGo, но на самом деле существует основная технологическая нить, которая на самом деле не изменилась.

Итак, первая часть алгоритма — обучить нейронную сеть прогнозировать следующий ход. Сегодняшние LLM начинаются с того, что мы называем предварительной тренировкой, чтобы предсказать следующее слово, на основе большого массива человеческого текста, который можно найти в основном в Интернете.

На втором этапе AlphaGo мы взяли информацию из человеческого тела, которая была сжата в эти нейронные сети, и усовершенствовали ее с помощью обучения с подкреплением, чтобы привести поведение системы в соответствие с целью победы в играх.

Когда вы учитесь предсказывать следующий ход эксперта, он пытается победить, но это не единственное, что объясняет следующий ход. Возможно, они не понимают, какой ход лучший, возможно, они допустили ошибку, поэтому вам нужно привести всю систему в соответствие с вашей истинной целью, которой в случае с AlphaGo была победа.

В больших языковых моделях после предварительного обучения то же самое. Сети не соответствуют тому, как мы хотим их использовать, поэтому мы делаем ряд обучение с подкреплением шаги, которые приводят сети в соответствие с нашими целями.

В некотором смысле мало что изменилось.

Говорит ли это нам что-нибудь о том, где мы можем ожидать успеха ИИ?

Это имеет последствия с точки зрения того, на чем мы решаем сосредоточиться. Если вы беспокоитесь о прогрессе в решении важных задач, ключевые узкие места, о которых вам следует беспокоиться, — это достаточно ли у вас данных для предварительной тренировки и есть ли у вас сигналы вознаграждения для выполнения пост-тренировки. Если у вас нет этих ингредиентов, в этом нет ничего умного – знаете, это алгоритм по сравнению с этим алгоритмом – это поможет вам сдвинуться с мертвой точки.

Испытывали ли вы симпатию к Ли Седолю?

Ли Седоль был этим кумиром летом 2014 года, этой недостижимой вехой. Внезапно оказаться там лично, наблюдая за матчами, его стресс, его беспокойство, его осознание того, что это был гораздо более достойный соперник, чем, возможно, он думал, входя в игру, это было очень стрессово. Вы не хотите ставить кого-то в такое положение. Когда он проиграл матч, он извинился перед человечеством и сказал: «Это моя ошибка, а не ваша». Это было трагично.

В Го также есть возможность просматривать матч с соперником. Кто-то выигрывает или проигрывает, но вы просматриваете матч в конце, раскручиваете игру и изучаете варианты друг с другом. Ли Седоль не мог этого сделать, потому что AlphaGo не был человеком, поэтому вместо этого он попросил своих друзей прийти и просмотреть матч, но это совсем не то же самое. В этом было что-то душераздирающее.

Но я не оценил всего человек против машины повествования вокруг матча, потому что AlphaGo создала команда людей. Это были усилия племени, создавшего артефакт, который мог бы достичь совершенства в человеческой игре. В конечном итоге это был артефакт, в который ушла вся наша кровь, пот и слезы.

Считаете ли вы, что в мире еще есть место для людей, поскольку ИИ выполняет больше человеческой мыслительной работы?

Мы узнаем больше об игре Го, и если мы думаем, что игра прекрасна, что мы и делаем, и ИИ может рассказать нам больше об этой красоте, в этом тоже есть много хорошего. Есть разница между целями и задачами. Цель игры в Го – победить, но это не единственная ее цель – еще одна цель – развлечься. Настольные игры не уничтожаются присутствием ИИ; шахматы — процветающая индустрия. Мы по-прежнему ценим интригу и человеческие достижения этого вида спорта.

Темы: