Мелани Митчелл из NeurIPS говорит, что ИИ нуждается в более качественных тестах

Когда люди хотят трезво оценить состояние искусственный интеллект и что все это значит, они склонны обращаться к Мелани Митчеллученый-компьютерщик и профессор в Институте Санта-Фе. Ее книга 2019 года, Искусственный интеллект: руководство для думающих людейпомог определить современный разговор о том, что могут и чего не могут делать современные системы искусственного интеллекта.

Мелани Митчелл

Сегодня в НейрИПСкрупнейшем собрании профессионалов в области искусственного интеллекта в этом году, она дала основной доклад под названием «О науке»Инопланетный разум»: Оценка когнитивных способностей младенцев, Животныеи ИИ». Перед выступлением она поговорила с IEEE-спектр о его темы: Wпочему сегодняшние системы искусственного интеллекта следует изучать больше как невербальные умы, какие развивающие и сравнительные психология могут научить исследователей ИИ, и как более эффективные экспериментальные методы могут изменить способы измерения машинного познания.

Вы используете фразу «инопланетный разум» как для искусственного интеллекта, так и для биологического разума, такого как младенцы и животные. Что ты имеешь в виду?

Мелани Митчелл: Надеюсь, вы заметили кавычки вокруг слова «инопланетный разум». Я цитирую статью автора [the neural network pioneer] Терренс Сейновски где он говорит о ЧатGPT как быть похожим на космического пришельца который может общаться с нами и кажется умным. И еще одна статья психолога развития. Майкл Франк который играет на эту тему и говорит: мы в психологии развития изучаем инопланетный разума именно младенцы. И у нас есть некоторые методы, которые, по нашему мнению, могут быть полезны при анализе интеллекта ИИ. Вот во что я играю.

Когда люди говорят об оценке интеллекта с помощью ИИ, какой интеллект они пытаются измерить? Рассуждение, абстракция, моделирование мира или что-то еще?

Митчелл: Все вышеперечисленное. Люди имеют в виду разные вещи, когда используют слово «интеллект», а сам интеллект, как вы говорите, имеет все эти разные измерения. Итак, я использовал термин «когнитивные способности», который является более конкретным. Я изучаю, как различные когнитивные способности оцениваются в психологии развития и сравнительной психологии, и пытаюсь применить некоторые принципы из этих областей к ИИ.

Текущие проблемы в оценке когнитивных способностей ИИ

Вы говорите, что в области ИИ не хватает хороших экспериментальных протоколов для оценки когнитивных способностей. Как сегодня выглядит оценка ИИ?

Митчелл: Типичный способ оценки системы ИИ — иметь некоторый набор ориентирыа также запустить вашу систему на этих тестовых задачах и сообщить о точности. Но часто оказывается, что хотя те системы искусственного интеллекта, которые у нас сейчас есть, просто убивают его в тестах, они превосходят людей, но эта производительность не часто приводит к производительности в реальном мире. Если система ИИ успешно сдает экзамен на адвоката, это не значит, что она станет хорошим юристом в реальном мире. Часто машины хорошо справляются с этими конкретными вопросами, но не могут делать обобщения. Кроме того, тесты, предназначенные для оценки людей, делают предположения, которые не обязательно актуальны или верны для систем ИИ, например, о том, насколько хорошо система способна запоминать.

Будучи ученым-компьютерщиком, я не проходил никакого обучения экспериментальной методологии. Проведение экспериментов с системами искусственного интеллекта стало основной частью оценки систем, и большинство людей, пришедших на смену информатике, не прошли такой подготовки.

Что психологи развития и сравнительные психологи знают об исследованиях когнитивных функций, о чем должны знать и исследователи ИИ?

Митчелл: Будучи студентом психологии, вы изучаете всевозможные экспериментальные методологии, особенно в таких областях, как психология развития и сравнительная психология, поскольку они являются невербальными агентами. Вы должны действительно творчески мыслить, чтобы найти способы их исследовать. Поэтому у них есть всевозможные методологии, которые включают очень тщательные контрольные эксперименты и множество вариаций стимулов для проверки устойчивости. Они внимательно изучают виды сбоев, почему система [being tested] может потерпеть неудачу, поскольку эти неудачи могут дать больше понимания того, что происходит, чем успех.

Можете ли вы привести мне конкретный пример того, как выглядят эти экспериментальные методы в психологии развития или сравнительной психологии?

Митчелл: Одним из классических примеров является Умный Ганс. Был такой конь, Умный Ганс, который, казалось, умел выполнять все виды арифметики, счета и другие числовые задачи. И лошадь выстукивает ответ копытом. В течение многих лет люди изучали это и говорили: “Я думаю, что это реально. Это не обман”. Но тогда психолог подошел и сказал: «Я собираюсь хорошенько подумать о том, что происходит, и провести несколько контрольных экспериментов». А его контрольные эксперименты заключались в следующем: во-первых, завязать лошади глаза, а во-вторых, поставить экран между лошадью и задающим вопрос. Оказывается, если лошадь не видит того, кто задает вопрос, она не сможет выполнить задание. Он обнаружил, что лошадь на самом деле воспринимала очень тонкие сигналы выражения лица спрашивающего, чтобы знать, когда прекратить постукивать. Поэтому важно найти альтернативные объяснения происходящему. Скептически относиться не только к чужим исследованиям, но, может быть, даже к своим собственным исследованиям, своей любимой гипотезе. Я не думаю, что это происходит достаточно часто в ИИ.

Есть ли у вас какие-либо тематические исследования, посвященные младенцам?

Митчелл: У меня есть один случай, когда младенцы были утверждал, что обладает врожденным моральным чувством. В ходе эксперимента им показывали видеоролики, где персонаж мультфильма пытался подняться на холм. В одном случае был другой персонаж, который помог им подняться на холм, а в другом случае был персонаж, который столкнул их с холма. Итак, был помощник и помеха. Детей оценивали по тому, какой персонаж им понравился больше (и у них было несколько способов сделать это), и в подавляющем большинстве им больше нравился персонаж-помощник. [Editor’s note: The babies were 6 to 10 months old, and assessment techniques included seeing whether the babies reached for the helper or the hinderer.]

Но другая исследовательская группа очень внимательно изучила эти видео и обнаружила, что на всех видео с помощниками альпинист, которому помогали, был рад добраться до вершины холма и подпрыгивал вверх и вниз. И поэтому они сказали: «Ну, а что, если в случае с препятствием альпинист подпрыгивает вверх и вниз у подножия холма?» И это полностью изменил результаты. Малыши всегда выбирали ту, которая подпрыгивала.

Опять же, придумывать альтернативы, даже если у вас есть любимая гипотеза, — это то, как мы занимаемся наукой. Одна вещь, которая меня всегда немного шокирует в сфере искусственного интеллекта, это то, что люди используют слово «скептик» в отрицательном смысле: «Вы скептик, получивший степень магистра права». Но наша работа — быть скептиками, и это должно быть комплиментом.

Важность репликации в исследованиях ИИ

Оба эти примера иллюстрируют тему поиска противоположных объяснений. Есть ли еще важные уроки, которые, по вашему мнению, исследователи ИИ должны извлечь из психологии?

Митчелл: Что ж, в науке в целом идея повторения экспериментов действительно важна, а также опирается на работы других людей. Но, к сожалению, в мире ИИ это немного не одобряется. Если вы, например, отправите в NeurIPS статью, в которой вы воспроизвели чью-то работу, а затем сделаете что-то постепенное, чтобы понять ее, рецензенты скажут: «В этом нет новизны, и она постепенная». Это поцелуй смерти для вашей газеты. Я считаю, что это следует ценить больше, потому что именно так делается хорошая наука.

Возвращаясь к измерению когнитивных способностей ИИ, много говорят о том, как мы можем измерять прогресс в направлении ОИИ. Это совсем другая порция вопросов?

Митчелл: Ну и термин ОИИ немного туманно. Люди определяют это по-разному. Я думаю, что трудно измерить прогресс в чем-то, что не так четко определено. И наше представление об этом продолжает меняться, частично в ответ на то, что происходит с ИИ. В старые времена искусственного интеллекта люди говорили об интеллекте человеческого уровня и о том, что роботы способны делать все физические вещи, которые делают люди. Но люди посмотрели робототехника и сказал: “Ну, ладно, это произойдет не скоро. Давайте просто поговорим о том, что люди называют когнитивной стороной интеллекта”, которое, я не думаю, на самом деле так уж разделено. Так что я немного скептически отношусь к AGI, если хотите, в лучшем смысле.