Математические расчеты по агентам ИИ не сходятся

Большой ИИ компании обещал нам что 2025 год станет «годом агентов ИИ». Это оказался год говорю о Агенты искусственного интеллекта и отказ от этого трансформационного момента до 2026 года или, может быть, позже. Но что, если ответ на вопрос «Когда наша жизнь будет полностью автоматизирована с помощью генеративных роботов с искусственным интеллектом, которые выполняют за нас наши задачи и, по сути, управляют миром?» это вот так Карикатура из Нью-Йорка«А как насчет никогда?»

По сути, такова была идея статьи, опубликованной без особой помпы несколько месяцев назад, как раз в середине разрекламированного года «агентного ИИ». Уполномоченный “Станции галлюцинаций: о некоторых основных ограничениях языковых моделей на основе преобразователей». он призван математически показать, что «LLM неспособны выполнять вычислительные и агентические задачи, превышающие определенную сложность». Хотя эта наука мне не по плечу, авторы — бывший технический директор SAP, изучавший искусственный интеллект под руководством одного из интеллектуалов-основателей этой области, Джона Маккарти, и его одаренного сына-подростка — пронзили представление об агентном рае математической уверенностью. По их словам, даже модели рассуждения, выходящие за рамки чистого процесса предсказания слов в LLM, не решат проблему.

«Они не могут быть надежными», — говорит мне отец Вишал Сикка. После карьеры, которая, помимо SAP, включала работу в качестве генерального директора Infosys и члена совета директоров Oracle, в настоящее время он возглавляет стартап, предоставляющий услуги искусственного интеллекта, под названием Виана. «Значит, нам следует забыть об агентах ИИ, управляющих атомными электростанциями?» — спрашиваю я. «Именно», — говорит он. Возможно, вам удастся заставить его подать какие-нибудь документы или что-то еще, чтобы сэкономить время, но, возможно, вам придется смириться с некоторыми ошибками.

Индустрия искусственного интеллекта выглядит иначе. Во-первых, большим успехом в области ИИ агентов стало программирование, которое началось в прошлом году. Буквально на этой неделе в Давосе лауреат Нобелевской премии по искусственному интеллекту Google Демис Хассабис сообщили о прорывах в минимизации галлюцинаций, а гипермасштаберы и стартапы продвигают идею агента. Теперь у них есть резервная копия. Стартап под названием Гармонический сообщает о прорыве в программировании искусственного интеллекта, который также зависит от математики, и превосходит тесты по надежность.

Компания Harmonic, соучредителями которой являются генеральный директор Robinhood Влад Тенев и математик, получивший образование в Стэнфорде Тюдор Ахим, утверждает, что недавнее улучшение ее продукта под названием Aristotle (никакой гордыни!) является показателем того, что существуют способы гарантировать надежность систем искусственного интеллекта. “Обречены ли мы оказаться в мире, где ИИ просто генерирует помои, а люди не могут это контролировать? Это был бы сумасшедший мир”, – говорит Ахим. Решение Harmonic заключается в использовании формальных методов математического рассуждения для проверки результатов LLM. В частности, он кодирует выходные данные на языке программирования Lean, который известен своей способностью проверять код. Конечно, на сегодняшний день сфера деятельности Harmonic узкая: ее ключевой миссией является достижение «математического сверхинтеллекта», а программирование является своего рода органичным продолжением. Такие вещи, как исторические эссе, которые невозможно проверить математически, находятся за его пределами. На данный момент.

Тем не менее, Ахим, похоже, не считает, что надежное поведение агентов является такой уж серьезной проблемой, как полагают некоторые критики. «Я бы сказал, что большинство моделей на данный момент обладают уровнем чистого интеллекта, необходимым для того, чтобы рассуждать при бронировании маршрута путешествия», — говорит он.

Обе стороны правы – или, может быть, даже на одной и той же стороне. С одной стороны, все согласны с тем, что галлюцинации по-прежнему будут неприятной реальностью. В статья, опубликованная в сентябре прошлого года, Ученые OpenAI написали: «Несмотря на значительный прогресс, галлюцинации продолжают преследовать эту область и все еще присутствуют в последних моделях». Они доказали это неутешительное утверждение, попросив три модели, включая ChatGPT, указать название диссертации ведущего автора. Все трое придумали фальшивые названия и неверно указали год публикации. В блоге о статье OpenAI мрачно заявила, что в моделях ИИ «точность никогда не достигнет 100 процентов».