Агенты ИИ — ужасные фрилансеры

Даже лучший искусственный интеллект агенты довольно безнадежны в онлайн-работе фрилансеров, согласно эксперименту, который бросает вызов идее массовой замены ИИ офисных работников.

Индекс удаленной работы, новый эталон, разработанный исследователями компании Scale AI и некоммерческой организации Центра безопасности ИИ (CAIS), измеряет способность передовых моделей ИИ автоматизировать экономически ценную работу.

Исследователи предложили нескольким ведущим ИИ-агентам ряд симулированных внештатных работ и обнаружили, что даже лучшие из них могут выполнить менее 3 процентов работы, заработав 1810 долларов из возможных 143 991 доллара. Исследователи рассмотрели несколько инструментов и пришли к выводу, что наиболее эффективным оказался Manus из одноименного китайского стартапа, за ним следуют Grok из xAI, Claude из Anthropic, ChatGPT из OpenAI и Gemini из Google.

«Я надеюсь, что это даст гораздо более точное представление о том, что происходит с возможностями ИИ», — говорит Дэн Хендрикс, директор CAIS. Он добавляет, что, хотя некоторые агенты значительно улучшились за последний год или около того, это не означает, что ситуация будет продолжаться такими же темпами.

Впечатляющие достижения в области ИИ привели к предположениям о том, что ИИ вскоре превзойдет человеческий интеллект и заменит огромное количество рабочих. В марте Дарио Амодей, генеральный директор Anthropic, предположил, что 90 процентов кода работает будет автоматизировано в течение нескольких месяцев.

Предыдущие волны искусственного интеллекта породили неверные прогнозы о сокращении рабочих мест, например, относительно скорая замена рентгенологов с алгоритмами ИИ.

Исследователи сгенерировали ряд внештатных задач через проверенных сотрудников Upwork. Задачи охватывают широкий спектр работ, включая графический дизайн, редактирование видео, разработку игр и административную работу, например сбор данных. Они объединили описание каждой работы с каталогом файлов, необходимых для выполнения работы, и примером готового проекта, созданного человеком.

Хендрикс говорит, что, хотя модели ИИ стали лучше при кодированииматематика и логические рассуждения в последние годы им все еще трудно использовать различные инструменты и выполнять сложные задачи, требующие большого количества шагов. “У них нет долговременной памяти, и они не могут постоянно учиться на собственном опыте. Они не могут приобретать навыки на работе, как люди”, – говорит он.

Анализ предлагает противовес эталону экономической работы, предложенному в сентябре OpenAI под названием ВВПвалкоторый призван измерять экономически ценный труд. По данным GDPval, передовые модели искусственного интеллекта, такие как GPT-5, приближаются к человеческим возможностям при выполнении 220 задач в различных офисных должностях. OpenAI не предоставила комментариев.