OpenAI просит подрядчиков загружать работы с прошлых работ, чтобы оценить производительность агентов ИИ

OpenAI спрашивает сторонним подрядчикам загружать реальные задания и задачи со своих текущих или предыдущих рабочих мест, чтобы они могли использовать данные для оценки производительности своего следующего поколения. модели искусственного интеллектаСогласно записям OpenAI и компании Handshake AI, занимающейся обучением, полученной WIRED.

Судя по всему, проект является частью усилий OpenAI по созданию человеческого базового уровня для различных задач, который затем можно будет сравнить с моделями ИИ. В сентябре компания запустила новый оценка процесс измерения эффективности моделей искусственного интеллекта по сравнению с людьми-профессионалами в различных отраслях. OpenAI заявляет, что это ключевой индикатор ее прогресса на пути к созданию AGI или системы искусственного интеллекта, которая превосходит людей в большинстве экономически ценных задач.

«Мы наняли людей разных профессий, чтобы они помогали собирать реальные задачи, смоделированные на основе тех, которые вы выполняли на своей постоянной работе, чтобы мы могли измерить, насколько хорошо модели ИИ справляются с этими задачами», — говорится в одном конфиденциальном документе OpenAI. «Возьмите существующие фрагменты долгосрочной или сложной работы (часы или дни+), которые вы выполнили по своей профессии, и превратите каждый из них в задачу».

Согласно презентации OpenAI о проекте, просмотренной WIRED, OpenAI просит подрядчиков описать задачи, которые они выполняли на своей текущей работе или в прошлом, и загрузить реальные примеры выполненной ими работы. Каждый из примеров должен представлять собой «конкретный результат (не краткое описание файла, а сам файл), например, документ Word, PDF, Powerpoint, Excel, изображение, репозиторий», — отмечается в презентации. OpenAI утверждает, что люди также могут делиться сфабрикованными примерами работ, созданными, чтобы продемонстрировать, как они будут реалистично реагировать в конкретных сценариях.

OpenAI и Handshake AI отказались от комментариев.

Согласно презентации OpenAI, реальные задачи состоят из двух компонентов. Есть запрос задачи (то, что сказал ему менеджер или коллега человека) и результат задачи (фактическая работа, которую он выполнил в ответ на этот запрос). Компания неоднократно подчеркивает в инструкциях, что примеры, которыми делятся подрядчики, должны отражать «реальную работу на рабочем месте», которую выполняет человек».на самом деле сделанный.”

В одном из примеров презентации OpenAI описывается задача «старшего менеджера по стилю жизни в роскошной консьерж-компании для людей со сверхбогатыми доходами». Цель состоит в том, чтобы «подготовить краткий двухстраничный PDF-проект обзора семидневной поездки на яхте на Багамы для семьи, которая будет путешествовать туда впервые». Он включает дополнительную информацию об интересах семьи и о том, как должен выглядеть маршрут. Затем «результат опытного человека» показывает, что в данном случае подрядчик загрузил бы: реальный маршрут по Багамам, созданный для клиента.

OpenAI инструктирует подрядчиков удалять корпоративную интеллектуальную собственность и личную информацию из рабочих файлов, которые они загружают. В разделе «Важные напоминания» OpenAI рекомендует работникам «удалить или обезличить любую: личную информацию, служебные или конфиденциальные данные, существенную закрытую информацию (например, внутреннюю стратегию, неопубликованные сведения о продукте)».

В одном из файлов, просмотренных WIRED, упоминается инструмент ChatGPT под названием «Суперзвезда чистит», в котором даются советы о том, как удалить конфиденциальную информацию.

Эван Браун, юрист по интеллектуальной собственности из компании Neal & McDevitt, рассказал WIRED, что лаборатории искусственного интеллекта, которые получают конфиденциальную информацию от подрядчиков в таком масштабе, могут стать объектом исков о незаконном присвоении коммерческой тайны. Подрядчики, которые предлагают компании, занимающейся искусственным интеллектом, документы со своих предыдущих рабочих мест, даже если они очищены, могут подвергаться риску нарушения соглашений о неразглашении своих предыдущих работодателей или раскрытия коммерческой тайны.

«Лаборатория искусственного интеллекта очень доверяет своим подрядчикам решать, что является конфиденциальным, а что нет», — говорит Браун. “Если они что-то пропустят, действительно ли лаборатории искусственного интеллекта тратят время на то, чтобы определить, что является коммерческой тайной, а что нет? Мне кажется, что лаборатория искусственного интеллекта подвергает себя большому риску”.