Deloitte предоставит частичное возмещение федеральному правительству за отчет о 440 000 долл. США, в котором содержалось несколько ошибок, после того как он использовал генеративный искусственный интеллект, чтобы помочь его производить.
Департамент занятости и отношения на рабочем месте (DEWR) подтвердил, что Deloitte погадит окончательный выпуск в соответствии с его контрактом, который будет обнародован после завершения транзакции. Это происходит, когда один из сенаторов лейбористов обвинил консалтинговую фирму в «проблеме человеческого интеллекта».
Департамент Deloitte был поручено рассмотреть целевую структуру соответствия и ее ИТ -системы, используемой для автоматизации штрафов в системе социального обеспечения, если взаимные обязательства не встречались соискателями, в декабре 2024 года.
Зарегистрируйтесь: AU Последние новости электронное письмо
В последующем отчете обнаружились широко распространенные проблемы, в том числе отсутствие «отслеживания» между правилами структуры и законодательством, стоящим за ней, а также «дефекты системы». В нем говорилось, что ИТ-система была «обусловлена штрафными предположениями о несоблюдении участников».
Впервые он был опубликован 4 июля. Он был повторно загружен на веб-сайт DEWR в пятницу, после Австралийский финансовый обзор В августе сообщили, что было найдено множество ошибок, включая несуществующие ссылки и цитаты.
Университет Сиднея, д -р Кристофер Рудж, который впервые выделил ошибки, сказал, что в докладе содержатся «галлюцинации», где модели ИИ могут заполнять пробелы, неверно истолковывать данные или попытаться угадать ответы.
«Вместо того, чтобы просто заменить одну галлюцинированную поддельную ссылку на новую« реальную »ссылку, они заменили поддельные галлюцинированные ссылки, и в новой версии на их месте есть около пяти, шести или семи или восьми», – сказал он.
«Итак, это говорит о том, что первоначальное утверждение, сделанное в теле отчета, не было основано на каком -либо конкретном источнике доказательств».
В обновленном обзоре отмечалось «небольшое количество исправлений к ссылкам и сноскам», но департамент заявил, что в рекомендациях обзора не было никаких изменений.
«Deloitte провела независимую проверку гарантии и подтвердила некоторые сноски, и ссылки были неверными», – сказал представитель департамента.
«Суть независимого обзора сохраняется, и в рекомендациях нет никаких изменений».
В обновленной версии отчета Deloitte добавила ссылку на использование генеративного ИИ в своем приложении. В нем говорится, что часть отчета «включала использование генеративного искусственного интеллекта (AI) большой языковой модели (Azure OpenAI GPT – 4O), основанной на цепочке инструментов, лицензированной DEWR и размещенной на аренде DEWR Azure».
Deloitte не заявила, что искусственный интеллект был причиной ошибок в его первоначальном отчете. Это также поддержало первоначальные выводы обзора.
«Обновления ни в коем случае не влияют на существенный контент, выводы и рекомендации в отчете», – говорится в исправленной версии.
После повышения рассылки
Представитель Deloitte сказал, что «этот вопрос был решен непосредственно с клиентом».
Рудж сказал, что, несмотря на свою критику, он не решается сказать, что весь отчет должен рассматриваться как незаконнорожденный », потому что выводы согласуются с другими широко распространенными доказательствами.
Сенатор лейбористской партии Дебора О’Нил, которая проводилась в Сенатском расследовании целостности консалтинговых фирм, сказала, что, похоже, «ИИ остается для тяжелой работы».
«У Deloitte есть проблема с интеллектом человека. Это было бы смехотворно, если бы это было не так плачевно. Частичный возврат выглядит как частичное извинение за некачественную работу», – сказала она.
«Любой, кто хочет заключить контракт с этими фирмами, должен спрашивать, кто именно выполняет работу, за которую они платят, и иметь такой опыт и не использовать ИИ.
«Возможно, вместо большой консалтинговой фирмы, закупкам было бы лучше подписаться на подписку на Chatgpt».
А AFR обнаружил несколько неправильных ссылок В первоначальном отчете, включая несуществующие отчеты профессоров в Университете Сиднея и Университета Лунда в Швеции.
В документе также сообщалось о решении суда в Robodebt Случай, Динна Амато против Содружества. Deloitte написал в своем окончательном отчете, что обновление «изменить[ed] Краткое изложение процесса Амато, которое содержало ошибки ».