- ChatGPT от OpenAI провалил тесты по математике и естественным наукам, которые сдают шестиклассники в Сингапуре.
- Согласно The Straits Times, он делал ошибки при простом сложении и не мог понять ни одной диаграммы.
- Но ChatGPT, похоже, научился на своих ошибках. У него возникло несколько вопросов, когда Insider протестировал его.
Когда вирусного бота ChatGPT с искусственным интеллектом попросили решить вопросы из сингапурских экзаменов за шестой класс, он с треском провалился.
Во время эксперимента в феврале сингапурское новостное издание The Straits Times попросило ChatGPT ответить на вопросы выпускного экзамена в начальной школе. PSLE — это экзамен, который должны сдать все 12-летние сингапурцы, и он определяет, в какую среднюю школу они пойдут.
ChatGPT задавали вопросы из статей PSLE 2020, 2021 и 2022 годов по математике, естественным наукам и английскому языку.
По данным The Straits Times, он набрал в среднем 16 из 100 баллов за три экзамена по математике. Во время теста он не мог понять или ответить ни на один вопрос, связанный с диаграммами или графиками, и получил за эти вопросы нулевые баллы.
Но ChatGPT допускал ошибки и с простыми текстовыми вопросами. Когда его спросили о сумме 60 000, 5 000, 400 и 3, ответ был 65 503, сообщает The Straits Times.
Правильный ответ: 65 403.
Однако, когда Insider задал тот же вопрос, ответ ChatGPT оказался правильным.
ChatGPT немного лучше справился с научными работами, получив в среднем 21 балл из 100.
Но в понедельник, когда Insider протестировал ChatGPT на двух научных вопросах PSLE — один от 2020 года, а другой от 2022 года — он ответил правильно на оба вопроса.
Как сообщает The Straits Times, ChatGPT удалось пройти тесты по английскому языку и набрать в среднем 11 из 20 баллов по трем экзаменам. Во время теста по английскому ChatGPT все еще сталкивался с проблемами — на этот раз с вопросами, содержащими слова, которые имеют несколько значений.
Одним из примеров, приведенных The Straits Times, было слово «ценность». ChatGPT проигнорировал контекст вопроса, где «ценность» относилась к чьим-либо моральным принципам, и ответил так, как будто это имело в виду денежную ценность.
ChatGPT был разработан компанией OpenAI, занимающейся искусственным интеллектом, и запущен в ноябре. К концу января у него было 100 миллионов пользователей.
Неспособность бота сдать сингапурские экзамены в шестой класс удивительна — ему удалось сдать выпускной экзамен в бизнес-школе Wharton, пройти тесты на четырех курсах юридической школы и без труда сдать экзамен на получение медицинской лицензии в США.
В настоящее время университеты пересматривают экзамены из-за опасений, что боты с искусственным интеллектом могут использоваться для мошенничества, сообщила The New York Times в январе. Этот поворот в тестировании включает в себя больше устных экзаменов, групповой работы и рукописных оценок вместо печатных материалов, согласно The Times.
Представители OpenAI и Министерства образования Сингапура не сразу ответили на запрос Insider о комментариях.
