ChatGPT получил H1 на экзамене по информатике на выпускной сертификат

Модель искусственного интеллекта правильно ответила на 55 из 62 вопросов в экзаменационном сегменте теста 2021 года, что составляет 70 процентов от оценки аттестата зрелости, согласно результатам, записанным аспирантом компьютерных наук Джойс Махон.

«В этом экзамене есть элемент выбора, — сказала г-жа Махон.

«Если учитывать только лучшие ответы ChatGPT, он получит очень близко к 100 процентам, в зависимости от маркера и его интерпретации критериев оценки. Это означает, что ChatGPT получит H1, максимально возможную оценку. Поскольку экзамен составляет 70 процентов от общей оценки по этому предмету, оценка H3 потенциально может быть получена даже до рассмотрения компонента курсовой работы «Сертификат об окончании школы» стоимостью 30 процентов».

Опрос, проведенный Studyclix.ie среди 1000 учащихся с первого по шестой курс в этом месяце, показал, что каждый пятый ученик второго уровня использовал ChatGPT для решения школьных задач, таких как написание эссе или создание компьютерного кода.

В то время как некоторые учителя выражают опасение, что ChatGPT может давать ученикам ярлыки, равнозначные списыванию, г-жа Махон сказала, что эта технология может быть полезна в процессе обучения.

«Производительность больших языковых моделей в определенных задачах, таких как эта, впечатляет, и они постоянно улучшаются», — сказала она. «В нашем эксперименте многие решения содержали больше деталей, чем предписывает схема маркировки. У этих моделей есть и другие преимущества. Например, они могут предоставить студентам и преподавателям неограниченное количество примеров, альтернативных подходов и помочь с «синдромом пустой страницы».

Однако она добавила, что следует понимать, что ChatGPT включает ошибки.

«Генеративные модели ИИ, такие как ChatGPT, не безошибочны. Нас с детства учат не верить всему, что мы читаем. Возможно, сегодняшних студентов также следует научить не верить всему, что предлагает модель большого языка. Студентам на традиционных экзаменах рекомендуется перепроверить свои ответы. То же самое относится и к использованию ChatGPT. Во всяком случае, это хороший урок для студентов».

По ее словам, результаты исследования UCD не следует воспринимать как вывод о том, что выходной сертификат является провальным процессом тестирования.

«Выпускной аттестат — это обязательный экзамен, — говорит она. «Появление этой технологии — это еще один, хотя и быстрый и крупный шаг в том же направлении, в котором люди шли веками. Кроме того, выпускной сертификат по компьютерным наукам включает 30% для оценки курсовой работы, за которой наблюдает их учитель. Хотя для этого можно использовать ChatGPT, характер работы над этим проектом гораздо сложнее, чем вопросы на бумажном экзамене. Вполне вероятно, что технологии немного не в состоянии справиться с этой курсовой работой так же хорошо, как с бумажным экзаменом».

Тем не менее, г-жа Джойс сказала, что эта технология может радикально изменить подход к компьютерным наукам и, в частности, к программированию.

«Программирование может быть сложной задачей для ума, а прогресс, особенно в обучении, может показаться медленным», — сказала она. «Генеративный ИИ может смягчить эти проблемы. На самом деле, профессиональные программисты, использующие GitHub Copilot на базе ChatGPT, называют скорость, удовлетворенность программиста и сохранение умственной энергии одними из главных причин, по которым они его используют».

Г-жа Джойс также предсказала, что «оперативная инженерия», когда подсказки на естественном языке, таком как английский, вводятся вместо кода, может стать более заметной.

«Быстрая инженерия становится новой профессией с некоторыми зарплатами в шестизначном диапазоне, а быстрое проектирование уже преподается студентам», — сказала она.

«Характер программирования также может измениться: от прямого ввода программистом строки за строкой кода символ за символом на клавиатуре до ввода подсказок в модели генеративного ИИ, такие как ChatGPT».

Работа г-жи Махон в UCD является частью Ирландского научно-исследовательского центра подготовки кадров в области машинного обучения под руководством доктора Бретта Беккера и доктора Брайана Мак Нами.