Новая модель искусственного интеллекта точно оценивает беспорядочные математические ответы, написанные от руки, и объясняет ошибки учащихся

Исследовательская группа, связанная с UNIST, представила новую систему искусственного интеллекта, способную оценивать и предоставлять подробную обратную связь даже по самым неряшливым рукописным математическим ответам — почти так же, как это делает преподаватель-человек.

Команда под руководством профессора Тэхвана Кима из Высшей школы искусственного интеллекта UNIST и профессора Сунгана Ко из POSTECH объявила о разработке VEHME (модель языка видения для оценки рукописных математических выражений), модели искусственного интеллекта, разработанной специально для оценки сложных рукописных математических выражений.

Исследование опубликовано на arXiv сервер препринтов.

Автоматизированная оценка открытых математических задач традиционно была трудоемким и трудоемким процессом в классах. Проблема возникает из-за большого разнообразия форматов ответов, включая уравнения, графики и диаграммы, а также из-за различий в стилях почерка и в том, как учащиеся организуют свои ответы. Разработка ИИ, способного точно понимать и оценивать такой неструктурированный и разнообразный контент, остается серьезным препятствием.

VEHME подходит к этой проблеме, имитируя работу человека-оценщика, тщательно анализируя положение и значение каждого элемента проблемы и решения для выявления ошибок.

В тестах, охватывающих широкий спектр — от вычислений до элементарной арифметики — VEHME достиг уровня точности, сравнимого с крупными проприетарными моделями, такими как GPT-4o и Gemini 2.0 Flash, несмотря на то, что это более легкая и эффективная модель. Примечательно, что VEHME даже превзошел коммерческие модели в сложных случаях, связанных с часто меняющимися или плохо написанными ответами, продемонстрировав более надежное обнаружение ошибок.

В то время как такие модели, как GPT-4 и Gemini, содержат сотни миллиардов параметров, VEHME работает всего с 7 миллиардами, что показывает, что высокая производительность достижима без огромных вычислительных ресурсов.

Этот прогресс стал возможен благодаря специализированной технологии визуальных подсказок, называемой Модуль визуальных подсказок с учетом выражений (EVPM), в сочетании с двухэтапным процессом обучения. EVPM позволяет VEHME понимать сложные многострочные выражения, виртуально «упаковывая» их, гарантируя, что модель сохраняет понимание структуры задачи. Второй этап обучения не только помогает VEHME распознавать правильные ответы, но и позволяет объяснить, где и почему возникают ошибки во время решения задач.

Учитывая нехватку высококачественных рукописных наборов данных с подробными аннотациями ошибок, команда сгенерировала синтетические данные обучения с использованием большой языковой модели (QwQ-32B), что значительно улучшило возможности обучения и оценки VEHME.

Самое главное, что VEHME имеет открытый исходный код и находится в свободном доступе, что делает его практическим инструментом для школ и исследователей, заинтересованных во внедрении или усовершенствовании системы.

Профессор Ким сказал: «Оценка рукописных математических ответов — одна из самых сложных задач в сфере образовательного ИИ, требующая тонкого понимания как изображений, так и языка. Способность VEHME следовать сложным шагам решения и точно выявлять ошибки знаменует собой важный шаг на пути к практическому применению в классе.

«Наша технология EVPM может автоматически интерпретировать сложную визуальную информацию, которая потенциально может использоваться не только в сфере образования, например, для обработки документов, анализа технических чертежей и цифрового архивирования рукописных записей».