Putnam-AXIOM: функциональный и статический тест для измерения математических рассуждений более высокого уровня
Ключевые слова: Тесты, Большие языковые модели, Математические рассуждения, Математика, Рассуждения, Машинное обучение ТЛ;ДР: Putnam-AXIOM — это сложный тест математических рассуждений для студентов LLM, выявляющий значительные пробелы в производительности рассуждений и влияние загрязнения данных. Абстрактный: Поскольку большие языковые модели (LLM) продолжают развиваться, многие существующие тесты, предназначенные для оценки их логических способностей, становятся насыщенными. Поэтому мы представляем … Read more