[2506.21734] Иерархическая модель рассуждения

Посмотреть PDF бумаги под названием «Модель иерархических рассуждений» Гуан Ван и 8 других авторов

Просмотреть PDF
HTML (экспериментальный)

Абстрактный:Рассуждение, процесс разработки и выполнения сложных целевых последовательностей действий, остается критической задачей в ИИ. В современных крупных языковых моделях (LLMS) в основном используются методы цепочки мыслей (COT), которые страдают от хрупкого разложения задач, обширных требований к данным и высокой задержки. Вдохновленная иерархической и многопроцесленной обработкой в человеческом мозге, мы предлагаем модель иерархической мышления (HRM), новую рецидивирующую архитектуру, которая достигает значительной глубины вычислений при сохранении как стабильности обучения, так и эффективности. HRM выполняет последовательные задачи рассуждений в одном прямом проходе без явного наблюдения за промежуточным процессом, через два взаимозависимых рецидивирующих модуля: модуль высокого уровня, ответственный за медленное, абстрактное планирование и низкоуровневый модуль, обработанные, подробные вычисления. Имея всего 27 миллионов параметров, HRM обеспечивает исключительную производительность по сложным аргументарным задачам, используя только 1000 обучающих образцов. Модель работает без предварительных тренировок или данных COT, но в то же время достигает почти идеальную производительность в сложных задачах, включая сложные головоломки судоку и оптимальное обнаружение пути в больших лабиринтах. Кроме того, HRM превосходит гораздо более крупные модели со значительно более длинным контекстом окна в корпусе абстракции и рассуждений (ARC), ключевого эталона для измерения искусственных возможностей общего разведки. Эти результаты подчеркивают потенциал HRM как преобразующего прогресса в отношении универсальных вычислений и систем рассуждений общего назначения.