1766761324
2025-12-26 14:20:00
NSLLM объединяет LLM и нейробиологию
Большие языковые модели (LLM) стали важнейшими инструментами в разработке общего искусственного интеллекта (AGI). Однако по мере расширения базы пользователей и увеличения частоты использования развертывание этих моделей влечет за собой значительные затраты вычислений и памяти, что ограничивает их потенциал служить базовой инфраструктурой для человеческого общества. Более того, нынешним LLM обычно не хватает интерпретируемости: их непрозрачные процессы принятия решений и оптимизации затрудняют обеспечение надежности и справедливости в областях высокого риска, таких как здравоохранение и финансы. Напротив, человеческий мозг выполняет сложные задачи с мощностью менее 20 Вт, демонстрируя при этом удивительную прозрачность своих когнитивных процессов. Этот резкий контраст подчеркивает разрыв между LLM и человеческим познанием и представляет собой двойную задачу: с одной стороны, повышение вычислительной эффективности LLM необходимо для повышения энергоэффективности и экономии ресурсов; с другой стороны, улучшение их интерпретируемости имеет решающее значение для лучшего понимания взаимодействия и функций компонентов в крупномасштабных системах.
Чтобы преодолеть междисциплинарное узкое место, в этом исследовании предлагается унифицированная структура, которая преобразует обычные LLM в NSLLM путем выполнения целочисленного подсчета спайков и преобразования двоичных спайков, в то же время включая механизм линейного внимания на основе спайков. Эта структура объединяет нейробиологию и большие языковые модели, предлагая платформу для применения инструментов нейробиологии в программах LLM. Благодаря внедрению целочисленного обучения с двоичным выводом выходные данные стандартных LLM преобразуются в представления пиков, что позволяет инструментам нейробиологии анализировать обработку информации.
Совместная разработка программного и аппаратного обеспечения со сверхнизким энергопотреблением без MatMul LLM
Чтобы проверить энергоэффективность подхода, в исследовании реализована специальная вычислительная архитектура без MatMul для модели в масштабе миллиарда параметров на платформе FPGA. В частности, стратегия послойного квантования и иерархические метрики чувствительности используются для оценки влияния каждого уровня на потери квантования, что позволяет настроить оптимальную модель импульсов со смешанными временными шагами, которая обеспечивает конкурентоспособную производительность при низкобитовом квантовании. Кроме того, вводится стратегия разрежения с помощью квантования, чтобы изменить форму распределения мембранного потенциала и сместить вероятность отображения квантования в сторону меньших целочисленных значений, что значительно снижает частоту срабатывания всплесков и еще больше повышает эффективность модели. На FPGA VCK190 спроектировано аппаратное ядро без MatMul, которое полностью исключает операции умножения матриц в NSLLM, снижая динамическое энергопотребление до 13,849 Вт и увеличивая пропускную способность до 161,8 токенов/с. По сравнению с графическим процессором A800 этот подход обеспечивает повышение энергоэффективности в 19,8 раз, экономию памяти в 21,3 раза и пропускную способность вывода в 2,2 раза выше.
Улучшенная интерпретируемость за счет увеличения нейронных популяций
Преобразуя поведение LLM в нейронные динамические представления, такие как последовательности импульсов, с помощью структуры NSLLM, мы можем анализировать как динамические свойства их нейронов (например, случайность, количественно определяемую энтропией Колмогорова-Синая), так и их характеристики обработки информации (например, энтропию Шеннона и взаимную информацию). Это позволяет более четко интерпретировать вычислительную роль, которую играют NSLLM. Экспериментальные результаты показывают, что модель более эффективно кодирует информацию при обработке однозначного текста, позволяя ей различать неоднозначные и однозначные входные данные (например, средние уровни демонстрируют более высокую нормализованную взаимную информацию для неоднозначных предложений; уровень AS показывает отчетливые динамические сигнатуры, которые отражают его роль в обработке разреженной информации; а уровень FS имеет более высокую энтропию Шеннона, что указывает на более высокую способность передачи информации. Более того, положительная корреляция между взаимной информацией и энтропией Шеннона предполагает, что слои с более высокая информационная емкость лучше сохраняет ключевые функции ввода). Интегрируя нейронную динамику с теоретико-информационными измерениями, эта структура обеспечивает биологическую интерпретируемость механизмов LLM, одновременно значительно снижая требования к данным.
Нейробиологические исследования показали, что человеческий мозг обеспечивает энергоэффективную обработку информации посредством разреженных и управляемых событиями вычислений, повышая как эффективность коммуникации, так и интерпретируемость системы. Опираясь на этот принцип, команда разработала междисциплинарную унифицированную структуру, которая представляет нейроморфную альтернативу традиционным LLM, обеспечивая при этом производительность на уровне основных моделей аналогичного масштаба в отношении здравого смысла и ряда более сложных задач на больших моделях, включая понимание прочитанного, ответы на вопросы о мировых знаниях и математику. Эта структура не только расширяет границы энергоэффективного искусственного интеллекта, но также предлагает новые взгляды на интерпретируемость больших языковых моделей и дает ценную информацию для проектирования будущих нейроморфных чипов.
Источник:
Ссылка на журнал:
#Объединение #нейробиологии #LLM #для #создания #эффективных #интерпретируемых #систем #искусственного #интеллекта
Продолжение темы
