Работа с точно настроенными языковыми моделями, часть 1 (Машинное обучение) | от Монодип Мукерджи | апрель 2023 г.

1. Синтаксический анализ AMR с предварительно обученными языковыми моделями с тонкой настройкой инструкций (arXiv)

Автор: Янг-Сук Ли, Рамон Фернандес Астудильо, Раду Флориан, Тахира Насим, Салим Рукос

Аннотация: точно настроенные языковые модели инструкций на наборе аннотированных наборов данных инструкций (FLAN) показали высокую эффективность для повышения производительности модели и обобщения для невидимых задач. Однако большинство стандартных задач синтаксического анализа, включая представление абстрактного значения (AMR), универсальную зависимость (UD), маркировку семантических ролей (SRL), были исключены из коллекций FLAN как для обучения модели, так и для оценки. В этой статье мы берем одну из таких предварительно обученных языковых моделей с тонкой настройкой инструкций, например, FLAN-T5, и настраиваем их для синтаксического анализа AMR. Наши обширные эксперименты с различными задачами анализа AMR, включая AMR2.0, AMR3.0 и BioAMR, показывают, что точно настроенные модели FLAN-T5 превосходят предыдущие современные модели во всех задачах. Кроме того, полная точная настройка, за которой следует эффективная точная настройка параметров, LoRA, еще больше улучшает характеристики модели, устанавливая новые современные стандарты в Smatch на AMR2.0 (86,4), AMR3.0 (84,9) и БиоУМР (82,3

2. LLM-адаптеры: семейство адаптеров для параметрически эффективной тонкой настройки больших языковых моделей (arXiv)

Автор: Чжицян Ху, Ихуай Лань, Лей Ван, Ваньюй Сюй, И-Пэн Лим, Рой Ка-Вэй Ли, Лидонг Бин, Суджанья Пориа

Аннотация: Успех больших языковых моделей (LLM), таких как GPT-3 и ChatGPT, привел к разработке многочисленных экономичных и доступных альтернатив, которые создаются путем тонкой настройки LLM с открытым доступом с данными для конкретных задач (например, , ChatDoctor) или данные инструкций (например, Alpaca). Среди различных методов точной настройки точная настройка с эффективными параметрами на основе адаптера (PEFT), несомненно, является одной из наиболее привлекательных тем, поскольку она требует точной настройки только нескольких внешних параметров вместо всего LLM, при этом достигается сопоставимость или даже лучшая производительность. Чтобы обеспечить дальнейшее исследование методов PEFT LLM, в этой статье представлены LLM-Adapters, простая в использовании структура, которая интегрирует различные адаптеры в LLM и может выполнять эти основанные на адаптере методы PEFT LLM для различных задач. Платформа включает в себя современные LLM с открытым доступом, такие как LLaMA, BLOOM, OPT и GPT-J, а также широко используемые адаптеры, такие как серийный адаптер, параллельный адаптер и LoRA. Платформа спроектирована так, чтобы быть удобной для исследований, эффективной, модульной и расширяемой, что позволяет интегрировать новые адаптеры и оценивать их с новыми и более масштабными LLM. Кроме того, чтобы оценить эффективность адаптеров в LLM-адаптерах, мы проводим эксперименты с шестью наборами данных математических рассуждений. Результаты показывают, что использование PEFT на основе адаптера в LLM меньшего масштаба (7B) с несколькими дополнительными обучаемыми параметрами дает сравнимую, а в некоторых случаях и превосходящую производительность по сравнению с мощными LLM (175B) в нулевом выводе на простых наборах данных математических рассуждений. . В целом, мы предоставляем многообещающую основу для тонкой настройки больших LLM для последующих задач. Мы считаем, что предлагаемые LLM-адаптеры будут способствовать развитию исследований PEFT на основе адаптеров, облегчат развертывание исследовательских конвейеров и обеспечат практическое применение в реальных системах.