Google PaLM 2 использует почти в пять раз больше текстовых данных, чем его предшественник

Google Новая модель большого языка, о которой компания объявила на прошлой неделе, использует почти в пять раз больше обучающих данных, чем ее предшественник 2022 года, что позволяет ей выполнять более сложные задачи по кодированию, математике и творческому письму, как стало известно CNBC.

PaLM 2, новая универсальная модель большого языка (LLM), разработанная компанией. раскрытый в Google I/O обучается на 3,6 трлн токенов, согласно внутренней документации, просмотренной CNBC. Токены, представляющие собой строки слов, являются важным строительным блоком для обучения LLM, поскольку они учат модель предсказывать следующее слово, которое появится в последовательности.

Предыдущая версия Google PaLM, расшифровывающаяся как Pathways Language Model, была выпущена в 2022 году и обучена на 780 миллиардах токенов.

В то время как Google был стремится продемонстрировать сила его технологии искусственного интеллекта и как она может быть встроенный в поиске, электронной почте, текстовой обработке и электронных таблицах, компания не желает публиковать размер или другие детали своих обучающих данных. OpenAI, Майкрософтсоздатель ChatGPT, также держит в секрете особенности своего последнего LLM под названием GPT-4.

Компании говорят, что причиной отсутствия раскрытия информации является конкурентный характер бизнеса. Google и OpenAI спешат привлечь пользователей, которые могут искать информацию с помощью диалоговых чат-ботов, а не традиционных поисковых систем.

Но по мере того, как гонка вооружений ИИ набирает обороты, исследовательское сообщество требует большей прозрачности.

С момента представления PaLM 2 Google заявила, что новая модель меньше, чем предыдущие LLM, что важно, поскольку это означает, что технология компании становится более эффективной при выполнении более сложных задач. PaLM 2, согласно внутренним документам, обучается на 340 миллиардах параметров, что свидетельствует о сложности модели. Первоначальный PaLM был обучен на 540 миллиардах параметров.

Google не сразу предоставил комментарий к этой истории.

Google сказал в сообщении в блоге о PaLM 2 говорится, что в модели используется «новая техника», называемая «оптимальным вычислением масштабирования». Это делает LLM «более эффективным с общей лучшей производительностью, в том числе более быстрым выводом, меньшим количеством обслуживаемых параметров и более низкой стоимостью обслуживания».

Анонсируя PaLM 2, Google подтвердил предыдущую информацию CNBC. составление отчетов что модель обучена на 100 языках и выполняет широкий спектр задач. Он уже используется для поддержки 25 функций и продуктов, включая экспериментальный чат-бот компании Bard. Он доступен в четырех размерах, от самого маленького до самого большого: Gecko, Otter, Bison и Unicorn.

Согласно общедоступным данным, PaLM 2 мощнее любой существующей модели. LLM Facebook под названием LLaMA, который он объявил в феврале обучается на 1,4 трлн токенов. В последний раз OpenAI поделилась размером обучения ChatGPT с GPT-3, когда компания заявила, что в то время она обучалась на 300 миллиардах токенов. OpenAI выпустила ГПТ-4 в марте и заявил, что во многих профессиональных тестах он демонстрирует «производительность человеческого уровня».

LaMDA, разговор LLM, который Google представил два года назад и рекламируемый в феврале вместе с Бардом, был обучен на 1,5 трлн токенов, согласно последним документам, просмотренным CNBC.

По мере того, как новые приложения ИИ быстро становятся популярными, споры вокруг базовой технологии становятся все более ожесточенными.

Эль Махди Эль Мхамди, старший научный сотрудник Google Research, ушел в отставку в феврале из-за непрозрачности компании. Во вторник генеральный директор OpenAI Сэм Альтман свидетельствовал на слушаниях судебного подкомитета Сената по конфиденциальности и технологиям и согласился с законодателями в том, что необходима новая система для работы с ИИ.

«Для очень новой технологии нам нужна новая структура», — сказал Альтман. «Конечно, такие компании, как наша, несут большую ответственность за инструменты, которые мы выпускаем в мире».

– Джордан Новет из CNBC внес свой вклад в этот отчет.

СМОТРЕТЬ: Генеральный директор OpenAI Сэм Альтман призывает к контролю ИИ