Программисты 10X, будьте осторожны: новая модель искусственного интеллекта Meta бесплатно ускоряет кодирование и отладку

Мета добавляет в свое стадо еще одну ламу, и эта умеет программировать. В четверг Мета обнародован «Code Llama», новая модель большого языка (LLM), основанная на Лама 2 который предназначен для помощи программистам при создании и отладке кода. Он направлен на то, чтобы сделать разработку программного обеспечения более эффективной и доступной, и он бесплатен для коммерческого и исследовательского использования.

Так же, как ЧатGPT и Чат второго пилота GitHub, вы можете попросить Code Llama написать код, используя инструкции высокого уровня, например «Напишите мне функцию, которая выводит последовательность Фибоначчи». Или это может помочь в отладке, если вы предоставите образец проблемного кода и попросите внести исправления.

Как расширение Llama 2 (выпущено в июле), Code Llama строится на основе доступных весов LLM, которые Meta разрабатывает с тех пор. февраль. Code Llama был специально обучен работе с наборами данных исходного кода и может работать на различных языках программирования, включая Python, Java, C++, PHP, TypeScript, C#, сценарии Bash и другие.

Примечательно, что Code Llama может обрабатывать до 100 000 токенов (фрагментов слов) контекста, что означает, что он может оценивать длинные программы. Для сравнения: ChatGPT обычно работает только с 4000–8000 токенов, хотя через API OpenAI доступны более длинные контекстные модели. Как Мета объясняет в его более технической записи:

Помимо того, что это необходимое условие для создания более длинных программ, более длинные входные последовательности открывают новые интересные варианты использования кода LLM. Например, пользователи могут предоставить модели больше контекста из своей кодовой базы, чтобы сделать поколения более актуальными. Это также помогает при отладке сценариев в более крупных базах кода, где разработчикам может быть сложно оставаться в курсе всего кода, связанного с конкретной проблемой. Когда разработчикам приходится отлаживать большой фрагмент кода, они могут передать в модель всю длину кода.

Code Llama от Meta поставляется в трех размерах: версии с 7, 13 и 34 миллиардами параметров. Параметры — это числовые элементы нейронной сети, которые корректируются в процессе обучения (перед выпуском). Больше параметров обычно означает большую сложность и более широкие возможности для решения тонких задач, но для их работы также требуется больше вычислительной мощности.

Различные размеры параметров предлагают компромисс между скоростью и производительностью. Ожидается, что модель 34B обеспечит более точную помощь в кодировании, но она медленнее и требует для работы больше памяти и мощности графического процессора. Напротив, модели 7B и 13B быстрее и больше подходят для задач, требующих низкой задержки, таких как завершение кода в реальном времени, и могут работать на одном графическом процессоре потребительского уровня.

Meta также выпустила две специализированные версии: Code Llama – Python и Code Llama – Instruct. Вариант Python оптимизирован специально для программирования на Python («тонкая настройка на 100 млрд токенов кода Python»), который является важным языком в сообществе искусственного интеллекта. Code Llama – Instruct, с другой стороны, предназначен для лучшей интерпретации намерений пользователя при наличии подсказок на естественном языке.

Кроме того, Meta сообщает, что базовые модели и модели инструкций 7B и 13B также были обучены с возможностью «заполнения посередине» (FIM), что позволяет им вставлять код в существующий код, что помогает в дополнении кода.

Лицензия и набор данных

Код Лама доступен с та же лицензия как Llama 2, который предоставляет веса (обученные файлы нейронной сети, необходимые для запуска модели на вашем компьютере) и позволяет проводить исследования и коммерческое использование, но с некоторыми ограничениями, изложенными в политика приемлемого использования.

Meta неоднократно заявляла о своем предпочтении открытого подхода к ИИ, хотя ее подход получил критика за то, что он не является полностью «открытым исходным кодом» в соответствии с Инициатива открытого исходного кода. Тем не менее, то, что Meta предоставляет и разрешает по своей лицензии, гораздо более открыто, чем OpenAI, который не предоставляет веса или код для своих современных языковых моделей.

Meta не раскрыла точный источник своих обучающих данных для Code Llama (заявив, что они основаны в основном на «почти дедуплицированном наборе данных общедоступного кода»), но некоторые подозревать одним из источников может быть содержимое, полученное с веб-сайта StackOverflow. На X специалист по данным Hugging Face Леандро фон Верра поделился потенциально галлюцинированной дискуссией о функции программирования, которая включала два настоящих Имена пользователей StackOverflow.

В исследовательской статье Code Llama Мета говорит: «Мы также получаем 8% наших образцов данных из наборов данных естественного языка, связанных с кодом. Этот набор данных содержит множество обсуждений кода и фрагментов кода, включенных в вопросы или ответы на естественном языке».

Тем не менее, фон Верра хотел бы, чтобы в будущем упоминались подробности. “Было бы здорово для воспроизводимости и обмена знаниями с исследовательским сообществом раскрыть, какие источники данных использовались во время обучения», — написал фон Верра. «Еще более важно было бы признать, что эти сообщества внесли свой вклад в успех полученных моделей. “