О создании DBRX, самой мощной в мире модели искусственного интеллекта с открытым исходным кодом

В прошлый понедельник около дюжины инженеров и руководителей компаний по науке о данных и искусственном интеллекте Блоки данных собрались в конференц-залах, подключенных через Zoom, чтобы узнать, удалось ли им построить топ искусственный интеллект языковая модель. Команда потратила месяцы и около 10 миллионов долларов на обучение DBRX, большая языковая модель по дизайну похож на тот, что сзади OpenAI ChatGPT. Но они не узнают, насколько мощным было их творение, пока не будут получены результаты финальных испытаний его способностей.

«Мы превзошли все», — сказал в конце концов команде Джонатан Франкл, главный архитектор нейронных сетей в Databricks и руководитель команды, создавшей DBRX, которая ответила возгласами, аплодисментами и смайликами аплодисментов. Франкл обычно избегает кофеина, но делал глотки ледяного латте после того, как провел всю ночь, чтобы записать результаты.

Databricks выпустит DBRX под лицензией с открытым исходным кодом, что позволит другим использовать ее разработки. Франкл поделился данными, показывающими, что примерно в дюжине тестов, измеряющих способность модели ИИ отвечать на общие вопросы, понимать прочитанное, решать неприятные логические головоломки и генерировать высококачественный код, DBRX был лучше, чем любой другой. доступна модель с открытым исходным кодом.

Лица, принимающие решения в области ИИ: Джонатан Франкл, Навин Рао, Али Годси и Ханлин Тан.Фотография: Габриэла Хасбун

Это затмило Лама Меты 2 и Mixtral от Mistral, два самых популярных модели искусственного интеллекта с открытым исходным кодом доступен сегодня. “Да!” – крикнул Али Годси, генеральный директор Databricks, когда появились результаты. «Подожди, мы победили Илона?» Франкл ответил, что они действительно превзошли модель искусственного интеллекта Грока. недавно открытый исходный код xAI Маскадобавив: «Я буду считать это успехом, если мы получим от него злобный твит».

К удивлению команды, по нескольким показателям DBRX также был поразительно близок к GPT-4, закрытой модели OpenAI, которая лежит в основе ChatGPT и широко считается вершиной машинного интеллекта. «Мы установили новый уровень развития LLM с открытым исходным кодом», — сказал Франкл с огромной ухмылкой.

Строительные блоки

Открыв исходный код, DBRX Databricks придает дополнительный импульс движению, которое бросает вызов секретному подходу наиболее известных компаний в нынешнем буме генеративного искусственного интеллекта. OpenAI и Google держат код своих больших языковых моделей GPT-4 и Gemini в секрете, но некоторые конкуренты, особенно Метаопубликовали свои модели для использования другими, утверждая, что это будет стимулировать инновации, передав технологию в руки большего числа исследователей, предпринимателей, стартапов и устоявшихся предприятий.

Databricks заявляет, что также хочет рассказать о работе, связанной с созданием ее модели с открытым исходным кодом, чего Meta не сделала для некоторых ключевых подробностей создания своей модели. Вызов 2 модели. Компания опубликует сообщение в блоге с подробным описанием работы по созданию модели, а также пригласила WIRED провести время с инженерами Databricks, пока они принимали ключевые решения на заключительных этапах многомиллионного процесса обучения DBRX. Это дало представление о том, насколько сложно и сложно создать ведущую модель искусственного интеллекта, а также о том, как недавние инновации в этой области обещают снизить затраты. Это, в сочетании с доступностью моделей с открытым исходным кодом, таких как DBRX, позволяет предположить, что развитие ИИ не собирается замедляться в ближайшее время.

Али Фархади, генеральный директор Алленский институт искусственного интеллекта, говорит, что крайне необходима большая прозрачность в создании и обучении моделей ИИ. В последние годы эта сфера становится все более секретной, поскольку компании стремятся получить преимущество над конкурентами. По его словам, непрозрачность особенно важна, когда есть опасения по поводу рисков, которые могут представлять передовые модели ИИ. «Я очень рад видеть любые усилия по обеспечению открытости», — говорит Фархади. «Я верю, что значительная часть рынка перейдет в сторону открытых моделей. Нам нужно больше этого.”