1765780069
2025-12-15 06:16:00
Исследователи EPFL разработали новое программное обеспечение, которое теперь выделено в стартап, которое устраняет необходимость отправки данных в сторонние облачные сервисы, когда для выполнения задачи используется искусственный интеллект. Это может бросить вызов бизнес-модели больших технологий.
Каждый раз, когда ИИ просят выполнить задачу, запрос запускается локально на компьютере пользователя, а затем отправляется в «облако», где ИИ генерирует ответ с помощью мощного оборудования — процесс, известный как вывод. Ответ наконец отправляется обратно на локальный компьютер пользователя.
В настоящее время для этого используются огромные возможности обработки данных, требующие огромных центров обработки данных, которые также необходимы для обучения моделей искусственного интеллекта, таких как ChatGPT, Gemini и Claude. Это означает, что и вывод, и обучение в настоящее время контролируются почти исключительно крупными технологиями.
Plug and Play: распределенный искусственный интеллект стал проще
Мы вверены Ворону, Лаборатория распределенных вычислений (DCL) в Школа компьютерных и коммуникационных науквыпустили новое программное обеспечение, которое позволяет пользователям загружать модели искусственного интеллекта с открытым исходным кодом и использовать их локально, без необходимости использования облака для ответа на вопросы или выполнения задач.
Новое программное обеспечение под названием В любом случае системаs координирует и объединяет распределенные машины в локальной сети в локальный кластер. Он использует надежные методы самостабилизации для оптимизации использования базового локального оборудования, что противоречит распространенному мнению, что для развертывания моделей ИИ необходимы огромные центры обработки данных.
Его можно установить всего за полчаса в сети локальных компьютеров, при этом данные не покидают сеть, гарантируя конфиденциальность и суверенитет. Очень большую модель ИИ, такую как GPT-120B, новейшую и крупнейшую открытую модель от OpenAI, можно загрузить и развернуть в любом случае за несколько минут, для чего потребуется не более 4 машин с 1 стандартным графическим процессором каждая (стоимостью около 2300 швейцарских франков каждая) вместо дорогой специализированной стойки (стоимостью около 100 000 швейцарских франков), которая до сих пор считалась необходимой для запуска модели ИИ.
«В течение многих лет люди считали, что невозможно иметь большие языковые модели и инструменты искусственного интеллекта без огромных ресурсов, и что конфиденциальность, суверенитет и устойчивость данных стали всего лишь жертвами этого, но это не так, и возможны более разумные и бережливые подходы», — сказал профессор Рашид Геррауи, глава DCL.
Конфиденциальность, суверенитет и устойчивость
Когда данные пользователя отправляются в облако, возникают важные вопросы, касающиеся безопасности и конфиденциальности, особенно того, используются ли эти данные для дальнейшего обучения или улучшения моделей ИИ. Кроме того, зависимость от крупных глобальных поставщиков облачных услуг в сфере ИИ вызывает вопросы относительно суверенитета ИИ, поскольку он передает контроль над критически важными национальными активами — данными, алгоритмами и инфраструктурой — от отечественного предприятия транснациональным корпорациям.
«В любом случае Systems прекрасно справляется с логическими выводами, но это также может помочь сократить ресурсы, необходимые для обучения», — объяснил Геррауи. Пилотное тестирование показало, что когда модель загружается и запускается на разрозненных локальных машинах, а не в огромном облаке, мы можем потерять некоторую задержку — то есть время ответить на подсказку — но не точность».
От блокчейна к искусственному интеллекту?
«Мы говорим, что системы Anyway Systems просты, масштабируемы и безопасны», — продолжает Геррауи. Более ранние варианты алгоритма «В любом случае» были разработаны DCL много лет назад, где исследователи уже давно сосредоточились на распределенных вычислениях, отказоустойчивости, оптимизации и конфиденциальности.
Более ранние алгоритмы DCL представляли собой решения других проблем таких технологий, как блокчейн и криптовалюта. Три года назад Геррауи и его коллегам пришла в голову идея применить методы самостабилизации к ИИ, и она оказалась почти идеальной.
«Как лаборатория мы можем быть уникальными в совместной работе над надежными распределенными вычислениями и машинным обучением как с теоретической, так и с практической точки зрения, и мы обратили свое внимание на использование методов самостабилизации для ИИ. Они сработали! Мы подумали: давайте оптимизировать и оптимизировать, и они работали еще лучше, результат слишком хорош, чтобы быть правдой», — сказал Геррауи.
Заглядывая в будущее: ваш собственный ИИ дома
Компания «Avenue Systems» недавно была выбрана в качестве одного из шести первых грантополучателей конкурса. Стартап Launchpad AI Track – на базе UBSпервая грантовая программа Швейцарии, посвященная ИИ. Эти проекты, выбранные из более чем 50 предложений, получают финансирование и индивидуальную поддержку, чтобы ускорить путь от прототипа до готовности к рынку.
Программное обеспечение прошло стадию прототипа и в настоящее время тестируется в компаниях и администрациях по всей Швейцарии, в том числе в EPFL. Первые пользователи в настоящее время оценивают любые компромиссы с точки зрения скорости, точности и качества.
«Anyway Systems представляет собой интересную и привлекательную технологию, которая оптимизирует использование ресурсов, обеспечивая при этом безопасность и суверенитет данных, и может изменить правила игры в области искусственного интеллекта», — сказал профессор Дэвид Атьенца, заместитель вице-президента исследовательских центров и технологических платформ EPFL. «Его устойчивый подход идеально согласуется с потребностями передовых вычислительных платформ EPFL и сыграет ключевую роль в формировании траектории будущего развития искусственного интеллекта в EPFL, чтобы потреблять меньше ресурсов за счет нового развертывания моделей LLM, таких как Открыть.”
На данный момент системы Anyway Systems не будут работать на одном настольном компьютере или ноутбуке дома, но история вычислений показывает, что оптимизация часто происходит быстро.
«Ваш телефон содержит сумасшедшие объемы информации, которые было бы невозможно себе представить несколько лет назад, а теперь вы делаете на нем все. Он может победить всех 100 лучших чемпионов по шахматам одновременно, в то время как компьютер, который был необходим для победы над Каспаровым, был огромен. История говорит нам, что так обстоят дела. Мы говорим, что мы сможем делать все локально с точки зрения ИИ. большие технологии, могли бы быть мастерами всех частей», — заключил Геррауи.
Вопросы и ответы
В чем разница между Everything Systems и Google AI Edge?
Google AI Edge предназначен для запуска на мобильных телефонах для очень специфических и небольших моделей Google, при этом каждый пользователь использует модель, ограниченную возможностями телефона. Не существует распределенных вычислений, которые позволили бы масштабируемым и отказоустойчивым образом развертывать одни и те же большие и мощные модели искусственного интеллекта, которые используются многими пользователями одной и той же организации. Система любом случае может обрабатывать сотни миллиардов параметров всего с помощью нескольких графических процессоров.
В чем разница между Even Systems и другими решениями, которые позволяют людям запускать локальные LLM, такие как Llama или msty.ai?
Большинство этих подходов помогают развернуть модель на одной машине, которая является единственным источником сбоев. Чтобы внедрить самые мощные модели, им необходимо купить и инвестировать в очень дорогостоящие машины, по сути такие же, которые можно найти в центрах обработки данных. Следовательно, если у вас есть одна серийная машина, приведенные решения полезны для развертывания небольших моделей. Если у вас есть несколько стандартных машин, вы не сможете эффективно объединить их с указанными решениями для развертывания большой модели, и даже если бы вы могли это сделать, для управления системой и ее обслуживания потребовалась бы команда. Система Anyway делает это прозрачно, надежно и автоматически. Тот факт, что машина выходит из строя, выходит из сети или присоединяется к ней, очевиден в любом случае с учетом небольшого изменения задержки (времени ответа на запрос).
Модели ИИ постоянно совершенствуются и подпитываются. Как эти улучшения отражаются на местном уровне?
Поскольку система «В любом случае» позволяет локально развертывать любую модель искусственного интеллекта с открытым исходным кодом, подача в нее локальных и конфиденциальных данных становится полностью безопасной и приемлемой, возвращая контроль пользователю.
#Действительно #ли #нам #нужны #большие #центры #обработки #данных #для #искусственного #интеллекта
Читайте также
