Помощь хранению данных не отставать от революции ИИ | MIT News

Искусственный интеллект меняет способ хранения предприятий и доступа к своим данным. Это связано с тем, что традиционные системы хранения данных были разработаны для обработки простых команд от нескольких пользователей одновременно, тогда как сегодня системы искусственного интеллекта с миллионами агентов должны непрерывно доступ и обрабатывать большие объемы данных параллельно. Традиционные системы хранения данных теперь имеют слои сложности, которые замедляют системы ИИ вниз, поскольку данные должны проходить через несколько уровней, прежде чем достигать графических единиц обработки (графических процессоров), которые являются клетками мозга ИИ.

Cloudian, соучрединный Майклом Цо ’93, SM ’93 и Хироши Охта, помогает хранить в соответствии с революцией ИИ. Компания разработала масштабируемую систему хранения для предприятий, которая плавно помогает данных между моделями хранения и искусственного интеллекта. Система уменьшает сложность, применяя параллельные вычисления к хранению данных, консолидации функций ИИ и данных на единую платформу параллельной обработки, которая хранит, извлекает и обрабатывает масштабируемые наборы данных, с прямыми высокоскоростными передачами между хранилищами и графическими процессорами и процессорами.

Встроенная платформа Cloudian для снятия хранения упрощает процесс создания коммерческих инструментов искусственного интеллекта и дает предприятиям фонд хранения, который может не отставать от роста ИИ.

«Одна из вещей, которые люди не хватают по ИИ, это то, что все дело в данных», – говорит Цо. «Вы не можете получить 10 -процентное улучшение производительности искусственного интеллекта с на 10 процентов большим количеством данных или даже в 10 раз больше данных – вам нужны данные в 1000 раз больше. Возможность хранить эти данные так легко управлять, и таким образом, что вы можете внедрить в них вычисления», чтобы вы могли запускать операции, пока данные приходят, не перемещая данные – это то, куда эта отрасль идет ».

От MIT до промышленности

Будучи бакалавриатом в Массачусетском технологическом институте в 1990 -х годах, TSO был введен профессором Уильямом Далли для параллельных вычислений – тип вычислений, в которых происходит много расчетов одновременно. TSO также работал над параллельными вычислениями с доцентом Грегом Пападопулосом.

«Это было невероятное время, потому что в большинстве школ был один суперкомпьютный проект-у MIT было четыре»,-вспоминает TSO.

Будучи аспирантом, TSO работал с старшим научным исследователем MIT Дэвидом Кларком, пионером, который внес свой вклад в раннюю архитектуру Интернета, особенно протокол контроля передачи (TCP), который предоставляет данные между системами.

«Будучи аспирантом в MIT, я работал над отключенными и прерывистыми сетевыми операциями для крупномасштабных распределенных систем», – говорит TSO. «Это смешно – 30 лет, это то, что я все еще делаю сегодня».

После окончания учебы TSO работал в лаборатории архитектуры Intel, где он изобрел алгоритмы синхронизации данных, используемые BlackBerry. Он также создал спецификации для Nokia, которые зажгли индустрию загрузки рингтона. Затем он присоединился к Inktomi, стартапу, основанному Eric Brewer SM ’92, доктор философии 94, который стал первым технологиями поиска и распространения веб-контента.

В 2001 году TSO начал мобильные технологии Gemini с Джозефом Нортоном ’93, SM ’93 и другими. Далее компания создала крупнейшие в мире системы мобильных сообщений, чтобы справиться с массовым ростом данных с камерных телефонов. Затем, в конце 2000 -х годов, облачные вычисления стали мощным способом для предприятий арендовать виртуальные серверы, когда они увеличивали свою деятельность. TSO заметил, что объем собираемых данных растут намного быстрее, чем скорость сетевого взаимодействия, поэтому он решил погрузиться в компанию.

«Данные создаются во многих разных местах, и эти данные имеют свою гравитацию: это будет стоить вам денег и времени, чтобы переместить их», – объясняет TSO. «Это означает, что конечное состояние представляет собой распределенное облако, которое достигает кромков и серверов. Вы должны донести облако в данные, а не данные в облаке».

TSO официально запустила Cloudian из мобильных технологий Gemini в 2012 году, с новым акцентом на помощь клиентам в масштабируемом, распределенном, облачном совместном хранении данных.

«То, что мы не видели, когда впервые начали начинать компанию, так это то, что ИИ собирается стать окончательным вариантом использования данных на грани», – говорит Цо.

Хотя исследование TSO в MIT началось более двух десятилетий назад, он видит прочные связи между тем, над чем он работал, и отраслью сегодня.

«Как будто вся моя жизнь отыгрывает, потому что мы с Дэвидом Кларком имели дело с отключенными и периодически связанными сетями, которые являются частью каждого варианта использования преимущества сегодня, и профессор Далли работал над очень быстрыми, масштабируемыми взаимосвязанными соединениями», – говорит Цо, отмечая, что Далли является старшим вице -президентом и главным ученым в ведущей компании AI Nvidia. «Теперь, когда вы смотрите на современную архитектуру чипов NVIDIA и то, как они взаимодействуют в связи с общением, у нее работают работа Дэлли. С профессором Пападопулосом я работал над ускорением прикладного программного обеспечения с параллельным вычислительным оборудованием без необходимости переписывания приложений, и это именно то, что мы пытаемся решить с NVIDIA. Современно, все, что я занимался.

Сегодня платформа Cloudian использует архитектуру хранения объектов, в которой все виды данных – Documents, Videos, датчики – хранятся в качестве уникального объекта с метаданными. Хранение объектов может управлять массовыми наборами данных в плоской счете, что делает его идеальным для неструктурированных данных и систем искусственного интеллекта, но оно традиционно не смогло отправлять данные непосредственно в модели искусственного интеллекта, без того, чтобы данные сначала были скопированы в систему памяти компьютера, создавая задержку и узкие места энергии для бизнеса.

В июле Cloudian объявила, что расширила свою систему хранения объектов с помощью векторной базы данных, которая хранит данные в форме, которая сразу же используется моделями ИИ. По мере того, как данные принимаются, Cloudian вычисляет в режиме реального времени в векторную форму этих данных для питания инструментов искусственного интеллекта, таких как рекомендательные двигатели, поиск и помощники искусственного интеллекта. Cloudian также объявил о партнерстве с Nvidia, которое позволяет своей системе хранения работать напрямую с графическими процессорами компании AI. Cloudian говорит, что новая система обеспечивает даже более быстрые операции по ИИ и снижает вычислительные затраты.

«Nvidia связалась с нами около полутора лет назад, потому что графические процессоры полезны только с данными, которые заставляют их заняты», – говорит TSO. «Теперь, когда люди понимают, что легче перемещать ИИ в данные, чем для перемещения огромных наборов данных. Наши системы хранения внедряют много функций ИИ, поэтому мы можем предварительно и постпроцесс для ИИ рядом с тем местом, где мы собираем и храним данные».

Ай-первое хранилище

Cloudian помогает около 1000 компаний по всему миру получить большую ценность из своих данных, включая крупных производителей, поставщиков финансовых услуг, организаций здравоохранения и государственных учреждений.

Например, платформа для хранения Cloudian помогает одному крупному автопроизводителям использовать ИИ, чтобы определить, когда необходимо обслуживать каждый из его производственных роботов. Cloudian также работает с Национальной библиотекой медицины для хранения исследовательских статей и патентов, а также национальной базы данных рака для хранения последовательностей ДНК опухолей – богатых наборов данных, которые модели ИИ могут обработать, чтобы помочь исследовать новые методы лечения или получить новые идеи.

«GPU были невероятным фактором, – говорит Цо. «Закон Мура удваивает объем вычислителей каждые два года, но графические процессоры способны параллелизировать операции на микросхемах, поэтому вы можете объединить графические процессоры и разбить закон Мура. Этот масштаб подталкивает AI к новым уровням интеллекта, но единственный способ заставить графические процессоры усердно трудиться.