Дельфидвухлетний стартап в области искусственного интеллекта из Сан-Франциско под названием после древнегреческого оракуластолкнулся с полностью проблема 21-го века: его «цифровые умы»— интерактивные персонализированные чат-боты, созданные по образцу конечного пользователя и предназначенные для передачи его голоса на основе его произведений, записей и других медиа-материалов — тонули в данных.
Каждый Delphi может использовать любое количество книг, социальных сетей или материалов курсов для реагирования в контексте, благодаря чему каждое взаимодействие воспринимается как прямой разговор. Создатели, тренеры, художники и эксперты уже использовали их, чтобы делиться идеями и привлекать аудиторию.
Но каждая новая загрузка подкастов, PDF-файлов или публикаций в социальных сетях в Delphi усложняла базовые системы компании. С каждой неделей поддерживать реакцию этих альтер-эго ИИ в режиме реального времени, не нарушая при этом систему, становилось все труднее.
К счастью, Дефи нашел решение к проблемам с масштабированием при использовании управляемой базы данных векторов, дорогая Pinecone.
Открытый исходный код заходит так далеко
Ранние эксперименты Delphi основывались на хранилищах векторной графики с открытым исходным кодом. Эти системы быстро поддались потребностям компании. Размер индексов увеличился, что замедлило поиск и усложнило масштабирование.
Скачки задержки во время прямых трансляций или внезапная загрузка контента могли ухудшить поток разговора.
Хуже того, небольшая, но растущая команда инженеров Delphi тратила недели на настройку индексов и управление логикой сегментирования вместо создания функций продукта.
Полностью управляемая векторная база данных Pinecone с поддержкой SOC 2, шифрованием и встроенной изоляцией пространства имен оказалась лучшим вариантом.
Каждый цифровой разум теперь имеет собственное пространство имен в Pinecone. Это обеспечивает конфиденциальность и соответствие требованиям, а также сужает область поиска при извлечении знаний из хранилища загруженных пользователем данных, повышая производительность.
Данные создателя можно удалить одним вызовом API.. Поиски постоянно возвращаются менее чем за 100 миллисекунд на 95-м процентиле. что составляет менее 30 процентов от строго установленного Delphi показателя сквозной задержки в одну секунду.
«С Pinecone нам не нужно думать о том, сработает ли это», — сказал Сэмюэл Спелсберг, соучредитель и технический директор Delphiв недавнем интервью. «Это позволяет нашей команде инженеров сосредоточиться на производительности приложений и функциях продукта, а не на инфраструктуре семантического сходства».
Архитектура за масштабом
В основе системы Delphi лежит конвейер с расширенной генерацией данных (RAG). Содержимое поглощается, очищается и разбивается на фрагменты; затем встраивается с использованием моделей OpenAI, Anthropic или собственного стека Delphi.
Эти внедрения хранятся в Pinecone в правильном пространстве имен. Во время запроса Pinecone за миллисекунды извлекает наиболее релевантные векторы, которые затем передаются в большую языковую модель для получения ответов. Это популярный метод, известный в индустрии искусственного интеллекта как поисковая дополненная генерация (RAG).
Этот дизайн позволяет Delphi поддерживать общение в режиме реального времени, не перегружая системный бюджет.
Как Джеффри Чжу, вице-президент по продукту Pineconeпояснил, что ключевым нововведением стал переход от традиционных векторных баз данных на основе узлов к подходу, ориентированному на объектное хранилище.
Вместо того, чтобы хранить все данные в памяти, Pinecone динамически загружает векторы при необходимости и выгружает простаивающие.
«Это действительно соответствует шаблонам использования Delphi», — сказал Чжу. “Цифровой разум задействуется порциями, а не постоянно. Разделяя хранилище и вычисления, мы сокращаем затраты, обеспечивая при этом горизонтальную масштабируемость”.
Pinecone также автоматически настраивает алгоритмы в зависимости от размера пространства имен. Меньший Delphis может хранить только несколько тысяч векторов; другие содержат миллионы, полученные от создателей с десятилетиями архивов.
Сосновая шишка адаптивно применяет лучший подход к индексации в каждом случае. Как сказал Чжу: “Мы не хотим, чтобы нашим клиентам приходилось выбирать между алгоритмами или задаваться вопросом об отзыве. Мы решаем эту проблему скрытно”.
Разногласия между создателями
Не все цифровые разумы выглядят одинаково. Некоторые авторы загружают относительно небольшие наборы данных — ленты социальных сетей, эссе или материалы курсов — объемом в десятки тысяч слов.
Другие идут гораздо глубже. Спелсберг описал одного эксперта, который предоставил сотни гигабайт отсканированных PDF-файлов, охватывающих десятилетия маркетинговых знаний.
Несмотря на это различие, бессерверная архитектура Pinecone позволила Delphi выйти за рамки 100 миллионов сохраненных векторов через Более 12 000 пространств имен не натыкаясь на скалы.
Получение остается последовательным даже во время всплесков нагрузки, вызванных событиями в реальном времени или падением контента. Delphi теперь поддерживает около 20 запросов в секунду по всему мируподдерживая одновременные разговоры в разных часовых поясах с нулевым масштабированием.
На пути к миллиону цифровых умов
Целью Delphi является размещение миллионов Digital Minds, и эта цель потребует поддержки как минимум пяти миллионов пространств имен в одном индексе.
Для Спелсберга этот масштаб не является гипотетическим, а является частью дорожной карты продукта. «Мы уже перешли от идеи начального этапа к системе, управляющей 100 миллионами векторов», — сказал он. «Надежность и производительность, которые мы наблюдаем, вселяют в нас уверенность в возможности агрессивного масштабирования».
Чжу согласился, отметив, что архитектура Pinecone была специально разработана для обработки пульсирующих многопользовательских рабочих нагрузок, таких как Delphi. «Подобные агентские приложения не могут быть построены на инфраструктуре, которая не справляется с масштабированием», — сказал он.
Почему RAG по-прежнему имеет значение и будет иметь значение в обозримом будущем
По мере расширения контекстных окон в больших языковых моделях некоторые Индустрия искусственного интеллекта предполагает, что RAG может устареть.
И Спелсберг, и Чжу отвергают эту идею. «Даже если у нас будут контекстные окна на миллиарды токенов, RAG по-прежнему будет важен», — сказал Спелсберг. “Вы всегда хотите предоставить самую актуальную информацию. В противном случае вы тратите деньги, увеличиваете задержку и отвлекаете модель”.
Чжу сформулировал это с точки зрения контекстная инженерия — термин «Сосновая шишка», который недавно использовался в собственные технические посты в блоге.
«LLM — это мощные инструменты рассуждения, но им нужны ограничения», — объяснил он. “Сваливать все, что у вас есть, неэффективно и может привести к худшим результатам. Организация и сужение контекста не только дешевле, но и повышает точность”.
Как описано в Собственные работы Pinecone по контекстной инженерииизвлечение помогает управлять ограниченным объемом внимания языковых моделей, подбирая правильное сочетание пользовательских запросов, предыдущих сообщений, документов и воспоминаний, чтобы поддерживать согласованность взаимодействия с течением времени.
Без этого окна заполняются, и модели теряют важную информацию. Благодаря этому приложения могут сохранять актуальность и надежность в ходе длительных диалогов.
От «Черного зеркала» до корпоративного уровня
Когда VentureBeat впервые представил Delphi в 2023 году.Компания только что собрала 2,7 миллиона долларов начального финансирования и привлекла внимание своей способностью создавать убедительные «клоны» исторических личностей и знаменитостей.
Генеральный директор Дара Ладжевардян связала эту идею с личной попыткой восстановить связь со своим покойным дедушкой с помощью искусственного интеллекта.
Сегодня фреймворк созрел. Delphi рассматривает цифровое мышление не как бесполезные клоны или чат-боты, а как инструменты для масштабирования знаний, обучения и опыта.
Компания видит применение в профессиональном развитии, коучинге и корпоративном обучении — областях, где точность, конфиденциальность и оперативность имеют первостепенное значение.
В этом смысле сотрудничество с Pinecone представляет собой нечто большее, чем просто техническое решение. Это часть усилий Delphi по смещению повествования от новизны к инфраструктуре.
Digital Minds теперь позиционируется как надежный, безопасный и готовый к использованию на предприятии. — потому что они находятся на вершине поисковой системы, спроектированной как для скорости, так и для доверия.
Что будет дальше с Delphi и Pinecone?
В будущем Delphi планирует расширить свой набор функций. Одним из предстоящих дополнений является «режим интервью», в котором цифровой разум может задавать вопросы своему создателю/источнику, чтобы заполнить пробелы в знаниях.
Это снижает входной барьер для людей, не имеющих обширных архивов контента. Тем временем Pinecone продолжает совершенствовать свою платформу, добавляя такие возможности, как адаптивное индексирование и фильтрация с эффективным использованием памяти, для поддержки более сложных рабочих процессов поиска.
Для обеих компаний траектория указывает на масштаб. Delphi предполагает, что миллионы цифровых умов будут активны в разных областях и аудиториях. Pinecone рассматривает свою базу данных как уровень поиска для следующей волны агентных приложений, где контекстная инженерия и поиск остаются важными.
«Надежность дала нам уверенность в масштабировании» – сказал Спелсберг. Чжу повторил это мнение: «Речь идет не только об управлении векторами. Речь идет о создании совершенно новых классов приложений, которым требуется как скорость, так и доверие в масштабе».
Если Delphi продолжит расти, миллионы людей будут изо дня в день взаимодействовать с Digital Minds — живыми хранилищами знаний и личностей, тихо работающими под капотом Pinecone.
2025-08-21 16:40:00
1761474981
#Как #стартап #Delphi #занимающийся #искусственным #интеллектом #перестал #тонуть #пользовательских #данных #расширился #помощью #Pinecone
По теме
