Библиотека векторов сжигает 100 000 долларов в месяц? Как AWS S3 Vectors снижает затраты на базу данных для диалогового ИИ на 90 %?

SaaS-компания добавила в свой продукт функцию чат-помощника с искусственным интеллектом, позволяющую пользователям запрашивать документы о продукте, записи прошлых разговоров и технические спецификации, используя естественный язык. Для реализации этой функции они создали специальную векторную базу данных для хранения семантического представления миллионов документов. Ежемесячная стоимость базы данных достигает 100 000 долларов США, 70% из которых тратится на хранение и обслуживание индексов. Технический директор задал ключевой вопрос: «У нас уже есть все файлы, хранящиеся в S3, зачем нам тратить столько денег на поддержание еще одной базы данных?»

Последняя версия AWS Векторы Amazon S3 официально ответить на этот вопрос. S3 Vectors — первая в мире облачная служба хранения объектов со встроенными возможностями векторного поиска. Она позволяет предприятиям хранить и запрашивать векторные данные непосредственно в S3. Один индекс может поддерживать до 2 миллиардов векторов (в 40 раз больше, чем в предварительной версии) с задержкой запроса всего 100 миллисекунд. Самое главное, что стоимость снижается до 90% по сравнению со специализированными векторными базами данных. Для компаний, создающих диалоговый ИИ, системы поиска знаний и системы рекомендаций, это означает, что им больше не нужно создавать дополнительную дорогостоящую инфраструктуру баз данных для функций векторного поиска.

S3 Vectors интегрирован с Базы знаний Amazon Bedrock и Amazon OpenSearch Глубокая интеграция позволяет предприятиям быстро создавать приложения искусственного интеллекта промышленного уровня. Независимо от того, необходимо ли роботу службы поддержки клиентов найти соответствующие ответы в десятках тысяч документов, платформе электронной коммерции необходимо рекомендовать продукты на основе истории посещений пользователей или внутренняя база знаний предприятия нуждается в возможностях семантического поиска, S3 Vectors предлагает решение, которое экономит деньги и устраняет проблемы.

Почему диалоговый ИИ приводит к тому, что затраты на базу данных векторов выходят из-под контроля?

Что такое векторные данные? Почему это важно?

Когда вы спрашиваете ИИ-помощника «Как настроить двухфакторную аутентификацию?», система не сравнивает слова «двухфакторная аутентификация» дословно среди массивных документов. Вместо этого он понимает «семантику» вашего вопроса, а затем находит документ с «ближайшим значением» из базы знаний. Этот процесс основан на «векторной» технологии: система преобразует каждый документ в строку чисел (обычно 768- или 1536-мерный вектор). Эта строка чисел представляет семантические характеристики документа. Когда вы задаете вопрос, вопрос также преобразуется в вектор. Система вычисляет сходство между «вектором вашего вопроса» и «векторами всех документов», чтобы найти наиболее релевантный контент для ответа.

Вот почему современные приложения искусственного интеллекта могут «понимать» ваши вопросы, а не просто сравнивать ключевые слова — и все это опирается на технологию векторного поиска. Проблема в том, что требования к хранению и запросам векторных данных полностью отличаются от требований традиционных баз данных, что породило ряд специализированных служб векторных баз данных.

Ловушка стоимости специализированных векторных библиотек

Специализированные векторные библиотеки, представленные на рынке (такие как Pinecone, Weaviate, Milvus), действительно предоставляют мощные функции, но они также создают три основных фактора ценового давления:

1. Затраты на хранение высоки:Плотность хранения векторных данных намного ниже, чем у традиционных данных. Документ из 1000 слов может занимать всего 5 КБ, но при преобразовании в 1536-мерный вектор ему потребуется 6 КБ (4 байта на измерение). Что еще более важно, чтобы обеспечить скорость запросов на уровне миллисекунд, специализированным векторным базам данных необходимо загружать данные в память или использовать высокоскоростные твердотельные накопители. Стоимость хранилища в 10–20 раз превышает стоимость стандартного хранилища S3.
2. Затраты на поддержание индекса:Векторные базы данных требуют создания и поддержки сложных индексных структур (таких как HNSW, IVF) для ускорения поиска. Всякий раз, когда новый вектор добавляется или обновляется, индекс необходимо пересчитывать. База данных с миллионами векторов добавляет 10 000 фрагментов данных каждый день, а обслуживание индексов может потреблять много вычислительных ресурсов.
3. Нелинейные издержки роста масштаба:При увеличении количества векторов с 1 миллиона до 10 миллионов стоимость специализированной базы данных зачастую возрастает не линейно в 10 раз, а поскольку требуется более сложная архитектура шардинга, больше памяти и более частая оптимизация индексов, реальная стоимость может увеличиться в 15-20 раз.

Анализ стоимости реального дела

Предприятие строит внутреннюю систему управления знаниями для хранения 5 миллионов документов (около 2 ТБ исходных данных). После преобразования их в векторы необходимо сохранить 5 миллиардов векторов (каждый документ разделен на несколько абзацев). Ежемесячная структура затрат с использованием специализированной векторной базы данных:

• Хранилище векторов: 5 миллиардов векторов × 0,000004 доллара США/вектор/месяц = 20 000 долларов США.
• Вычислительные ресурсы: 16 высокопроизводительных экземпляров, необходимых для поддержания производительности запросов = 48 000 долларов США.
• Обслуживание индекса и резервное копирование: 100 000 новых документов в день = 15 000 долларов США.
• Плата за передачу данных (межрегиональное резервное копирование) = 8000 долларов США.
• Итого: 91 000 долларов США в месяц.

Это истинная подоплека «сжигания 100 000 долларов в месяц». Еще больше беспокоит то, что исходные файлы компании уже существуют в S3 (что стоит около 500 долларов в месяц), но ей приходится создавать и поддерживать дополнительный набор дорогостоящей инфраструктуры, поскольку ей нужны возможности векторного поиска.

S3 Vectors: сделайте векторный поиск встроенной функцией S3.

Технологический прорыв с 50 миллионов до 2 миллиардов

В предварительной версии S3 Vectors поддерживает до 50 миллионов векторов в одном индексе, что достаточно для приложений малого и среднего размера, но недостаточно для сценариев корпоративного уровня, которым необходимо обрабатывать сотни миллионов файлов. Официальная версия увеличивает емкость единого индекса до 2 миллиардов векторов, то есть в 40 раз, что означает:

• Платформа электронной коммерции может конвертировать все описания продуктов, отзывы пользователей и историю просмотров в векторы и хранить их в едином индексе без необходимости использования сложной архитектуры сегментирования.
• Платформа медицинских данных может интегрировать десятки миллионов медицинских записей, исследовательских работ и информации о лекарствах в одну поисковую систему.
• Глобальная контентная платформа может выполнять семантический поиск многоязычных документов с помощью единого индекса.

Что еще более важно, векторная корзина S3 может содержать несколько индексов и теоретически поддерживает до 20 триллионов векторов. Эта почти неограниченная возможность расширения позволяет предприятиям не беспокоиться о необходимости перепроектировать архитектуру, когда данные достигают определенного масштаба.

Задержка запроса 100 мс: может ли она поддерживать производственные среды?

Производительность является главной заботой для бизнеса. Задержка запроса для векторов S3 разделена на два уровня:

• холодный запрос (Индекс, к которому редко обращаются): ответ примерно через 1 секунду
• Горячий запрос (часто используемые индексы): ~100 мс или меньше

100 миллисекунд вполне достаточно для многих случаев использования. Полный процесс ответа чат-бота службы поддержки клиентов включает в себя: понимание вопроса пользователя (50 мс), векторный поиск соответствующих документов (100 мс), вызов большой языковой модели для генерации ответа (500–1000 мс) и отправку результатов обратно (50 мс). Весь процесс занимает 1-2 секунды, из которых на векторный поиск приходится всего 10%, что мало влияет на пользовательский опыт.

Неприменимые сценарии — это в основном «требования к чрезвычайно низкой задержке», такие как системы рекомендаций в реальном времени и анализ сходства высокочастотных транзакций, которые необходимо завершить в течение 10 миллисекунд. Но для подавляющего большинства приложений диалогового искусственного интеллекта, поиска документов и поиска в базе знаний нет существенной разницы между задержкой в 100 миллисекунд и «немедленностью», воспринимаемой пользователями.

Производительность записи: 1000 транзакций PUT в секунду.

S3 Vectors поддерживает до 1000 транзакций PUT в секунду, что особенно важно для приложений, постоянно обновляющих векторные данные. Платформа новостных СМИ публикует 5000 статей каждый день, в среднем около 0,06 статей в секунду. Даже если он также занимается переиндексацией исторических статей, возможности записи 1000 раз в секунду более чем достаточно.

Для сценариев, требующих более высокой пропускной способности записи (например, векторизация потоковых данных в реальном времени), предприятия могут принять стратегию пакетной записи: сначала временно сохранять вновь добавленные файлы в стандартном хранилище S3, а затем периодически (например, ежечасно) пакетно конвертировать их в векторы и обновлять индекс. Эта гибридная архитектура способна обрабатывать пульсирующий трафик, в полной мере используя преимущества стоимости S3 Vectors.

Снижение затрат на 90%: Экономические преимущества хранения в S3

Структура ценообразования: три измерения
Цена на S3 Vectors основана на трех элементах, а концепция дизайна — «платите за то, что используете»:

1. Цена ПУТ:Тарификация зависит от объема загруженных векторных данных (логических ГБ, включая сам вектор, данные ретрансляции и индексные ключи).
2. Стоимость хранения:Оплата производится по общему объему логического хранилища индекса.
3. Плата за запрос:Включает фиксированную плату за каждый вызов API, а также переменную плату в зависимости от размера индекса (/ТБ).При индексации более 100 000 векторов,/Уровень заболеваемости туберкулезом снижается по мере увеличения масштаба

Ключевое преимущество этой структуры ценообразования заключается в том, что «чем больше масштаб, тем ниже стоимость единицы продукции». Когда индекс вырастет с 1 миллиона векторов до 100 миллионов векторов, стоимость единицы запроса ($/ТБ) значительно снизится, что резко контрастирует с «большим масштабом и более высокой стоимостью» специализированных векторных баз данных.

Сравнение затрат: реальные цифры

Продолжая упомянутый ранее пример предприятия (5 миллиардов векторов), структура ежемесячных затрат с использованием S3 Vectors выглядит следующим образом:

• Векторное хранилище (при объеме данных 20 ТБ): 20 ТБ × 23 доллара США/ТБ = 460 долларов США.
• Стоимость PUT (каждый день добавляется 100 000 новых файлов, около 1 ТБ в месяц): 1 ТБ × цена PUT ≈ 200 долларов США.
• Стоимость запроса (при условии 10 миллионов запросов в месяц, средний размер индекса 20 ТБ): ~ 3000 долларов США в зависимости от ценовой категории.
• Итого: примерно 3660–5000 долларов США в месяц.

По сравнению с первоначальными 91 000 долларов в месяц это экономит около 86 000–87 000 долларов.Коэффициент снижения до 95%. Даже с учетом того, что компаниям могут потребоваться дополнительные инструменты обработки и мониторинга данных, реальная экономия все равно может достигать более 90%.

Почему так дешево?

Низкая стоимость S3 Vectors обусловлена эффектом масштаба и накоплением технологий AWS S3:

1. Общая инфраструктура: S3 — крупнейший в мире сервис объектного хранения, обрабатывающий триллионы запросов каждый день. S3 Vectors работает на той же инфраструктуре, что устраняет необходимость в отдельных центрах обработки данных и сетях для поиска векторов.
2. Горячее и холодное многоуровневое хранение: S3 Vectors разумно сохраняет «редко используемые векторы» на более дешевых уровнях хранения, и только «часто запрашиваемые векторы» загружаются в высокоскоростную память. Специализированные векторные библиотеки обычно размещают все данные на дорогой памяти или высокоскоростных твердотельных накопителях.
3. Бессерверная архитектура. Предприятиям не нужно заранее развертывать вычислительные ресурсы. При небольшом объеме запросов вычислительные затраты не взимаются, а при большом объеме запросов они автоматически расширяются, а счета полностью выставляются на основе фактического использования. Даже если трафик запросов к специализированной базе данных отсутствует, для исполнителя все равно существует фиксированная стоимость.

Интеграция с базами знаний Amazon Bedrock: комплексное решение для приложений RAG

Что такое РАГ? Зачем нужен векторный поиск?

RAG (Retrival Augmented Generation) в настоящее время является самой популярной архитектурой приложений искусственного интеллекта. Проще говоря, это означает «дайте ИИ проверить информацию, прежде чем ответить на вопрос». Традиционные крупномасштабные языковые модели могут отвечать только на вопросы, основанные на данных обучения, и бессильны с внутренними корпоративными документами, новейшей информацией и профессиональными знаниями. RAG решает эту проблему посредством следующего процесса:

1. Пользователь спросил: «Какова туристическая политика нашей компании?»
2. Система преобразует вопросы в векторы и ищет соответствующие документы в базе знаний.
3. Найдите 3–5 наиболее важных документов (политика путешествия, рекомендации по возмещению расходов, часто задаваемые вопросы и т. д.).
4. Передайте эти файлы модели ИИ вместе с вопросами пользователя.
5. ИИ генерирует точные ответы на основе «найденных данных»

Векторный поиск является основным звеном RAG — он определяет, «можно ли найти нужные данные», что, в свою очередь, влияет на «точность ответа ИИ».

Ценность баз знаний Amazon Bedrock

Базы знаний Amazon Bedrock Это полностью управляемый сервис RAG, предоставляемый AWS. Предприятию необходимо только:

1. Загрузка файлов в S3 (поддерживается несколько форматов, таких как PDF, Word, веб-страницы, обычный текст и т. д.)
2. Выберите решение для векторного хранения (теперь доступна опция S3 Vectors)
3. Подключайтесь к базовым моделям Amazon Bedrock (таким как Claude, Titan)
4. Создайте приложение, чтобы начать

Все сложные технические детали — анализ файлов, сегментация текста, векторное преобразование, индексирование, оптимизация запросов — выполняются AWS автоматически. Для компаний, у которых нет профессиональных команд ИИ, это значительно снижает порог создания приложений ИИ.

Интеграция структуры и эффективности

Используя S3 Vectors в качестве серверной части векторного хранилища для баз знаний Bedrock, предприятия получают три ключевых преимущества:

1. Единый источник данных: как исходные файлы, так и векторные данные хранятся в S3, и нет необходимости синхронизировать данные между несколькими системами. При обновлении файлов необходимо только перезапустить процесс векторизации без перемещения данных между различными системами хранения.
2. Оптимизация затрат: базы знаний Bedrock могут напрямую использовать недорогое хранилище S3 Vectors, избегая высоких затрат на выделенную базу данных векторов. Для корпоративных баз знаний, обрабатывающих миллионы файлов, эта экономия может достигать сотен тысяч долларов в год.
3. Упрощенная архитектура: предприятиям не нужно поддерживать независимые базы данных векторов и управлять ими. Все данные находятся в управляемом сервисе AWS. Резервное копирование, аварийное восстановление и региональное расширение выполняются AWS. ИТ-команда может сосредоточиться на бизнес-логике, а не на обслуживании инфраструктуры.

Практические сценарии применения

Компания, предоставляющая финансовые услуги, использует базы знаний Bedrock + S3 Vectors для создания внутренней системы запросов на соответствие требованиям. Они загрузили нормативные документы, нормативные обновления и внутренние политики (всего 500 000 документов) за последние 20 лет в S3, автоматически преобразовали их в векторы и проиндексировали через Bedrock. Специалисты по обеспечению соответствия теперь могут использовать естественный язык, чтобы спросить: «Каковы новые требования к правилам по борьбе с отмыванием денег в 2023 году?», и система найдет соответствующие документы в течение 1–2 секунд и использует Claude для создания точного резюме. Работа, которая раньше требовала от старших специалистов по комплаенсу тратить 2–3 часа на просмотр документов, теперь сокращается до 30 секунд, что повышает эффективность команды более чем в 100 раз.

Интеграция с Amazon OpenSearch: лучшие практики гибридного поиска

Зачем нужен гибридный поиск?

Хотя векторный поиск является мощным инструментом, он не всесилен. Предположим, пользователь запрашивает «Показать список клиентов с доходом, превышающим 1 миллион долларов США в четвертом квартале 2023 года». Этот вопрос включает в себя:

• Семантическое понимание: «Доход», «Клиент» (хороший векторный поиск).
• Точные условия: «4 квартал 2023 года», «более 1 миллиона долларов США» (традиционная база данных хороша)

Просто используя векторный поиск, можно найти «документы, рассказывающие о доходах», но он не может точно отфильтровать результаты, которые «соответствуют условиям времени и суммы». Для этого требуется гибридный поиск: сочетание возможностей семантического понимания векторного поиска с точной условной фильтрацией традиционного поиска.

Интегрированная архитектура OpenSearch

Сервис Amazon OpenSearch Это полностью управляемый сервис поиска и анализа, предоставляемый AWS (на основе проекта OpenSearch с открытым исходным кодом). Теперь S3 Vectors можно использовать в качестве слоя векторного хранилища OpenSearch для достижения:

• Векторные данные хранятся в S3 Vectors (низкая стоимость, большой масштаб).
• Метаданные и структурированные данные существуют в OpenSearch (быстрая фильтрация, агрегированный анализ)
• При запросе они работают вместе: OpenSearch сначала использует точные условия для фильтрации, а затем использует векторы S3 для семантической сортировки.

Эта архитектура позволяет предприятиям наслаждаться низкой стоимостью S3 Vectors, одновременно используя преимущества OpenSearch в сложных запросах, анализе в реальном времени и визуализации данных.

Практические примеры поиска в электронной коммерции

Платформа электронной коммерции насчитывает 5 миллионов товаров, каждый из которых включает в себя: название, описание, характеристики, цену, ассортимент и отзывы. Они используют гибридную архитектуру:

1. Текстовое описание товара преобразуется в векторы и сохраняется в S3 Vectors (семантический поиск).
2. Структурированная информация о продукте (цена, категория, бренд, состояние запасов) существует в OpenSearch (точная фильтрация).

Когда пользователь ищет «подарок на день рождения, подходящий для мамы, бюджет менее 5000 юаней»:

1. OpenSearch сначала фильтрует продукты с «ценой ≤ 5000 юаней» и «запасом > 0» (сужается с 5 миллионов до 500 000).
2. S3 Vectors проводит семантический поиск по этим 500 000 элементов на предмет «подходящего подарка на день рождения маме».
3. Верните 20 самых актуальных товаров

Этот гибридный запрос является одновременно быстрым (большинство нерелевантных элементов быстро отфильтровывается OpenSearch) и точным (окончательный рейтинг основан на семантическом сходстве, а не на совпадении ключевых слов), а его стоимость на 90 % ниже, чем при использовании специализированной векторной базы данных.

Кому следует рассмотреть возможность перехода со специализированного репозитория векторов на S3 Vectors?

Четыре типа компаний, наиболее подходящих для

1. Предприятия, которые активно используют AWS S3:Исходные данные уже существуют в S3. Переход на S3 Vectors может унифицировать уровень хранения, упростить архитектуру и снизить затраты на передачу данных.
2. Предприятия с векторным масштабом более 100 миллионов:Когда количество векторов достигает такого масштаба, стоимость и сложность обслуживания специализированной базы данных резко возрастают, а экономическое преимущество S3 Vectors становится наиболее очевидным.
3. Новые стартапы и средние предприятия с высоким уровнем затрат:Для компаний, которые тратят более 20 000 долларов США в месяц на репозитории векторов, переход на S3 Vectors может высвободить ценный бюджет для разработки продуктов и расширения рынка.
4. Запросы приложений с допуском задержки более 100 мс:В таких сценариях, как роботы обслуживания клиентов, поиск файлов, внутренние базы знаний, системы рекомендаций и т. д., задержка векторного запроса в 100 мс вполне приемлема.

Контрольный список оценки миграции

□ Превышает ли объем наших векторных данных 10 миллионов? (Чем больше масштаб, тем больше экономия)
□ Превышают ли ежемесячные расходы на нашу базу данных векторов 10 000 долларов США? (Абсолютное значение экономии средств достаточно велико)
□ Может ли наше приложение выдерживать задержку запроса в 100–200 мс? (Производительность соответствует спросу)
□ Мы уже используем AWS и храним данные в S3? (низкая стоимость миграции)
□ Нужна ли нам интеграция с Bedrock или OpenSearch? (экосистемное преимущество)
Если вы ответили «да» на 3 или более из приведенных выше вопросов, вашему бизнесу следует серьезно рассмотреть возможность перехода на S3 Vectors. Даже при двух ответах «да» экономии в 90 % может быть достаточно для принятия решения о миграции, если размер вектора достаточно велик или давление затрат достаточно велико.

Неподходящая сцена

Векторы S3 — не лучший выбор для всех сценариев. Рекомендуется продолжать использовать специализированные векторные библиотеки в следующих ситуациях:

• Чрезвычайно низкие требования к задержке (< 10 мс):Система мгновенных рекомендаций, высокочастотный анализ торговли
• Сверхвысокая пропускная способность записи (> 10 000 раз в секунду):Векторизация потоковых данных в реальном времени
• Сложная логика запроса:Требуются расширенные функции, уникальные для векторных баз данных (например, гибридная фильтрация, многовекторный запрос).

В этих сценариях преимущества в производительности выделенной векторной базы данных по-прежнему оправдывают дополнительные затраты. Главное — выбрать правильный инструмент, исходя из реальных потребностей, а не слепо гоняться за «новейшими технологиями» или «самыми низкими затратами».

От стоимостных черных дыр к оптимизации затрат: новые возможности векторного поиска

Запуск S3 Vectors знаменует собой трансформацию технологии векторного поиска из «дорогой специализированной области» в «базовую возможность, которая обычно доступна предприятиям». Интегрируя векторный поиск в крупнейший в мире сервис хранения объектов, AWS позволяет предприятиям создавать диалоговый искусственный интеллект, системы поиска знаний, системы рекомендаций и другие приложения с меньшими затратами на 90 %, поддерживая при этом сверхкрупномасштабное развертывание 2 миллиардов векторов в одном индексе.

Для предприятий, которые создают или оптимизируют приложения искусственного интеллекта, S3 Vectors предоставляет возможность «экономить деньги и усилия». Нет необходимости создавать и поддерживать дополнительную дорогостоящую специальную базу данных для функции поиска векторов, нет необходимости беспокоиться о том, что стоимость выйдет из-под контроля из-за увеличения масштаба данных, нет необходимости делать мучительный выбор между «стоимостью» и «производительностью». Когда в S3 хранятся как векторные данные, так и исходные файлы, когда задержки запросов находятся в допустимом диапазоне и когда затраты составляют всего 10 % от прежних значений, предприятия могут более уверенно использовать возможности ИИ в большем количестве сценариев применения.

Узнайте больше или обратитесь за профессиональной консультацией

Если вы хотите узнать больше о Векторы AWS S3 Как помочь вашей компании сократить расходы на базу данных векторов и ускорить создание приложений искусственного интеллекта, добро пожаловатьСвяжитесь с командой AWS в ТайванеНаши архитекторы решений предоставят индивидуальные предложения, основанные на ваших реальных потребностях.

Ссылки

Не можете поехать в Лас-Вегас, чтобы испытать это на себе?Приглашаем вас зарегистрироваться и принять участие в конференции Best of AWS re:Invent (Конференция AWS по облачным технологиям). Онлайн-участие не менее увлекательно!

Содержание этой статьи предоставлено Amazon Web Services (AWS).