Сократите потребление токенов на 40 % с помощью 3 методов — контекстное проектирование осуществляется с помощью ADK.

Здравствуйте, это Шуичи Иноуэ из LINE Yahoo! Корпорация. Я присоединился к LINE Yahoo! Corporation в качестве нового сотрудника в апреле 2024 года и в настоящее время занимаюсь разработкой в команде FKE, которая представляет собой собственный Kubernetes как сервис, а также являюсь членом гильдии Orchestration Development Workshop.

Семинар по развитию оркестровки— это сообщество, в котором инженеры, выбранные из числа технических директоров, собирают и объединяют практические знания по использованию ИИ в полевых условиях. Гильдия оркестровки отвечает за предложение тем для семинара, обмен примерами практического использования и предоставление качественных рекомендаций с технической точки зрения, а также играет роль в поддержке непрерывного развития контента семинара по развитию оркестровки, не становясь при этом индивидуализированным.

В этом технологическом блоге мы обсудим семинар, проведённый в рамках семинара по развитию оркестровки.Комплект разработки агента (ADK)Представляем содержание «Изучения практической контекстной инженерии».Предыдущий семинар (#2)В этой статье мы рассмотрели разработку с одним или несколькими агентами с использованием ADK и интеграцию во внутренние системы, но на этот раз мы обсудим, как улучшить вопросы стоимости и точности AI Agent.Контекстная инженериясосредоточиться на.

Текущая ситуация и проблемы внутри компании

Распространение инструментов AI Agent и новые проблемы

Со времени последнего семинара мы стали чаще использовать в нашей компании инструменты AI Agent, такие как Claude Code, Cline и ADK. Однако по мере расширения его использования возникли следующие проблемы.

• Быстрый рост затрат: Потребление токенов увеличилось больше, чем ожидалось, из-за более широкого использования инструментов AI Agent.
• Не получить ожидаемый результат: Даже если вы пишете инструкции в подсказке, ИИ игнорирует их или упускает важную информацию.
• Точность снижается по мере того, как разговоры становятся длиннее.: После долгого разговора вы вдруг начинаете давать не относящиеся к делу ответы.

Одной из основных причин, общих для этих проблем, является переход на LLM.Управление контекстомЭто потому, что это не делается должным образом.

Предыстория увеличения потребления токенов

Основные причины увеличения потребления токенов заключаются в следующем.

1. Увеличение числа пользователей генеративного ИИ: Число пользователей увеличивается по мере развития использования ИИ внутри компании.
2. проб и ошибок: Токен потребляется путем повторения до тех пор, пока не будет получен желаемый результат.
3. Расширение роли ИИ-агента: от одноагентного к мультиагентному диапазон использования агента расширился от однократных задач до длительных и сложных задач, а объем контекста значительно увеличился.
4. Кооперация инструментов, таких как MCP: Само определение инструмента потребляет контекст.
5. Отсутствие проникновения в контекстную инженерию: Методы оптимизации пока не получили широкого распространения

На этом семинаре мы представим системный подход к решению этих проблем.Контекстная инженериябудут представлены и изучены практические методы с использованием ADK в качестве предмета.

Что такое контекстная инженерия?

Организация основных понятий

Чтобы понять контекстную инженерию, вы должны сначала усвоить три основные концепции.