Не говорите только об ИИ. Измерьте результаты бизнеса. Вот как.

Прошлый год был похож на год пилотов искусственного интеллекта. Компании покупали подписки LLM, менеджеры проверяли использование сотрудников, а беседы за чашкой кофе изобиловали мотивом «ИИ написал мою заметку».

Оглянувшись сегодня, можно увидеть широко распространенное разочарование влиянием этих пилотных проектов ИИ. Добавьте к этому недавнюю распродажу акций SaaS, и вопрос больше не будет звучать так: «Используем ли мы ИИ?» а скорее «Эта штука работает?»

ИИ — это изобретение, которое находится в процессе превращения в инновацию. Изобретение — это новая возможность; это не инновация, пока у нее нет бизнес-модели. В этом свете прошлогодние эксперименты были разумным шагом.

Сейчас становится ясно, что формой, которую примут инновации, будут системы искусственного интеллекта, которым будут доверять реальные решения — так сказал Питер Друкер. назвал бы руководителей, и то, что сегодня называют агентным ИИ.

Когда мы обращаемся к рассматриваемому вопросу: работает ли эта штука?, мы можем обратиться к одному из интеллектуальных учеников Друкера за основой, которая поможет нам двигаться вперед. Энди Гроув, легендарный бывший генеральный директор Интелпревратили труды Друкера в трезвый и прагматичный подход к управлению организациями работников умственного труда. Его книга «Управление высокой производительностью» представляет собой классическую основу для измерения результатов менеджеров среднего звена. Это не так-то просто измерить. Но Гроув неустанно настаивает на том, что эту проблему можно и нужно измерить.

Когда мы решаем вопрос о том, приносят ли агенты ИИ реальную пользу, нам необходимо отвлечься от деятельности, анекдотов и инициатив. Это входы.

Гроув утверждает, что вместо этого организации должны сосредоточиться на результаты. Если мы попытаемся мыслить, как Гроув, мы сначала определим бизнес-результат, которого хотим достичь, а затем будем измерять наш агентный ИИ только по тому, является ли этот показатель производительности лучше.

Математический подход

Когда мы начали работать над этим несколько лет назад в нашем портфолио программного обеспечения, мне посчастливилось встретиться Дарио Фануччиматематик, который использовал ИИ для решения реальных задач очень похожим способом. Он также является сооснователем и техническим директором компании Ученый 1десятилетней командой математиков и инженеров, состоящей из более чем 70 человек, которые выполнили сотни проектов для ведущих компаний по всему миру.

Его подход к этим вопросам имеет единственную направленность: улучшение основных показателей бизнеса.

Исази пришел к той же идее измерения результатов, хотя и начал с области математики, а не организационного поведения. Идея состоит в том, чтобы подходить к проектам ИИ так, как если бы они были задачами математической оптимизации: определите целевой показатель (например, пропускную способность или оборотный капитал), спросите, какие переменные влияют на этот показатель, и смоделируйте механизм, с помощью которого перемещается целевой показатель.

Тогда все инициативы согласуются с этим целевым показателем, а успех измеряется его улучшением. Это хорошо согласуется с тем, как создаются и совершенствуются модели ИИ: тесты и оценки всегда являются основным показателем успеха. Здесь эти оценки напрямую связаны с бизнес-показателями.

Вы должны начинать с выходом, который вы хотите измерить. А затем вы наблюдаете за этим выходным измерением как за датчиком и видите, сколько времени пройдет, прежде чем этот датчик начнет показывать изменения, насколько они изменяются, в каком направлении и устойчивы ли они.

Время, необходимое для того, чтобы увидеть (и поддержать) материальное движение, называется «Времем производства». Наша теория о том, почему так много пилотных проектов терпят неудачу, заключается в том, что компании, как правило, выбирают инструмент искусственного интеллекта и продолжительность пилотного проекта и качественно проверяют пользователей в конце этого времени.

Пока мы в Стратэм и Исази ценят эксперименты и пилотные проекты, мы обнаружили, что результаты лучше, когда этот процесс обращен вспять. Мы выбираем результат, который хотим улучшить, варьируем инструменты ИИ до тех пор, пока не нажмем шкалу, и измеряем время, необходимое для позитивного и устойчивого изменения результата. Чем короче время производства, тем лучше.

Реальный пример

Позвольте мне поделиться примером.

Одна из портфельных компаний Страттама. Тракс Технологиизанимается оказанием помощи очень крупным транснациональным корпорациям в управлении их глобальными перевозками. Ключевой частью предложения является обеспечение того, чтобы счета за перевозку были полными, соответствовали контракту, были одобрены к оплате и должным образом учтены.

Trax работает во всех регионах и всеми способами доставки с тысячами перевозчиков. Расхождения между счетом и договором грузоотправителя являются обычным явлением. Обработка этих «исключений» в больших масштабах является ключевой частью сервиса, и исторически у Trax была большая собственная команда, которая их разрешала.

В 2024 году компания определила способность ИИ разрешать некоторые из этих исключений как ключевую возможность и разработала собственный оптимизатор аудита ИИ. Конечная цель была ясна: часть исключений разрешилась без вмешательства человека.

В первом квартале после выпуска оптимизатор аудита Trax AI устранил около 826 000 исключений, которые в противном случае потребовали бы вмешательства человека. Это было хорошее начало, но пока не стоит о нем писать.

Однако во втором квартале система не улучшилась, а застряла на том же уровне. Поэтому Трэкс быстро начал экспериментировать, чтобы увидеть, что может улучшить результаты. В третьем квартале компания обнаружила, что инженер-человек, взаимодействующий с системой, имеет большое значение. В результате в четвертом квартале количество разрешенных исключений утроилось и составило 2,5 миллиона.

Теперь мы говорим.

Тщательно помня об уровне выходного сигнала, Trax движется вперед, корректируя точки взаимодействия оперативного инженера и системы. Он использовал данные успешных и неудачных решений для переобучения системы. Компания также установила квартальные цели; В следующем квартале компания будет стремиться к тому, чтобы оптимизатор аудита Trax AI разрешил больше проблем, чем в любой предыдущий квартал.

Эта история показывает, как изучение показателя производительности позволило компании настроить и адаптировать инструменты искусственного интеллекта для достижения действительно важных результатов. Trax намерена решать проблемы своих клиентов, чтобы завоевать долю рынка. В этом ей помогло использование искусственного интеллекта, а измерения результатов доказывают реальную ценность инноваций в области искусственного интеллекта.

Измеряйте то, что важно

Несмотря на всю эту шумиху, мы все заботимся о том, чтобы наши компании действительно адаптировались, действительно создавали ценность для клиентов и действительно добивались успеха. Мы знаем, что не можем продолжать делать то, что делаем, как делали, и что наше будущее вполне может зависеть от нашей способности адаптироваться. Но это отличается от фактической адаптации.

Чтобы успешно адаптироваться, не поддавайтесь желанию покупать инструменты, запускать пилотные проекты, рассказывать анекдоты и отчитываться о проделанной работе. Это всего лишь входные данные. Вместо этого определите, какое измерение результата имеет значение, и наблюдайте за ним, как ястреб, чтобы увидеть, обеспечивает ли ИИ серьезные бизнес-результаты. Если это не так, меняйте свой ИИ, пока диск не начнет двигаться. Опираясь таким образом на проверенную временем мудрость Друкера и Гроува, вы обеспечите, чтобы ИИ заслужил свое место в вашей фирме.

---

Боб Морс соучредитель Страттам Кэпитал в 2014 году и является управляющим партнером. Он работал в советах директоров многочисленных частных и государственных технологических компаний, а в настоящее время является директором ОблакоHesive, Контегикс, Дакстра Технологии, Зеленая безопасность, Навигация по ресурсам и Трэкс Групп. Ранее он был партнером и членом инвестиционного комитета компании Оук Хилл Кэпитал Партнерс. Он также работал в GCC Инвестиции и Морган Стэнли. Морс входит в совет директоров компании Остин ПБС и в качестве члена консультативного совета Центра финансирования прямых инвестиций HMTF в Техасский университет, Школа бизнеса Остина МакКомбса. Он присутствовал Принстонский университетполучив диплом с отличием и получив степень BSE, и Стэнфордская высшая школа бизнесагде он получил степень MBA и был стипендиатом Арджая Миллера. Морс живет в Остине.

Дарио Фануччи внес свой вклад в эту статью. Он является техническим директором компании Ученыйбазирующаяся в Йоханнесбурге фирма, занимающаяся прикладным искусственным интеллектом, специально созданная для предоставления клиентам программных решений промышленного уровня в области искусственного интеллекта. Фануччи на протяжении всей своей карьеры добился академических успехов в области информатики, математики и физики.

Связанное чтение:

Иллюстрация: Дом Гусман