LLMS может разрушить анализ данных

(Добро пожаловать в развлекательную стратегию Guy, информационный бюллетень в области индустрии развлечений и бизнес-стратегии. Я пишу еженедельный отчет о рейтингах потокового вещания и колонку по недельной стратегии, а также случайные глубокие погружения в другие темы, такие как сегодняшняя статья. Пожалуйста, подпишитесь.)

В первые несколько лет этого блога/веб-сайта, ставшего новым рассылку, я писал длинные фрагменты анализа, а затем я следил за этими статьями с статьями «Режиссер-сокращение», поделившись всеми у меня мыслями, которые не сделали оригинальную статью.

Я пытался сохранить статью в среду, сосредоточенную только на одном вопросе »,«Используют ли сценаристы элиты?Но, конечно, у меня были другие мысли и выводы, которые не вписывались в эту статью, плюс эта статья в любом случае составляла более 3000 слов.

Видите ли, это история ИИ, но не так, как вы думаете. Проверив эту гипотезу, я обнаружил другой пример того, как AI/LLM могут пойти не так. Люди должны узнать как о сильных сторонах ИИ, так и о возможностях ИИ, а также о его ограничениях. В частности, вот мое основное беспокойство:

У вас есть ЗНАЧИТЕЛЬНЫЙ недостатки при использовании в анализе данных, из сбора, категоризации, анализа и, возможно, даже визуализации.

Сегодня я хочу объяснить, как смягчить эти проблемы, а также взглянуть на мои большие заботы.

Давайте погрузимся прямо в!

Позвольте мне спросить вас, прочитали ли вы какие -либо статьи по анализу данных, в которых упоминается «Обучение модели ИИ» для запуска анализа данных? Я уверен, что есть. Без названий имен, некоторые из самых больших «журналистов данных» постоянно используют эту технику. И, мальчик, я скептически скептически скептически, когда я читаю об этом.

Если вам нужен действительно свежий пример, ну, давайте просто отправимся в в Разнообразие Статья всего пару дней назад:

Вот вступление статьи:

«2 июля Amazon запустил «Главы государств», фильм о комедии с участием Идриса Эльба и Джона Сины в качестве соответствующих лидеров Соединенного Королевства и Соединенных Штатов. Но данные зрителей показали, что это не было традиционным двумя руками. Представители Приянки Чопра Джонас, который играет старшего агента MI6 и третьего лидерства фильма, использовал инструменты искусственного интеллекта, включая Grok и Catgpt для измерения и анализа настроений зрителя; Они обнаружили, что их клиент был главным фактором успеха фильма-четвертого наиболее популярного фильма Amazon MGM Studios всех времен на платформе-на стороне талантов.

… «Я не думаю, что ее обычно приписывают [the film’s success] Потому что она не ведущая. Она не «глава государства». Но в этом случае данные не лгут », – говорит Анжула Ачария, которая является менеджером Чопра Джонас».

У меня так много вопросов, если не сказать больше.

Я не хочу говорить, что я никогда не писал «Данные не лгут» и не предлагали какое -то подобное мнение (потому что часто данные опровергают аргументы других людей), но, как известно всем, кто работает с данными, данные могут быть массированы, манипулированы, изменены и так далее. Данные не могут лгать, но это, безусловно, может ввести в заблуждение, и ни одна диаграмма не представляет «правду». (Часто, когда я делаю данные, я пытаюсь использовать как можно больше различных сокращений данных; Посмотрите мой пост на доминировании в десятку лучших графиков Netflix.для примера.), По крайней мере, это Разнообразие Статья, кажется, связывает «данные зрителей» с интересом социальных сетей; Эти две вещи не совпадаютПолем

Но большая проблема является источником этих данных: LLMS.

Как я указал в статье в средуЯ заставил мой LLM разработать «Это тест AI?» Основываясь на функциях, которые обычно отмечают написанную AI статью или, в данном случае, сценарий. Затем я запустил этот тест на сценариях Black List 2024. Затем я снова запустил анализ. И это дало мне два разных результата.

Позвольте мне повторить это, потому что я хочу, чтобы он погрузился в:

У меня был LLM запустить анализ на наборе данных, и он предоставил два разных набора результатов.

Это, на мой взгляд, самый большой недостаток в использовании AIS. Из -за их галлюцинаций и структуры такая же подсказка может привести к различным результатам. Это означает, что кто -то может либо запустить анализ несколько раз, пока не получит желаемый результат, либо что данные ошибочны.

Делиться

Это первая проблема. Вторая проблема заключалась в том, что мой LLM не мог объяснить, как он получил свой результат. Дальнейшее копание только что сделало меня все менее и менее уверенным в результате. И LLM смог (вроде) объяснить, как он рассчитывал оценки по трем из пяти метрик. Это настоящий черный ящик. Я мог видеть, что это происходит в приведенном выше примере социальных сетей. «Эй, Грок, создайте модель, определяющую, какая звезда фильма вызвала наибольший интерес, используя социальные сети». Пользователь мало что имеет представление о том, как Грок создал эту модель для опроса этого вопроса. И с тех пор Разнообразие Статья не предоставила никаких фактических данных, мы не можем проверить это.

В -третьих, LLM хотят «удовлетворить» своих пользователей. Беспокойство состоит в том, что менеджеры Приянки Чопры могли бы спросить CHATGPT или GROK, был ли Чопра в социальных сетях (опять же, сомнительную метрику, которая заслуживает своего собственного звездочки), и модель может попытаться оптимизировать свои ответы для них. Я не говорю, что это произошло здесь, но я постоянно беспокоюсь об этом.

В -четвертых, я вижу, что многие люди используют/создают «синтетические» данные или используют ИИ для классификации или анализа данных. По моему опыту, ИИ часто плохие в этих задачах. Только на этой неделе мой редактор/исследователь собрал список кассовых сборов Romcoms (Для моей статьи о жанре в Лодыжки), затем он попросил LLM определить фильмы, которые были плохими примерами ROMCOMS. LLM облажался в обоих направлениях, назвав настоящие ROMCOMS не ROMCOMS и отсутствует очевидные примеры не-ромком, которые составили список. (Гномео и Джульетта не ромком, но Музыка и текст Очевидно; Мой LLM этого не знал.) У него был уровень ошибок более 30%.

Наконец, у LLMS/AI есть огромная проблема с галлюцинациями или придумыванием, как и со мной. И некоторые компьютерные ученые утверждают, что более продвинутые тренировочные пробеги только повышение вероятности усовершенствованных моделей ИИне меньше.

Подводя итог, при использовании AI/LLMS для обработки данных я вижу четыре проблемы:

1. Анализ AIS может иметь (иногда дико) разные результаты при разных пробегах.

2. LLM, создавая анализ, не может вывести свои модели, что означает, что они являются настоящими черными ящиками.

3. LLMS может попытаться угодить/удовлетворить своих пользователей, что приводит к предвзятости.

4. LLM часто совершают много ошибок при классификации данных или в создании синтетических данных.

5. LLM могут галлюцинировать данные, составляющие ложные данные.

Часто в эти дни я продолжаю возвращаться к гифку Mugatu Я поделился в последний раз, когда писал о LLMS: Я чувствую, что принимаю сумасшедшие таблетки. Когда я использую LLMS, ошибки – легион. Последовательность ужасна. Он не может учиться. Опять же, вы можете дважды запустить анализ LLM и получить разные результаты. Или это получает основные факты и анализ неправильно.

Но бесчисленные данные данных используют LLMS для получения результатов черного ящика, которые они не могут проверить или проверить. Если вы не можете проверить данные, я бы не доверял им. Если вы все еще хотите его использовать, вам нужно очень ясно объяснить, как вы …

… Учитывали пять потенциальных недостатков выше.
… дважды проверила точность ваших данных.

Этот последний пункт является наиболее важным. Поверьте мне, для любого анализа данных на этом веб-сайте, моей команде или я проверил каждый результат, который мы получаем.

Если вы видите анализ, который был получен с помощью AIS/LLMS, который не может сказать то же самое, я бы не доверял ему.

Теперь, чтобы быть ясным, я использовал LLMS, чтобы помочь исследовать анализ статьи в среду, и это было замечательно. Но важно то, как я его использовал.