За последние несколько лет технология генеративного искусственного интеллекта развивалась так быстро, что некоторые эксперты уже обеспокоены тем, достигли ли мы успеха. «пик ИИ».
В Harvard Business Review подкаст На прошлой неделе Сочер заявил, что мы можем повысить уровень больших языковых моделей, заставив их отвечать на определенные запросы в коде.
Сейчас большие языковые модели просто «предсказывают следующий токен, учитывая предыдущий набор токенов», — сказал Сочер, — токены — это наименьшие единицы данных, которые имеют значение в системах искусственного интеллекта. Таким образом, даже несмотря на то, что студенты LLM демонстрируют впечатляющие навыки понимания прочитанного и программирования и могут сдать сложные экзамены, модели ИИ по-прежнему имеют тенденцию галлюцинировать — явление, когда они убедительно выдают фактические ошибки за истину.
И это особенно проблематично, когда перед ними стоят сложные математические вопросы, сказал Сочер.
Он предложил пример, с которым могла бы столкнуться большая языковая модель: «Если я при рождении дам ребенку 5000 долларов для инвестирования в какой-нибудь бесплатный фондовый индексный фонд и предполагаю некоторый процент среднегодового дохода, сколько он будет иметь к двухлетнему возрасту?» до пяти?”
По его словам, большая языковая модель просто начнет генерировать текст на основе аналогичных вопросов, с которыми она сталкивалась в прошлом. «На самом деле здесь не говорится: «Ну, это требует от меня очень тщательного размышления, реальных математических вычислений, а затем дать ответ», — объяснил он.
Но если вы сможете «заставить» модель перевести этот вопрос в компьютерный код и сгенерировать ответ на основе результатов этого кода, у вас больше шансов получить точный ответ, сказал он.
Сочер не рассказал подробностей этого процесса, но сказал, что на You.com удалось перевести вопросы на Python. В целом, программирование «даст им гораздо больше энергии на следующие несколько лет с точки зрения того, что они могут сделать», добавил он.
Комментарии Сочера прозвучали на фоне растущего числа крупных языковых моделей, пытающихся перехитрить GPT-4 OpenAI. Gemini: «Самая эффективная модель искусственного интеллекта от Google» едва превосходит GPT-4 по таким важным критериям, как MMLU, один из самых популярных методов оценки знаний моделей ИИ и навыков решения проблем. И хотя основной подход заключался в простом масштабировании этих моделей с точки зрения предоставляемых им данных и вычислительной мощности, Сочер предполагает, что этот подход может завести в тупик.
«Существует гораздо больше данных, которые очень полезны для обучения модели», — сказал он.
2024-02-12 00:13:38
1707700612
#Бывший #руководитель #отдела #продаж #Salesforce #считает #что #ИИ #должен #научиться #программировать #чтобы #подняться #на #новый #уровень