Обновлено 13 апреля: статья первоначально опубликована 10 апреля.
Возможно, это последнее модное словечко об Android, но iPhone от Apple не рассматривается как смартфон с искусственным интеллектом. Ситуация скоро изменится, и теперь мы знаем, как Тим Кук и его команда планируют наверстать упущенное.
(Фото Алекси Розенфельда/Getty Images) Getty Images
Подробности содержатся в недавно опубликованной исследовательской работе исследователей из Корнельского университета, работающих с Apple. Названный «Ferret-UI: обоснованное понимание мобильного пользовательского интерфейса с помощью мультимодальных LLM», он подробно описывает мультимодальную модель большого языка, которую можно использовать для понимания того, что отображается на экране, в частности, элементов мобильного пользовательского интерфейса, таких как отображение айфон.
Благодаря большому запасу обучающих данных можно подбирать значки, находить текст, анализировать виджеты, описывать текстом то, что находится на экране, анализировать элементы интерфейса, взаимодействовать с дисплеем, руководствуясь открытыми инструкциями и подсказывает.
Ferret был выпущен в октябре 2023 года и предназначен для анализа фотографий и изображений, чтобы распознавать то, что было показано. Это обновление пользовательского интерфейса Ferret-UI предложит несколько преимуществ тем, кто использует его со своим iPhone, и может легко вписаться в улучшенную Siri на базе искусственного интеллекта.
Возможность описать экран, независимо от приложения, открывает более широкие возможности для приложений специальных возможностей, устраняя необходимость предварительного программирования ответов и действий. Те, кто хочет выполнить сложные задачи или найти непонятные функции на своем телефоне, могут попросить Siri открыть сложное приложение и использовать непонятную функцию, спрятанную в глубинах системы меню.
Разработчики могли бы использовать Ferret-UI в качестве инструмента тестирования, попросив MLMM действовать так, как если бы он был 14-летним подростком с небольшим опытом работы с социальными сетями, для выполнения задач или имитировать 75-летнего пользователя, пытающегося подключиться к Facetime с помощью их внуки.
(Фотоиллюстрация Томаса Трутшеля/Photothek через Getty Images) Photothek через Getty Images
Обновление: суббота, 13 апреля: наряду с академическим документом, указывающим на обновление искусственного интеллекта для Siri, серверный код обнаружен Николасом Альваресом указывает на новые серверные инструменты для отдельных iPhone.
Эти функции обозначены как «Помощник по просмотру Safari» и «Зашифрованный визуальный поиск». Оба этих открытия связаны с функциями, описанными в исследовании Ferret-UI, хотя эти открытия имеют некоторые оговорки. Это код на стороне сервера, поэтому было бы несложно изменить эти функции, чтобы использовать другой код; они могли бы использовать более прозаический код вместо использования ИИ; или это могут быть заполнители, которые могут использоваться или не использоваться в будущих продуктах.
Стоит отметить, что визуальный поиск был спрятан в коде VisionOS и гарнитуры Apple Vision Pro, но эта функция еще не запущена.
Хотя сами по себе это не являются убедительными сигналами о пути Apple к искусственному интеллекту, они являются частью растущего количества доказательств подхода Apple.
Google публично начал гонку за смартфонами с искусственным интеллектом 4 октября, чуть более чем через три недели после запуска iPhone 15. Тим Кук и его команда не сделали никаких заметных объявлений и не привлекли внимание к улучшениям искусственного интеллекта, спрятанным в его обработка фотографий или автокоррекция текста, что дает Android преимущество в области искусственного интеллекта и позволяет мобильной платформе Google оправдать ожидания.
Всемирная конференция разработчиков Apple состоится в июне, и это будет первый момент, когда Apple сможет привлечь общественность к обсуждению своих планов в области искусственного интеллекта, поскольку она закладывает основу для запуска iPhone 16 и iPhone 16 Pro в сентябре.
А пока нам предстоит заняться академической стороной подхода Apple к искусственному интеллекту.
Теперь прочитайте, почему подход iPhone к искусственному интеллекту нарушает характеристики iPhone 16 и iPhone 16 Plus…
Следуй за мной Твиттер или LinkedIn. Посетите мой сайт.
Я известен своими твердыми взглядами на мобильные технологии, онлайн-СМИ и то влияние, которое это оказывает на общественное сознание и существующий бизнес. Я слежу за этим пространством более десяти лет, работая с рядом издателей, публикаций и медиа-компаний, некоторые в течение длительного периода времени, другие по заказам, разовым материалам или сериям статей или шоу. Будучи первым подкастером Шотландии, я продолжаю играть важную роль в развитии подкастинга и новых онлайн-медиа, а также получил номинацию на Британскую академию (BAFTA) за ежегодное освещение Эдинбургского фестиваля Fringe, а также за вклад в Radio 5 Live, Всемирная служба BBC, представляющая репортажи местного радио Эдинбурга о всеобщих выборах. Вы найдете меня в Твиттере (@Эван), Facebook и Google Plus.
Читать большеЧитать меньше
2024-04-13 00:22:15
1712975776
#Apple #подтверждает #инновационное #обновление #iPhone #Pro
