Ассистент «увидит» все, что происходит на экране. У Siri можно будет спросить «Что изображено на фото?», «О чем эта статья в интернете?» или «Составь краткий пересказ этого документа».
Компания Apple представила новое API под названием App Intent. Это алгоритм, который позволяет Siri сканировать содержимое на экране iPhone и отправлять для анализа сторонним службам, например, чат-боту ChatGPT.
Новое API уже внедрили во вторую бета-версию iOS 18.2, выпущенную 4 ноября. Она будет по умолчанию установлена у всех, кто обновится до этой версии ОС. Ожидается, что стабильная сборка iOS 18.2 выйдет в начале декабря.
Благодаря App Intent голосовой ассистент Siri и встроенный ИИ Apple Intelligence смогут «видеть» все, что происходит на экране смартфона, анализировать содержимое и отправлять для обработки в сторонние службы только по запросу пользователя.
Так, владелец iPhone сможет открыть документ, активировать Siri и попросить ее составить краткое содержимое файла. Голосовой помощник просканирует документ и отправит его в ChatGPT. Чат-бот, в свою очередь, сгенерирует пересказ содержимого. Или можно попросить Siri обработать снимок, когда открыто приложение «Фото» с нужным изображением. То же самое будет работать с сайтами — можно позвать Siri вместе с открытой вкладкой в Safari, чтобы ИИ собрал краткую сводку по статье.
Источник: hi-tech.mail.ru