Автор: Следите за постоянными репортажами Lifehacker о WWDC 2024.
Apple наконец-то готова к моменту создания искусственного интеллекта после многих лет спекуляций и четырех поколений устройств. с почти неиспользуемыми нейронными двигателями внутри. На своей конференции WWDC 2024 года компания официально анонсировала Apple Intelligence (да, каламбур), бета-версию которого планируется выпустить этой осенью для iPhone, iPad и Mac.
Будет интересно посмотреть, как Apple взаимодействует с такой зарождающейся технологией. Как и в случае с Apple Vision Pro., компания обычно предпочитает ждать тенденций до тех пор, пока не сможет опубликовать их уточненный и в значительной степени простой подход. Между тем ИИ по-прежнему часто «понимает неправильно»; как Google узнал с помощью функции «Обзоры искусственного интеллекта» ранее в этом месяце.
Тем не менее, Apple идет полным ходом по внедрению искусственного интеллекта в сообщениях, почте, уведомлениях, письме, изображениях и, возможно, большинстве интригующе, Сири. Компания пообещала, что сможет сохранить свою репутацию безупречной компании, уделяя больше внимания конфиденциальности и обработке данных на устройстве, чем конкуренты.
Подробностей о том, как именно работает ИИ Apple, мало, но в целом компания обещает сделать больше, чем Google, Rabbit или практически любой другой конкурент. Давайте разберемся.
ИИ в Siri
Источник: Apple
Пожалуй, самой инновационной функцией Apple Intelligence является Siri, которая полностью обновлена и дополнена новым логотипом.
Этот момент наступил давно: с тех пор, как Siri представила миру цифрового помощника в 2011 году, его обогнали такие конкуренты, как Google Assistant и Alexa, во многих других с уважением. Теперь Apple удваивает ставку на Siri, полностью обновляя ее с помощью искусственного интеллекта, в то время как Google готовится заменить Google Assistant на Gemini. Результат? Гораздо более естественный помощник с искусственным интеллектом, чем на Android.
Сейчас на Android замена Ассистента на Gemini приведет вас к ярлыку веб-приложения. В отличие от своего “тупее” Предшественник Gemini не может устанавливать напоминания, изменять настройки телефона или открывать приложения, а это означает, что его обещания о большей функциональности на самом деле сопровождаются меньшей функциональностью.
Этого не должно быть с новой Siri, которая сохранит все свои «тупые» функции. функции, но приходят с новым контекстуальным пониманием. Теперь, когда вы открываете Siri, она будет смотреть на то, что отображается на вашем экране, и сможет давать советы на основе того, что отображается. Например, вы можете просмотреть страницу Википедии, посвященную горе Рашмор, и спросить: «Какая здесь погода?» чтобы Siri сообщила вам прогноз на поездку.
Контекстуальная осведомленность также не ограничивается тем, что вы заметили в данный момент. Apple заявляет, что Siri также сможет выполнять поиск в ваших библиотеках и приложениях, чтобы выполнять «сотни новых действий». даже в сторонних программах. Допустим, вы прямо сейчас сохраните эту статью в своем списке чтения. Когда Apple Intelligence появится на вашем iPhone, вы можете попросить Siri: «Вытащить статью Lifehacker о WWDC из моего списка чтения»; чтобы получить к нему доступ снова.
Фото: Apple
Или, если говорить более лично, скажем, вы пишете другу сообщение о подкасте. С новой Siri вы можете просто попросить: «Включи подкаст, который Дэйв рекомендовал на этих выходных». и Siri поймет, о чем вы говорите, и подберет это.
Это имеет большое значение как для полезности, так и для конфиденциальности. В целом обещанные контекстные функции включают в себя:
-
Контекстные ответы на вопросы
-
Контекстный поиск по фотографиям и видео (например, вы можете попросить Siri показать все ваши фотографии в красной рубашке)
-
Возможность выполнять контекстные действия за вас , например добавление экранного адреса в карточку контакта или автоматическое улучшение фотографий
Но Siri также надеется привнести Apple Genius в ваш дом, поскольку Siri поставляется с предустановленными руководствами по использованию вашего iPhone, iPad или Mac. Просто спросите помощника: «Как включить темный режим?» или «Как запланировать электронную почту»; и Siri ссылается на свои учебные материалы и отправляет вам ответ через уведомление на экране, а не отправляет вас на страницу помощи. (Мы по-прежнему будем здесь для всех ваших технических консультаций.)
Источник: Apple
Одна из более традиционных функций Siri, основанных на подсказках, — это возможность создавать собственные видеомонтажи с помощью искусственного интеллекта. Прямо сейчас коллажи памяти Apple просто автоматически генерируются в фоновом режиме, алгоритмически связывая фотографии, которые, по мнению ОС, связаны друг с другом, и устанавливая для них фоновую музыку, которая, по мнению программного обеспечения, подойдет. Вскоре вы сможете давать Siri конкретные указания, ссылаясь на контакты, занятие или место, а также стиль музыки. Затем Siri контекстуально создаст подходящий монтаж с музыкой, взятой из Apple Music.
Существуют также типичные функции чат-бота с искусственным интеллектом, такие как возможность задавать вопросы. Как ни странно, в Apple не было ясно, сможет ли Siri напрямую отвечать на вопросы (по крайней мере, на те, которые не связаны с устройствами Apple), но у компании есть резервная копия: через Siri вы можете задавать свои вопросы ChatGPT.
Поскольку настройки конфиденциальности Apple отличаются от настроек конфиденциальности ChatGPT (подробнее об этом позже), Siri будет предлагать вам дать разрешение на использование ChatGPT каждый раз, когда вы его используете. Затем помощник задаст вам вопрос, учетная запись не требуется. Как и DuckDuckGo, Apple также скроет ваш IP-адреспри использовании ChatGPT для вас, и компания обещает, что OpenAI не будет регистрировать ваши запросы. Подписчики ChatGPT также могут связать свои учетные записи с Siri для доступа к платным функциям, хотя Apple предупреждает, что бесплатные пользователи столкнутся с типичными ограничениями на использование данных.
Функции искусственного интеллекта Siri можно будет использовать на iPhone, iPad, и Mac, и представить то, что выглядит как более естественный помощник на базе искусственного интеллекта, чем подход Google, заключающийся в том, чтобы начать все сначала с Gemini. Тем не менее, если кажется, что он все еще ограничен по сравнению с возможностями других чат-ботов LLM, то это потому, что Apple Intelligence намного больше, чем Siri.
Apple Intelligence выходит за рамки Google Pixel.
Большая часть презентации Apple по искусственному интеллекту в этом году, похоже, была ориентирована на Pixel, в частности на его «функции искусственного интеллекта». До сих пор пиксельная транскрипция и Magic Editor были эксклюзивом Google, но Apple Intelligence наконец-то дает своему крупнейшему конкуренту шанс выйти на ту же арену.
Во-первых, устройства iOS, iPadOS и MacOS получают собственный взгляд на Magic Eraser и Live Transcription. В приложении «Фотографии» пользователи могут нажать новый значок «Очистить», чтобы обвести или коснуться объектов, которые они хотят вырезать из изображения. Фотографии удалят оскорбительный объект, а затем с помощью генеративного искусственного интеллекта заполнят его местонахождение. Это не совсем уровень редактора Magic Editor, который позволяет перемещать выбранные объекты, но Google внимательно об этом заботится.
Аналогично, приложение «Заметки» сможет обобщать и расшифровывать аудиозаписи, что является благом для таких журналистов, как мне. Мои коллеги выбрали Pixel только из-за его функции транскрибирования, и теперь я, наконец, смогу продолжать работу на своем iPhone. Еще лучше: в Notes можно будет расшифровывать телефонные звонки в реальном времени.
Это действительно представляет собой юридическую проблему, поэтому фактическое использование, вероятно, будет отличаться от штата к штату и от страны к стране, поскольку законы о записи различаются в зависимости от того, где вы находитесь. На данный момент Apple утверждает, что приложение «Телефон» предупредит вас о начале записи.
Но помимо функций, аналогичных функциям флагмана Google, Apple также разрабатывает собственные уникальные возможности. . Здесь компания упрощает управление вашими уведомлениями и почтой.
Выдающимися функциями здесь являются приоритетные сообщения и приоритетные уведомления. С помощью приоритетных сообщений ИИ Apple пытается найти «самые срочные электронные письма»; и переместите их в верхнюю часть папки «Входящие». Приоритетные уведомления используют аналогичный подход, но с уведомлениями о текстовых сообщениях и приложениях на экране блокировки.
Источник: Apple
В обоих случаях у вас будет возможность попросить ИИ написать вам краткую информацию о письме или уведомлении, а не просматривать его содержимое, что поможет вам быстро просматривать ленту. В Mail вы действительно сможете получать сводные данные по всему почтовому ящику.
Apple позиционирует это как отличный способ оставаться в курсе важной информации, такой как посадочные талоны. Кроме того, в «Почте» вы сможете использовать функцию «Умный ответ», чтобы ИИ быстро напечатал для вас ответ в зависимости от контекста вашего электронного письма. Вы также сможете получать сводные данные по всему разговору, а не только по первому электронному письму.
Благодаря этим обновлениям Apple наконец-то обратилась к программному обеспечению Google, надеясь свергнуть Pixel с позиции «самого умного смартфона». Но эти инновации не лишены риска. Возьмите режим «Уменьшение прерываний», который будет использовать искусственный интеллект для отображения «только уведомлений, которые могут потребовать немедленного внимания, например сообщения о раннем забирании из детского сада». Полагаться на Apple Intelligence в том, что вам нужно показать, значит доверять непроверенной модели, хотя для Apple многообещающе, что у нее есть уверенность в том, что она сможет реализовать такую функцию при запуске.
Apple может помочь вам писать и создавать изображения.
Говоря о рисках, пришло время поговорить о хлебе с маслом ИИ: генерации изображений и текста.
Как раз то, что Google говорит людям использовать “плаги для приседаний,” Apple, очевидно, чувствует себя настолько уверенно в своих моделях, что доверяет им, чтобы помочь вам проявить творческий подход. Введите Rewrite, Image Playground и Genmoji. В совместимых собственных и даже сторонних приложениях вы сможете создавать контент, используя как собственные модели Apple, так и, в некоторых случаях, ChatGPT.
Rewrite — самый известный из них. Здесь Apple обещает помощь ИИ на системном уровне с текстом «почти везде». вы пишете, в том числе в Notes, Safari, Pages и других приложениях с помощью SDK для разработчиков. Из меню стилей, вызываемого правой кнопкой мыши по выделенному тексту, пользователи смогут дать Apple Intelligence индивидуальный запрос или выбрать один из нескольких заранее выбранных тонов, а затем ИИ перепишет текст соответствующим образом.
Не хотите, чтобы ИИ менял ваш текст? Он также сможет корректировать его, чтобы указать на ошибки, обобщить его (полезно, если вы читаете, а не писать) или переформатировать его в таблицу или список.
Это похоже на Новая возможность Chrome перезаписывать текст при щелчке правой кнопкой мыши, но с гораздо большим количеством опций и предположительно доступен во многих других приложениях. Он также более доступен, чем Copilot, который находится в отдельном меню, изолированном от остальной части Windows.
Вы также сможете генерировать текст с нуля, хотя Apple будет использовать для этого ChatGPT.
Источник: Apple
Image Playground и Genmoji — вот где все становится еще более новым. Вместо того, чтобы заходить на определенный веб-сайт, например Dall-E или Gemini, в устройствах Apple теперь генерация изображений встроена прямо в операционную систему.
Image Playground, доступный как отдельное приложение, встроенный в «Сообщения» или интегрированный в другие совместимые приложения через SDK, выглядит как типичный генератор искусственный интеллект, но основан на том же типе контекстного анализа, что и Siri. Например, вы можете дать ему подсказку, попросить Image Playground включить в него кого-то из вашего списка контактов и получить рисунок с карикатурой на этого человека.
Опять же, Apple очень доверяет. в своем ИИ здесь. Допустим, я отправил кому-нибудь изображение, созданное с помощью Image Playground, и то, как оно изображено, не обязательно мне льстит: угу.
Источник: Apple <р>Тем не менее, похоже, что на этом опыте могут быть ограничения. Маркетинговый язык Apple немного расплывчат в отношении того, каковы здесь ограничения, но даже несмотря на то, что в примере видно окно с подсказкой, Apple постоянно говорит нам, что нам придется «выбирать из ряда концепций». включая «темы, костюмы, аксессуары и места». Возможно, Apple не позволит пользователям создавать противоречивые изображения — проблема, с которой ранее боролись Bing и Meta.
Но давайте’ Допустим, вам все равно не нужно полное изображение с большим количеством деталей. Apple также представляет Genmoji, которые похожи на стикеры AI от Meta.. Здесь вы сможете дать подсказку искусственному интеллекту Apple и вернуть собственные смайлы, оформленные в стиле, аналогичном официальным параметрам Unicode. Опять же, они могут включать в себя мультяшные изображения людей из вашего списка контактов, но, как и смайлы, их также можно добавлять в сообщения или делиться ими в виде стикеров. Опять же, мы не знаем границ того, что Apple здесь разрешит.
Кредит: Apple
Нам придется подождать, пока изображения искусственного интеллекта Apple упадут, чтобы правильно увидеть, насколько хорошо они конкурируют с существующими вариантами, но, пожалуй, самое интересное здесь — это возможность естественным образом генерировать изображения в существующих приложениях. Хотя Apple обещает, что это выйдет за рамки Notes, компания показала один пример: она выбирала эскиз в Notes и создавала на его основе полноценное произведение искусства. В другом случае ИИ просто генерировал в Notes совершенно новое изображение на основе окружающего текста.
Это удобство, особенно учитывая, что ИИ по-прежнему разделен на десятки сайтов и сервисов, наверняка станет здесь большим преимуществом.
Apple обещает частный искусственный интеллект на устройстве
Apple не раскрывает подробностей об учебных материалах для своего искусственного интеллекта, но компания настаивает на конфиденциальности.
>
Недавно переход со стороны Meta и Adobe вызвал обеспокоенность по поводу доступа ИИ к данным своих пользователей. Apple хочет сразу же положить конец подобным опасениям по поводу собственного искусственного интеллекта.
По словам Apple, любые данные, к которым обращается ее ИИ, никогда не сохраняются и используются только для запросов. Кроме того, Apple производит свои серверы’ код доступен “независимым экспертам” для обзора. Но в то же время компания стремится максимально сократить количество раз, когда вам приходится обращаться к облаку.
Введите чип A17 Pro (представленный в iPhone 15 Pro и Pro Max). и чипы серии M (используются в iPad и Mac с 2020 года). Все устройства с этими чипами имеют доступ к нейронным механизмам, которые, по словам Apple, позволят им выполнять «многие» задачи. запросы на устройстве, при этом ваша информация никогда не покидает ваш телефон.
Как именно будет обрабатываться разделение между задачами на устройстве и в облаке, все еще под вопросом, но Apple заявляет, что Apple Intelligence сама сможет определять, какие запросы ваше устройство достаточно мощное, чтобы справиться самостоятельно, а какие будут обрабатываться самостоятельно. нужна помощь серверов, прежде чем она решит, куда их отправить.
Хотя это все еще обещание, это было бы огромной победой для Apple, поскольку конкурирующие функции, такие как Magic Editor и Gemini, по-прежнему требуют постоянного подключения к Интернету.
Когда я смогу попробовать Apple Intelligence?
Apple не назвала конкретных дат запуска Apple Intelligence, вместо этого предоставив зрителям два окна, которых можно ожидать.
Во-первых, компания заявила, что Apple Intelligence будет «доступна для опробования в США». Английский этим летом», хотя, учитывая то, что сказано дальше, это, скорее всего, будет ограниченная демо-версия.
Это потому, что полная бета-версия Apple Intelligence запланирована на эту осень, а это означает, что она будет доступна вероятно, появится после выхода полных версий iOS 18, iPadOS 18 и macOS 15 посредством обновления.
Возможно, это самое большое препятствие, которое Apple должна преодолеть с помощью своего искусственного интеллекта, помимо выполнения своих обещаний по безопасности и обеспечения содержания. Поколение не ерошит перья, это доступность. Хотя обещание иметь большую часть искусственного интеллекта на устройстве отлично подходит для конфиденциальности и даже для ситуаций, когда подключение к Интернету ограничено, у него есть предостережение: в объявлении Apple о своем искусственном интеллекте упоминается только о том, что он появится на iPhone 15 Pro, iPhone 15 Pro Max. и iPad или Mac с чипом M1 или новее. Аналогичным образом, сначала для Siri и языка устройства должен быть установлен английский (США).
lifehacker.com
