Microsoft значительно расширила функционал своего ИИ-помощника Copilot, внедрив в него функцию Copilot Vision, которая теперь позволяет бесплатно сканировать и интерпретировать содержимое веб-страниц непосредственно в браузере Edge. Об этом, как пишет The Verge, в своем аккаунте Bluesky сообщил генеральный директор Microsoft AI Мустафа Сулейман.
Copilot Vision представляет собой «разговорный интерфейс», как его называют в Microsoft. Это означает, что пользователи могут взаимодействовать с ИИ, задавая вопросы голосом, а Copilot будет отвечать, основываясь на визуальной информации с экрана.
По словам Сулеймана, если пользователь согласится на активацию функции, Copilot Vision сможет «буквально видеть то, что вы видите на экране». Он предложил несколько сценариев использования: например, Copilot Vision может помочь вам следовать рецепту во время готовки или «расшифровать» описание вакансии, чтобы сразу же перейти к индивидуальной подготовке к собеседованию или мозговому штурму для сопроводительного письма. Важно отметить, что, согласно странице поддержки Microsoft, «Copilot Vision может выделять части экрана, чтобы помочь найти релевантную информацию», но он не нажимает на ссылки и не выполняет никаких действий от имени пользователя.
Более широкие, системные функции Copilot Vision пока остаются эксклюзивными для подписчиков Copilot Pro. С подпиской Vision выходит за рамки Edge, позволяя ИИ помогать в использовании функций в таких приложениях, как Photoshop или программы для редактирования видео, а также давать подсказки в играх, например, в Minecraft.
Microsoft подчеркивает, что компания регистрирует ответы Copilot, но не собирает пользовательские запросы, изображения или содержимое страниц во время сеанса Copilot Vision. Пользователь может прекратить общий доступ к экрану для Copilot, завершив сеанс или закрыв окно браузера.
