Обзор облачных служб Azure Смешанная реальность
Используя службы смешанной реальности Azure, задействуйте в работе то, что хорошо знакомо каждому, — трехмерный физический мир вокруг нас. Помогите людям эффективнее сотрудничать, творить и учиться, собирая и демонстрируя цифровые данные в контексте своей работы и окружающего мира. Транслируйте трехмерные модели на мобильные устройства, гарнитуры и другие беспроводные устройства. Обеспечьте защиту своей конфиденциальной информации с помощью Azure.
Службы смешанной реальности
Облачные службы смешанной реальности, такие как Удаленная отрисовка Azure и Пространственные привязки Azure помогают разработчикам создавать интересные иммерсивные взаимодействия на различных платформах. Такие службы позволяют вам интегрировать в свои проекты возможности для отслеживания пространственного положения при создании приложений для обучения с использованием трехмерных моделей, прогнозного обслуживания оборудования и анализа проектов с учетом контекста сред ваших пользователей.
Удаленная отрисовка Azure
Удаленная отрисовка Azure (ARR) — это служба, которая позволяет преобразовывать для просмотра трехмерные модели высокой сложности в реальном времени и выполнять их потоковую передачу на устройство. Сейчас ARR предоставляется в общедоступной предварительной версии. Ее также можно использовать в проектах Unity или с собственным кодом C++, предназначенных для HoloLens 2 или компьютеров с Windows.
Удаленная отрисовка Azure — это важный компонент любого приложения смешанной реальности, которое выполняется на мобильном устройстве, так как оно имеет меньшую вычислительную мощность. В качестве примера рассмотрим следующее сравнение модели двигателя: точная модель слева имеет более 18 млн треугольников, а упрощенная модель справа — всего около 200 тыс. В сценариях, где важна каждая деталь, — при управлении промышленными объектами, анализе проектов для сложных ресурсов (например, двигателей грузовых автомобилей), предварительном планировании хирургических операций и т. д. — трехмерная визуализация позволяет воссоздавать нужные модели во всех подробностях. Она упрощает восприятие информации для конструкторов, инженеров, врачей и учащихся, благодаря чему они могут принимать более взвешенные решения. Но следствием такого упрощения может быть ухудшение детализации, которая критически важна для решений, касающихся бизнеса и проектирования.
Удаленная отрисовка Azure решает эту проблему, перемещая рабочую нагрузку отрисовки на высокопроизводительные графические процессоры в облаке. Облачный обработчик графики принимает и визуализирует изображение, кодирует его как видеопоток и транслирует модель непосредственно на целевое устройство.
- При обработке сложных моделей, с которыми может не справиться один высокопроизводительный GPU, Удаленная отрисовка распределяет рабочую нагрузку на несколько GPU и совершенно прозрачно для пользователя объединяет результат в одно изображение.
Кроме того, с этой службой вы можете использовать в своем приложении любой пользовательский интерфейс. При завершении подготовки кадра автоматически выполняется объединение локально подготовленного содержимого с удаленным изображением, как показано на рисунке ниже:
Пространственные привязки Azure.
Пространственные привязки Azure (ASA) — это кросс-платформенная служба, позволяющая создавать приложения смешанной реальности с поддержкой пространственных данных. С помощью Пространственных привязок Azure вы можете картировать, сохранять голографическое содержимое и предоставлять к нему доступ на различных устройства и в реальном масштабе. Служба Azure Object Anchors доступна в предварительной версии, и ее можно использовать для своих приложений.
Служба Пространственных привязок Azure адаптирована к распространенным вариантам использования в смешанной реальности, включая:
- Способ поиска. Где можно подключить два или более пространственных привязки для создания списка задач или точек интереса, с которыми пользователь должен взаимодействовать.
- Взаимодействие с несколькими пользователями: где пользователи могут передавать перемещения назад и вперед, взаимодействуя с объектами в одном виртуальном пространстве.
- Сохранение виртуального содержимого в реальном мире: где пользователи могут размещать виртуальные объекты в реальном мире, доступные для просмотра с других поддерживаемых устройств.
Разработку с использованием этой службы можно вести в разных средах. Кроме того, ее можно развернуть на самых различных устройствах и платформах. Доступные платформы для развертывания службы:
- Unity для HoloLens;
- Unity для iOS;
- Unity для Android;
- Системное, iOS
- Android (собственная)
- C++/WinRT и DirectX для HoloLens;
- Xamarin для iOS;
- Xamarin для Android.
Объектные привязки Azure
Azure Object Anchors (AOA) — это служба смешанной реальности, которая позволяет создавать полнофункциональные иммерсивные интерфейсы, автоматически выравнивая 3D-содержимое относительно физических объектов. Получите контекстное представление об объектах без необходимости использовать маркеры или выравнивать объекты вручную. Служба существенно сокращает ручную работу и вероятность ошибок выравнивания, а также обеспечивает лучшее взаимодействие с пользователем в составе создаваемых приложений смешанной реальности.
Служба Azure Object Anchors создана специально для вариантов использования смешанной реальности, в том числе:
- для обучения — создавайте для своих сотрудников обучающие функции в смешанной реальности без необходимости вручную размещать маркеры или настраивать выравнивание для голограмм;
- для руководств по выполнению задач — смешанная реальность существенно упрощает подробное объяснение сотрудникам ряда задач;
- для поиска ресурсов — если уже есть трехмерная модель какого-либо объекта в физическом пространстве, Azure Object Anchors позволит обнаруживать и отслеживать экземпляры этого объекта в физической среде.
Службы Cognitive Services
Голосовые функции
Узнайте, как служба "Речь" обеспечивает интеграцию возможностей обработки речи в любые приложения и службы. Преобразуйте устную речь в текст и создавайте естественно звучащую речь из текста, используя стандартные (или настраиваемые) голоса. Воспользуйтесь любой службой бесплатно и быстро создавайте приложения и службы на базе служб речи со следующими возможностями.
Зрение
Распознавайте, идентифицируйте, подписывайте, индексируйте и модерируйте свои изображения, видео и цифровое содержимое рукописного ввода. Узнайте, как Компьютерное зрение позволяет приложениям и службам точно идентифицировать и анализировать содержимое в изображениях, цифровом содержимом рукописного ввода и на видео.
Изолированные службы Unity
Изолированные службы, перечисленные ниже, не относятся к смешанной реальности, но могут быть полезны в самых разных контекстах разработки. Если вы ведете разработку на Unity, каждую из таких служб можно интегрировать в новые или существующие проекты.
Поддержка устройств
| Облачная служба Azure | HoloLens (1-го поколения) | Иммерсивные гарнитуры |
| Перевод с одного языка на другой | ✔️ | ✔️ |
| Компьютерное зрение | ✔️ | ✔️ |
| Пользовательское визуальное распознавание | ✔️ | ✔️ |
| Уведомления на разных устройствах | ✔️ | ✔️ |
| Распознавание лиц | ✔️ | ✔️ |
| Функции и хранилище | ✔️ | ✔️ |
| Потоковое видео | ❌ | ✔️ |
| Машинное обучение | ✔️ | ✔️ |
| Функции и хранилище | ✔️ | ✔️ |
| Application Insights. | ✔️ | ✔️ |
| Обнаружение объектов | ✔️ | ✔️ |
| Microsoft Graph | ✔️ | ✔️ |
| Интеграция ботов | ✔️ | ✔️ |
См. также
- Руководства по Пространственным привязкам Azure для HoloLens 2, часть 1 из 3, "Начало работы с Пространственными привязками Azure"
- Руководства по использованию службы "Речь" для HoloLens 2, часть 1 из 4, "Интеграция и использование средств распознавания и транскрибирования речи"