WebView2 в приложениях HoloLens 2 Unity

Эта статья предназначена для разработчиков, использующих WebView2 в иммерсивном HoloLens 2 приложениях Unity.

Важно!

WebView2 в Hololens 2 по-прежнему доступен. Однако поддержка WebView2 в Hololens 2 прекращена. запланированных исправлений ошибок или обновлений содержимого нет, техническая поддержка прекращена. Приложения, использующие WebView2 в Hololens 2, не гарантируют, что будут продолжать работать.

WebView2 на HoloLens 2 и подключаемый модуль WebView для Unity находятся в предварительной версии и могут быть изменены до выпуска общедоступной версии.

WebView2 работает только на HoloLens 2 устройствах с обновлением Windows 11. Дополнительные сведения см. в разделе Обновление HoloLens 2.

Сведения о двухD-приложениях с поддержкой WebView2 на HoloLens 2 см. в статье Начало работы с WebView2 в приложениях WinUI 2 (UWP).

Ограничения и известные проблемы

При разработке приложения HoloLens 2 Unity с помощью WebView2 следует учитывать некоторые ограничения и известные проблемы:

  • Всплывающие окна. Всплывающие окна не работают в WebView2 в приложениях Unity на HoloLens 2, но они хорошо работают в 2D-приложениях XAML на устройстве. Избегайте всплывающих окон и используйте альтернативные методы или макеты пользовательского интерфейса, такие как пользовательские всплывающие элементы в WebView с помощью HTML, CSS и JavaScript.

  • Новые окна: экземпляры WebView2 на HoloLens 2 переходить в одно и то же окно по умолчанию, в отличие от классического. Следуйте этому по умолчанию для улучшения взаимодействия с пользователем. Кроме того, окно Средства разработки не может быть запущено.

  • Корпоративная проверка подлинности. Автоматический единый Sign-On (SSO) с использованием маркеров уровня ОС в настоящее время не поддерживается в WebView2 на HoloLens 2. Пользователи по-прежнему могут выполнять вход, предоставляя учетные данные, за исключением случаев, когда требуется проверка подлинности на уровне устройства. Хранилище файлов cookie работает должным образом.

  • Взаимодействие с пользователем. В отличие от собственных HoloLens 2 slates, WebView2 лучше всего взаимодействовать с помощью лучей руки с дальним взаимодействием. Взаимодействие с касанием и прокруткой может не поддерживаться.

  • Производительность. Сложные веб-сайты с интенсивным использованием JavaScript или расширенной отрисовкой могут повлиять на производительность системы или частоту кадров ведущего приложения. Общие ограничения и рекомендации, связанные с производительностью, см. в статье Общие сведения о производительности для смешанной реальности в документации по смешанной реальности. Также см . раздел Оптимизация производительности ниже.

Оптимизация производительности

Оптимизация производительности WebView2 в приложении Unity HoloLens 2 имеет решающее значение для бесперебойного взаимодействия с пользователем. Ниже приведены некоторые рекомендации.

  • Ограничение числа экземпляров WebView2. Мы рекомендуем использовать только один экземпляр WebView2 в приложении Unity. Повторно используйте тот же экземпляр или выполните удаление и создайте новый по мере необходимости. Помните, что удаление заготовки WebView из сцены не может привести к уничтожению базового экземпляра WebView2. Чтобы правильно уничтожить его, необходимо вызвать Destroy() метод для игрового объекта.

  • Применение общих методов оптимизации Unity. Чтобы оптимизировать производительность WebView2, используйте стандартные подходы к оптимизации Unity, такие как выбор окклюзии или ограничение частоты обновления. Дополнительные сведения см. в статье Рекомендации по производительности для Unity в документации по смешанной реальности.

  • Профилирование и мониторинг производительности WebView2. Существует несколько способов профилирования производительности приложения HoloLens 2 Unity.

    • Unity Profiler— встроенное средство в Unity, которое позволяет измерять и оптимизировать производительность приложения на различных платформах, включая HoloLens 2.

    • Визуальный профилировщик. Функция набора средств Смешанная реальность, которая предоставляет представление производительности приложения в приложении.

    • PIX: средство настройки и отладки производительности для Windows, которое также можно использовать для профилирования приложений Unity на HoloLens 2.

Некоторые методы навигации показаны на шаге 7. Расширение функциональных возможностей WebView2 в статье Начало работы с WebView2 в HoloLens 2 приложениях Unity (предварительная версия). Этот раздел посвящен этой демонстрации.

См. также:

Интерфейс IWebView

Интерфейс IWebView предоставляет несколько методов, событий и свойств, связанных с навигацией по страницам. Основными функциями, предоставляемыми здесь, является возможность перехода по заданному URL-адресу с помощью Load(Uri url):

public interface IWebView
{
    // Non-navigation methods are removed for clarity.

    event WebView_OnNavigated Navigated;

    Uri Page { get; }

    void Load(Uri url);

    void Reload(bool ignoreCache);
}

Интерфейс IWithBrowserHistory

Интерфейс IWithBrowserHistory предоставляет несколько методов и событий, связанных с навигацией по страницам. Это в основном позволяет разработчикам перемещаться вперед и назад, как и ожидалось при обычном просмотре веб-страниц:

public interface IWithBrowserHistory : IWebView
{
    // Non-navigation methods are removed for clarity.

    event WebView_OnCanGoForwardUpdated CanGoForwardUpdated;

    event WebView_OnCanGoBackUpdated CanGoBackUpdated;

    void GoBack();

    void GoForward();
}

SetVirtualHostNameToFolderMapping и SetVirtualHostMapping

Метод CoreWebView2.SetVirtualHostNameToFolderMapping обеспечивает сопоставление между именем виртуального узла и путем к папке, что делает его доступным для веб-сайтов, использующих это имя узла. Этот метод сопоставляет имя локального домена с локальной папкой, чтобы элемент управления WebView2 загружал содержимое из указанной локальной папки при попытке получить доступ к ресурсу для этого домена.

Подключаемый модуль WebView для Unity предоставляет эту функцию через IWithVirtualHost интерфейс, который имеет один метод : SetVirtualHostMapping(string hostName, string folderPath)

public interface IWithVirtualHost : IWebView
{
    void SetVirtualHostMapping(string hostName, string folderPath);
}

Чтобы использовать SetVirtualHostMapping метод, задайте hostName любую допустимую строку, соответствующую URL-адресу, например webview2.sample. folderPath может быть абсолютным путем или путем относительно рабочего каталога приложения, например Assets\Html.

Если у нас есть HTML-файл с именем demo.html в Assets\Htmlразделе , следующий фрагмент кода демонстрирует загрузку demo.html с помощью подключаемого модуля WebView для Unity:

using Microsoft.MixedReality.WebView;

public class WebViewExample : MonoBehaviour
{
    private void Start()
    {
        var webViewComponent = gameObject.GetComponent<WebView>();

        webViewComponent.GetWebViewWhenReady((IWebView webView) =>
        {
            ((IWithVirtualHost)webView).SetVirtualHostMapping("webview2.sample", "Assets\\Html");

            // Navigate to our local content.
            webViewComponent.Load(new Uri("http://webview2.sample/demo.html"));
        });
    }
}

Input

Существует несколько способов обработки входных данных в Unity для приложений смешанной реальности.

Независимо от системы ввода, используемой в приложении Unity, требуется код взаимодействия между различными событиями ввода приложения и подключаемым модулем WebView для Unity. Это означает преобразование этих событий (таких как события указателя) в WebViewMouseEventData объект, а затем перенаправление этих событий в подключаемый модуль через IWithMouseEvent интерфейс:

public interface IWithMouseEvents : IWithInputEvents
{
    void MouseEvent(WebViewMouseEventData mouseEvent);
}

WebView2 не знает о системе ввода Unity и, вероятно, имеет другую систему координат, чем ваша сцена Unity. В результате при возникновении события указателя вниз его координаты должны быть преобразованы в систему координат элемента управления WebView2. Кроме того, событие указателя вниз необходимо преобразовать в соответствующий WebViewMouseEventData тип события.

Простой пример:

using Microsoft.MixedReality.WebView;

public class WebViewExample : MonoBehaviour, IPointerDownHandler
{
    // WebView setup steps skipped for brevity

    public void OnPointerDown(PointerEventData eventData)
    {
        IWithMouseEvents mouseEventsWebView = webView as IWithMouseEvents;

        // Call hypothetical function which converts the event's x, y into the WebView2's coordinate space.
        var hitCoord = ConvertToWebViewSpace(eventData.position.x, eventData.position.y);

        WebViewMouseEventData mouseEvent = new WebViewMouseEventData
        {
            X = hitCoord.x,
            Y = hitCoord.y,
            Type = WebViewMouseEventData.EventType.MouseDown,
            Button = WebViewMouseEventData.MouseButton.ButtonLeft,
            TertiaryAxisDeviceType = WebViewMouseEventData.TertiaryAxisDevice.PointingDevice
        };

        // Propagate the event to the WebView plugin.
        mouseEventsWebView.MouseEvent(mouseEvent);
    }
}

В приведенном выше примере события указателя вниз преобразуются в WebViewMouseEventData объекты и перенаправляются в подключаемый модуль WebView для Unity. По сути, он преобразуется в событие вниз мыши. Для создания событий щелчка мышью события указателя должны обрабатываться аналогичным образом.

В приведенном выше ConvertToWebViewSpace примере намеренно не реализован.

См. также

Справочник по API:

Документация Hololens:

документация по Смешанная реальность:

Документация по Unity: