Início rápido: criar um aplicativo do HoloLens com as Âncoras de Objeto do Azure, no Unity

Artigo
06/01/2023

Neste início rápido, você criará um aplicativo do HoloLens no Unity que usa as Âncoras de Objeto do Azure. As Âncoras de Objeto do Azure são um serviço de nuvem gerenciado que converte ativos 3D em modelos de IA que habilitam experiências de realidade misturada com reconhecimento de objeto para o HoloLens. Quando tiver terminado, você terá um aplicativo do HoloLens criado com o Unity que poderá detectar objetos no mundo físico.

Você aprenderá a:

Preparar as configurações de criação do Unity.
Exportar o projeto do Visual Studio do HoloLens.
Implantar o aplicativo e executá-lo em um dispositivo do HoloLens 2.

Pré-requisitos

Para concluir este início rápido, certifique-se de que:

Um objeto físico no ambiente e o respectivo modelo 3D (do CAD ou digitalizado).
Um computador Windows com o seguinte instalado:
- Git para Windows
- Visual Studio 2019 com a carga de trabalho de desenvolvimento da Plataforma Universal do Windows e o componente SDK do Windows 10 (10.0.18362.0 ou mais recente)
- Unity 2019.4
Um dispositivo do HoloLens 2 que está atualizado e tem o modo de desenvolvedor habilitado.
- Para atualizar para a versão mais recente do HoloLens, abra o aplicativo de Configurações, acesse Atualização e Segurança e, em seguida, selecione Verificar atualizações.

Criar uma conta das Âncoras de Objeto

Primeiro, você precisa criar uma conta com o serviço Âncoras de Objeto.

Vá para o portal do Azure e selecione Criar um recurso.
Pesquise o recurso Âncoras de Objeto.

Pesquise “Âncoras de Objeto”.

No recurso Âncoras de Objeto nos resultados da pesquisa, selecione Criar -> Âncoras de Objeto.
Na caixa de diálogo Conta das Âncoras de Objeto:
- Insira um nome de recurso exclusivo.
- Selecione a assinatura à qual você deseja anexar o recurso.
- Crie ou use um grupo de recursos existente.
- Selecione a região na qual você deseja que o recurso exista.
Selecione Criar para começar a criar o recurso.
Depois de criar o recurso, selecione Ir para o recurso.
Na página de visão geral:

Anote o Domínio da conta. Você precisará dela mais tarde.

Anote a ID da conta. Você precisará dela mais tarde.

Vá para a página Chaves de Acesso e anote a Chave primária. Você precisará dela mais tarde.

Configurar seu dispositivo

Antes de implantar aplicativos em seu HoloLens, você precisa emparelhá-lo com seu computador.

No HoloLens, navegue até Configurações - Atualização e Segurança ->> Para desenvolvedores.
Clique em Emparelhar e deixe a tela aberta até que você insira o PIN no Visual Studio durante a primeira implantação.

Carregar seu modelo

Antes de executar o aplicativo, você precisará disponibilizar seus modelos para ele. Caso ainda não tenha um modelo de Âncoras de Objeto, siga as instruções em Criar um modelo para criar um. Depois, retorne aqui.

Com seu HoloLens ligado e conectado ao dispositivo de desenvolvimento (PC), siga estas etapas para carregar um modelo na pasta Objetos 3D em seu HoloLens:

Selecione e copie os modelos com os quais você deseja trabalhar pressionando a tecla CTRL e a tecla C juntas (Ctrl + C).
Pressione a tecla do logotipo do Windows e a tecla E juntas (Win + E) para iniciar o Explorador de Arquivos. Você deve ver seu HoloLens listado com outras unidades e pastas no painel esquerdo.
Toque no link do HoloLens para mostrar o armazenamento no dispositivo HoloLens no painel direito.
No Explorador de Arquivos, vá para Armazenamento interno > Objetos 3D. Agora, você pode colar seus modelos na pasta Objetos 3D pressionando as teclas Ctrl e V juntas (Ctrl + V).

Abrir o projeto de exemplo

Clone o repositório de exemplos executando os seguintes comandos:

git clone https://github.com/Azure/azure-object-anchors.git

cd ./azure-object-anchors

A próxima etapa é baixar o pacote de Âncoras de Objeto do Azure para o Unity.

Localize o pacote de Âncoras de Objeto do Azure para o Unity (com.microsoft.azure.object-anchors.runtime) aqui. Selecione a versão desejada e baixe o pacote usando o botão Baixar.

Essa etapa requer que o NPM esteja instalado e disponível.

Execute o comando a seguir, substituindo <version_number> pela versão das Âncoras de Objeto do Azure que você deseja baixar:

npm pack com.microsoft.azure.object-anchors.runtime@<version_number> --registry https://pkgs.dev.azure.com/aipmr/MixedReality-Unity-Packages/_packaging/Unity-packages/npm/registry/

Observação

Para listar as versões disponíveis do pacote das Âncoras de Objeto do Azure, execute o seguinte:

npm view com.microsoft.azure.object-anchors.runtime --registry https://pkgs.dev.azure.com/aipmr/MixedReality-Unity-Packages/_packaging/Unity-packages/npm/registry/ versions

O pacote das Âncoras de Objeto do Azure será baixado para a pasta em que você executou o comando.

No Unity, abra o projeto quickstarts/apps/unity/basic.

Siga as instruções aqui para importar o pacote das Âncoras de Objeto do Azure que você baixou para o projeto do Unity usando o Gerenciador de Pacotes do Unity.

Configurar as informações da conta

A próxima etapa será configurar o aplicativo para usar as informações da conta. Você anotou os valores de Chave de Conta, ID da Conta e Domínio da Conta, na seção "Criar uma conta de Âncoras de Objeto".

No painel Projeto, acesse Assets\AzureObjectAnchors.SDK\Resources.

Selecione ObjectAnchorsConfig. No painel Inspetor, insira o Account Key como o valor para a Chave de Conta de Âncoras de Objeto, o Account ID como o valor para a ID da Conta de Âncoras de Objeto e o Account Domain como o valor para o Domínio de Contas de Âncoras de Objeto.

Compilar e executar o aplicativo

Criar a cena de exemplo

No editor do Unity, navegue até Assets/MixedReality.AzureObjectAnchors/Scenes, abra AOASampleScene e adicione-o à lista de builds de cena.

Selecione Arquivo >Configurações de Build. Selecione Plataforma Universal do Windows e Alternar plataforma. Se o editor do Unity disser que você precisa baixar alguns componentes primeiro, baixe-os e instale-os. Siga a captura de tela abaixo para definir as configurações de build. Confira se somenteAOASampleScene tem uma marca de seleção ao lado. As demais cenas não devem ser incluídas.

build settings

Clique em Compilar e selecione uma pasta de saída. Agora você pode gerar um projeto do VS na pasta de saída.

Compilar e implantar o aplicativo

Abra o arquivo .sln gerado pelo Unity. Altere a configuração de compilação para o seguinte.

build configuration

Em seguida, você precisará configurar o Endereço IP do Computador Remoto para implantar e depurar o aplicativo.

Clique com o botão direito do mouse no projeto do aplicativo e selecione Propriedades. Na página de propriedades, selecione Propriedades de Configuração -> Depuração. Altere o valor do Nome da Máquina para o endereço IP do seu dispositivo HoloLens e clique em Aplicar.

remote debug

Feche a página de propriedades. Clique em Computador Remoto. O aplicativo deve começar a compilação e implantação em seu dispositivo remoto. Verifique se o dispositivo está ativo.

Após a tela inicial do Unity, você verá uma mensagem indicando que o Observador do Objeto foi inicializado.

O aplicativo procura objetos no campo de exibição atual e, uma vez detectados, rastreia esses objetos. Uma instância será removida quando estiver a 6 metros de distância da localização do usuário. O texto de depuração mostra detalhes sobre uma instância, como a ID, o carimbo de data/hora atualizado e a taxa de cobertura da superfície.

Solução de problemas

Dicas

Caso o objeto não esteja sendo detectado, você pode tentar as seguintes etapas:

Verifique novamente se você está usando o modelo correto para seu objeto.
Visualize a área de pesquisa e verifique se ela abrange o objeto de destino.
Tente reduzir a MinSurfaceCoverage.
No Portal de Dispositivos do Windows, clique em Exibições -> Exibições 3D e confira se o exame foi concluído.