Rychlý start: Vytvoření aplikace HoloLens pomocí Azure Object Anchors v Unity pomocí MRTK

V tomto rychlém startu vytvoříte aplikaci Unity HoloLens, která používá Azure Object Anchors. Azure Object Anchors je spravovaná cloudová služba, která převádí 3D prostředky na modely AI, které umožňují prostředí hybridní reality pracující s objekty pro HoloLens. Až budete hotovi, budete mít aplikaci HoloLens vytvořenou pomocí Unity, která dokáže detekovat objekty ve fyzickém světě.

Získáte následující informace:

• Příprava nastavení sestavení Unity
• Exportujte projekt HoloLens sady Visual Studio.
• Nasaďte aplikaci a spusťte ji na zařízení HoloLens 2.

Požadavky

Abyste mohli absolvovat tento rychlý start, ujistěte se, že máte následující:

• Fyzický objekt ve vašem prostředí a jeho 3D model (cad nebo skenovaný).
• Počítač s Windows s následující nainstalovanou aplikací:
  • Git pro Windows
  • Visual Studio 2019 s úlohou vývoje Univerzální platforma Windows a sadou Windows 10 SDK (10.0.18362.0 nebo novější)
  • Unity 2019.4
• Zařízení HoloLens 2, které je aktuální a má povolený vývojářský režim .
  • Pokud chcete aktualizovat na nejnovější verzi v HoloLensu, otevřete aplikaci Nastavení , přejděte na Aktualizovat a zabezpečení a pak vyberte Vyhledat aktualizace.

Vytvoření účtu ukotvení objektů

Nejprve musíte vytvořit účet se službou Object Anchors.

1. Přejděte na web Azure Portal a vyberte Vytvořit prostředek.

   

2. Vyhledejte prostředek Object Anchors .

   Vyhledejte "Ukotvení objektů".

   

   Ve výsledcích hledání vyberte Na prostředku Ukotvení objektů ve výsledcích hledání možnost Vytvořit –> Ukotvení objektů.

   

3. V dialogovém okně Účet ukotvení objektu:

   • Zadejte jedinečný název prostředku.
   • Vyberte předplatné, ke které chcete prostředek připojit.
   • Vytvořte nebo použijte existující skupinu prostředků.
   • Vyberte oblast, ve které má prostředek existovat.

   

   Výběrem možnosti Vytvořit zahájíte vytváření prostředku.

4. Jakmile bude prostředek vytvořen, vyberte Přejít k prostředku.

   

5. Na stránce přehledu:

   Poznamenejte si doménu účtu. Budete ho totiž potřebovat později.

   

   Poznamenejte si ID účtu. Budete ho totiž potřebovat později.

   

   Přejděte na stránku Přístupové klíče a poznamenejte si primární klíč. Budete ho totiž potřebovat později.

   

Nastavte své zařízení

Pokud chcete nasadit aplikace do HoloLensu, budete muset spárovat HoloLens s počítačem.

1. V HoloLensu přejděte na Nastavení –> Aktualizace a zabezpečení –> Pro vývojáře.
2. Klikněte na Spárovat a nechte obrazovku otevřenou, dokud nezadáte PIN kód do sady Visual Studio během prvního nasazení.

Nahrání modelu

Než aplikaci spustíte, budete muset modely zpřístupnit aplikaci. Pokud model Ukotvení objektů ještě nemáte, vytvořte ho podle pokynů v části Vytvoření modelu . Pak se sem vraťte.

Když je holoLens zapnutý a připojený k vývojovému zařízení (PC), nahrajte model do složky 3D Objects ve vašem HoloLensu takto:

1. Vyberte a zkopírujte modely, se kterými chcete pracovat, stisknutím kombinace kláves Ctrl a C (Ctrl +C).

2. Stisknutím klávesy s logem Windows a stisknutím klávesy E (Win + E) spusťte Průzkumník souborů. V levém podokně by se měly zobrazit vaše holoLens s dalšími jednotkami a složkami.

   

3. Klepnutím na odkaz HoloLens zobrazíte úložiště na zařízení HoloLens v pravém podokně.

   

4. V Průzkumník souborů přejděte do 3D objektů interního úložiště>. Teď můžete modely vložit do složky 3D Objects stisknutím kláves Ctrl a V dohromady (Ctrl +V).

   

Otevření ukázkového projektu

Naklonujte úložiště ukázek spuštěním následujících příkazů:

git clone https://github.com/Azure/azure-object-anchors.git

cd ./azure-object-anchors

Dalším krokem je stažení balíčku Azure Object Anchors pro Unity.

Stažení webu

Tady vyhledejte balíček Azure Object Anchors pro Unity (com.microsoft.azure.object-anchors.runtime). Vyberte požadovanou verzi a stáhněte balíček pomocí tlačítka Stáhnout .

Stažení NPM

Tento krok vyžaduje instalaci a dostupnost NPM .

Spuštěním následujícího příkazu nahraďte <version_number> verzí Azure Object Anchors, kterou chcete stáhnout:

npm pack com.microsoft.azure.object-anchors.runtime@<version_number> --registry https://pkgs.dev.azure.com/aipmr/MixedReality-Unity-Packages/_packaging/Unity-packages/npm/registry/

Poznámka:

Pokud chcete zobrazit seznam dostupných verzí balíčku Azure Object Anchors, spusťte následující příkaz:

npm view com.microsoft.azure.object-anchors.runtime --registry https://pkgs.dev.azure.com/aipmr/MixedReality-Unity-Packages/_packaging/Unity-packages/npm/registry/ versions

Balíček Azure Object Anchors se stáhne do složky, do které jste příkaz spustili.

Nástroj pro funkce hybridní reality (beta verze)

Pokračujte dalším krokem. V pozdějším kroku použijete nástroj pro funkci hybridní reality.

V Unity otevřete quickstarts/apps/unity/mrtk projekt.

Stažení webu

Podle zde uvedených pokynů naimportujte balíček Azure Object Anchors, který jste stáhli do projektu Unity pomocí Správce balíčků Unity.

Stažení NPM

Podle zde uvedených pokynů naimportujte balíček Azure Object Anchors, který jste stáhli do projektu Unity pomocí Správce balíčků Unity.

Nástroj pro funkce hybridní reality (beta verze)

Tento krok vyžaduje, aby byl nástroj pro funkci hybridní reality stažený a dostupný.

Poznámka:

Nástroj pro funkce hybridní reality v současné době podporuje pouze Windows.

1. Postupujte podle dokumentace k nástroji pro funkce hybridní reality a naučte se, jak ho používat.
2. Nainstalujte balíček funkce Ukotvení objektů Microsoft Azure do složky projektu Unity.

Konfigurace informací o účtu

Dalším krokem je konfigurace aplikace tak, aby používala informace o vašem účtu. V části Vytvoření účtu ukotveného účtu jste si poznamenali hodnoty Klíč účtu, ID účtu a Doména účtu.

V podokně Projekt přejděte na Assets\AzureObjectAnchors.SDK\Resources.

Vyberte ObjectAnchorsConfig. V podokně inspektoru Account Key zadejte jako hodnotu pro klíč účtu Ukotvení objektu, Account ID hodnotu pro ID účtu ukotvení objektu a Account Domain jako hodnotu pro doménu účtu Ukotvení objektu.

Sestavte a spusťte aplikaci.

Sestavení ukázkové scény

V Unity Editoru přejděte na Assets/MixedReality.AzureObjectAnchors/Scene a otevřete AOASampleScene a přidejte ho do seznamu sestavení scény.

Když se v dialogovém okně "TMP Importer" zobrazí výzva k importu prostředků TextMesh Pro, vyberte Možnost Import TMP Essentials( Import TMP Essentials).

Vyberte Soubor –> Nastavení budovy. Vyberte Univerzální platforma Windows a pak vyberte Přepnout platformu. Pokud Unity Editor říká, že potřebujete nejprve stáhnout některé komponenty, stáhněte a nainstalujte je. Podle následujícího snímku obrazovky nakonfigurujte nastavení sestavení. Ujistěte se, že vedle něj má zaškrtnutí jenom AOASampleScene : všechny ostatní scény by neměly být zahrnuté.

Vyberte Sestavit a vyberte výstupní složku. Teď můžete ve výstupní složce vygenerovat projekt VS.

Sestavení a nasazení aplikace

.sln Otevřete soubor vygenerovaný Unity. Změňte konfiguraci sestavení na následující.

Dále budete muset nakonfigurovat IP adresu vzdáleného počítače pro nasazení a ladění aplikace.

Klikněte pravým tlačítkem na projekt aplikace a vyberte Vlastnosti. Na stránce vlastností vyberte Vlastnosti konfigurace –> Ladění. Změňte hodnotu Název počítače na IP adresu zařízení HoloLens a klikněte na Použít.

Zavřete stránku vlastností. Klikněte na Vzdálený počítač. Aplikace by se měla začít sestavovat a nasazovat do vzdáleného zařízení. Ujistěte se, že je vaše zařízení aktivní.

Po úvodní obrazovce Unity by se měl zobrazit bílý ohraničující rámeček. K pohybu, škálování nebo otočení ohraničujícího rámečku můžete použít ruku. Umístěte pole pro pokrytí objektu, který chcete zjistit.

Otevřete nabídku ruky a vyberte Zamknout oblast hledání, abyste zabránili dalšímu pohybu ohraničujícího pole. Vyberte Spustit hledání a spusťte detekci objektů. Po zjištění objektu se na objektu vykreslí síť. Podrobnosti zjištěné instance se zobrazí na obrazovce, například aktualizovaný poměr časového razítka a pokrytí povrchu. Výběrem možnosti Zastavit vyhledávání zastavíte sledování a všechny zjištěné instance se odeberou.

Nabídky aplikací

Pomocí nabídky ruky můžete také provádět další akce.

Primární nabídka

• Spustit hledání / Zastavit hledání – spustí nebo zastaví proces detekce objektů.

• Přepnout prostorové mapování – zobrazení nebo skrytí vykreslování prostorového mapování Tuto možnost lze použít k ladění, pokud je kontrola dokončená nebo ne.

• Nastavení sledování – Přepíná aktivaci nabídky nastavení sledování.

• Nastavení oblasti hledání – Přepíná aktivaci nabídky nastavení vyhledávací oblasti.

• Spuštění trasování – Zachyťte diagnostická data a uložte je do zařízení. Další podrobnosti najdete v části Problémy s detekcí ladění a diagnostika zachycení.

• Trasování nahrávání – nahrajte diagnostická data do služby Object Anchors.

  

Nabídka nastavení sledování

• Vysoká přesnost – experimentální funkce sloužící k získání přesnější pozice. Povolení této možnosti bude během detekce objektů vyžadovat více systémových prostředků. V tomto režimu se mřížka objektu vykreslí růžově. Dalším výběrem tohoto tlačítka přepnete zpět do normálního režimu sledování.

• Uvolněné svislé zarovnání – pokud je povoleno, umožňuje zjistit objekt v ne svislém úhlu. Užitečné pro detekci objektů na rampách.

• Povolit změnu měřítka – Umožňuje sledování změnit velikost zjištěného objektu na základě informací o prostředí.

• Posuvník poměru pokrytí – Upraví poměr povrchu bodů, které se musí shodovat s sledováním, aby rozpoznal objekt. Nižší hodnoty umožňují sledování lépe rozpoznat objekty, které jsou náročné na senzory HoloLens zjistit, jako jsou tmavé objekty nebo vysoce reflexní objekty. Vyšší hodnoty sníží frekvenci detekcí nepravdivé hodnoty.

  

Nabídka Nastavení oblasti hledání

• Zamknout oblast hledání – Zamknout ohraničující rámeček oblasti, aby se zabránilo náhodnému pohybu rukou.

• Automaticky upravit oblast hledání – Umožňuje, aby se oblast hledání při detekci objektů přemísťovala.

• Cycle Mesh – Cyklicky prochází vizualizací načtených sítí uvnitř vyhledávací oblasti. Tato možnost může uživatelům pomoct s zarovnáním vyhledávacího pole, aby bylo obtížné rozpoznat objekty.

  

Řešení problému

Tipy

Pokud se objekt nerozpozná, můžete zkusit následující kroky:

1. Pečlivě zkontrolujte, že pro objekt používáte správný model.
2. Vizualizujte oblast hledání a ujistěte se, že pokrývá cílový objekt.
3. Zkuste snížit .MinSurfaceCoverage
4. Na portálu zařízení s Windows klikněte na Zobrazení –> 3D zobrazení a ověřte, jestli je kontrola dokončená.

Další kroky

Rychlý start: Podrobný názorný postup MRTK

Koncepty: Přehled sady SDK

Nejčastější dotazy

Převodní sada SDK

Řešení potíží s rozpoznáváním objektů