Rövid útmutató: HoloLens-alkalmazás létrehozása az Azure Object Anchors használatával a Unityben az MRTK-val

Ebben a rövid útmutatóban egy Unity HoloLens-alkalmazást fog létrehozni, amely az Azure Object Anchorst használja. Az Azure Object Anchors egy felügyelt felhőszolgáltatás, amely AI-modellekké alakítja a 3D-s objektumokat, amelyek lehetővé teszik a HoloLens objektumérzékeny vegyes valósági élményét. Ha végzett, egy Unityvel készült HoloLens-alkalmazással fog rendelkezni, amely képes észlelni a fizikai világban lévő objektumokat.

A következőket fogja megtanulni:

• A Unity buildbeállításainak előkészítése.
• Exportálja a HoloLens Visual Studio projektet.
• Telepítse az alkalmazást, és futtassa egy HoloLens 2-eszközön.

Előfeltételek

A rövid útmutató elvégzéséhez győződjön meg arról, hogy rendelkezik az alábbiakkal:

• Egy fizikai objektum a környezetben és annak 3D-modelljében (CAD vagy szkennelt).
• Windows rendszerű gép, amelyen a következő van telepítve:
  • Git for Windows
  • Visual Studio 2019 a Univerzális Windows-platform fejlesztési számítási feladattal és a Windows 10 SDK (10.0.18362.0 vagy újabb) összetevővel
  • Unity 2019.4
• Egy HoloLens 2-eszköz, amely naprakész, és engedélyezve van a fejlesztői mód .
  • A HoloLens legújabb kiadására való frissítéshez nyissa meg a Beállítások alkalmazást, nyissa meg az Update & Security lehetőséget, majd válassza a Frissítések keresése lehetőséget.

Objektumhorgony-fiók létrehozása

Először létre kell hoznia egy fiókot az Object Anchors szolgáltatással.

1. Nyissa meg az Azure Portalt , és válassza az Erőforrás létrehozása lehetőséget.

   

2. Keresse meg az Objektumhorgonyok erőforrást .

   Keressen rá az "Objektumhorgonyok" kifejezésre.

   

   A keresési eredmények Objektumhorgonyok erőforrásában válassza a Létrehozás –> Objektumhorgonyok lehetőséget.

   

3. Az Objektumhorgonyok fiók párbeszédpanelen:

   • Adjon meg egy egyedi erőforrásnevet.
   • Válassza ki azt az előfizetést, amelyhez csatolni szeretné az erőforrást.
   • Hozzon létre vagy használjon egy meglévő erőforráscsoportot.
   • Válassza ki azt a régiót, amelyben az erőforrást meg szeretné jeleníteni.

   

   Válassza a Létrehozás lehetőséget az erőforrás létrehozásának megkezdéséhez.

4. Ha az erőforrás már létre lett hozva, válassza az Erőforrás megnyitása lehetőséget.

   

5. Az áttekintési oldalon:

   Jegyezze fel a fióktartományt. Erre később még szüksége lesz.

   

   Jegyezze fel a fiókazonosítót. Erre később még szüksége lesz.

   

   Lépjen a Hozzáférési kulcsok lapra, és jegyezze fel az elsődleges kulcsot. Erre később még szüksége lesz.

   

Az eszköz beállítása

Ha alkalmazásokat szeretne üzembe helyezni a HoloLensben, párosítania kell a HoloLenst a számítógépével.

1. A HoloLensben keresse meg a Beállítások –> Frissítés és biztonság –> Fejlesztőknek lehetőséget.
2. Kattintson a Pár gombra, és hagyja nyitva a képernyőt, amíg be nem írja a PIN-kódot a Visual Studióba az első üzembe helyezés során.

A modell feltöltése

Az alkalmazás futtatása előtt elérhetővé kell tennie a modelleket az alkalmazás számára. Ha még nem rendelkezik Objektumhorgony-modellel, kövesse a Modell létrehozása című témakör utasításait. Aztán térjen vissza ide.

Ha a HoloLens be van kapcsolva, és csatlakozik a fejlesztői eszközhöz (PC), kövesse az alábbi lépéseket, hogy feltöltsön egy modellt a HoloLens 3D Objects mappájába:

1. Jelölje ki és másolja ki a használni kívánt modelleket a Ctrl billentyűt és a C billentyűkombinációt lenyomva (Ctrl + C).

2. Nyomja le a Windows billentyű és az E billentyűkombinációt (Win + E) a Fájlkezelő elindításához. A HoloLens a bal oldali panelen látható más meghajtókkal és mappákkal együtt jelenik meg.

   

3. A HoloLens hivatkozásra koppintva megjelenítheti a tárterületet a HoloLens-eszközön a jobb oldali panelen.

   

4. A Fájlkezelő lépjen a Belső tár > 3D-objektumok elemre. Most már beillesztheti a modelleket a 3D objektumok mappába a Ctrl billentyű és a V együttes lenyomásával (Ctrl + V).

   

A mintaprojekt megnyitása

Klónozza a mintaadattárat az alábbi parancsok futtatásával:

git clone https://github.com/Azure/azure-object-anchors.git

cd ./azure-object-anchors

A következő lépés az Azure Object Anchors csomag letöltése a Unityhez.

Webes letöltés

Keresse meg itt a Unity (com.microsoft.azure.object-anchors.runtime) Azure Object Anchors csomagját. Válassza ki a kívánt verziót, és töltse le a csomagot a Letöltés gombbal.

NPM letöltése

Ehhez a lépéshez telepíteni és elérhetővé kell helyezni az NPM-et .

Futtassa a következő parancsot a letölteni kívánt Azure Object Anchors-verzióra cserélve <version_number> :

npm pack com.microsoft.azure.object-anchors.runtime@<version_number> --registry https://pkgs.dev.azure.com/aipmr/MixedReality-Unity-Packages/_packaging/Unity-packages/npm/registry/

Feljegyzés

Az Azure Object Anchors csomag elérhető verzióinak listázásához futtassa a következőket:

npm view com.microsoft.azure.object-anchors.runtime --registry https://pkgs.dev.azure.com/aipmr/MixedReality-Unity-Packages/_packaging/Unity-packages/npm/registry/ versions

A rendszer letölti az Azure Object Anchors csomagot arra a mappára, ahol a parancsot futtatta.

Mixed Reality feature tool (bétaverzió)

Folytassa a következő lépésben. Egy későbbi lépésben a Vegyes valóság funkcióeszközt fogja használni.

A Unityben nyissa meg a quickstarts/apps/unity/mrtk projektet.

Webes letöltés

Az itt található utasításokat követve importálhatja a Unity-projektbe letöltött Azure Object Anchors-csomagot a Unity Csomagkezelő használatával.

NPM letöltése

Az itt található utasításokat követve importálhatja a Unity-projektbe letöltött Azure Object Anchors-csomagot a Unity Csomagkezelő használatával.

Mixed Reality feature tool (bétaverzió)

Ehhez a lépéshez le kell töltenie és el kellérhetővé kell bocsátania a Mixed Reality szolgáltatáseszközt .

Feljegyzés

A Vegyes valóság funkció eszköz jelenleg csak a Windowst támogatja.

1. Az eszköz beállításához és használatának megismeréséhez kövesse a Mixed Reality szolgáltatáseszköz dokumentációját.
2. Telepítse a "Microsoft Azure Object Anchors" funkciócsomagot a Unity projektmappába.

A fiókadatok konfigurálása

A következő lépés az alkalmazás konfigurálása a fiókadatok használatára. Az "Objektumhorgony-fiók létrehozása" szakaszban jegyezte fel a fiókkulcs, a fiókazonosító és a fióktartomány értékeit.

A Projekt panelen nyissa meg a következőtAssets\AzureObjectAnchors.SDK\Resources:

Válassza az ObjectAnchorsConfig lehetőséget. A Felügyelő panelen adja meg az Account Key Objektumhorgonyok fiókkulcs értékét, az Account ID Objektumhorgonyok fiókazonosító értékét, valamint az Account Domain Objektumhorgonyok fióktartomány értékét.

Készítsen buildet és futtassa az alkalmazást

A mintajelenet létrehozása

A Unity Editorban lépjen az Assets/MixedReality.AzureObjectAnchors/Scenes lapra, és nyissa meg az AOASampleScene fájlt, és adja hozzá a jelenet buildlistájához.

Amikor egy "TMP-importáló" párbeszédpanelen a TextMesh Pro-erőforrások importálására kéri, válassza a "TMP Essentials importálása" lehetőséget.

Válassza a Fájl –> Épületbeállítások lehetőséget. Válassza a Univerzális Windows-platform, majd a Platformváltás lehetőséget. Ha a Unity Editor azt mondja, hogy először le kell töltenie néhány összetevőt, töltse le és telepítse őket. Kövesse az alábbi képernyőképet a buildbeállítások konfigurálásához. Győződjön meg arról, hogy csak az AOASampleScene pipa van mellette: az összes többi jelenetet nem szabad belefoglalni.

Válassza a Build lehetőséget, és válasszon ki egy kimeneti mappát. Most már létrehozhat egy VS-projektet a kimeneti mappában.

Az alkalmazás létrehozása és üzembe helyezése

Nyissa meg a .sln Unity által létrehozott fájlt. Módosítsa a buildkonfigurációt a következőre.

Ezután konfigurálnia kell a távoli gép IP-címét az alkalmazás üzembe helyezéséhez és hibakereséséhez.

Kattintson a jobb gombbal az alkalmazásprojektre, és válassza a Tulajdonságok lehetőséget. A tulajdonságok lapon válassza a Konfiguráció tulajdonságai –> Hibakeresés lehetőséget. Módosítsa a gépnév értékét a HoloLens-eszköz IP-címére, és kattintson az Alkalmaz gombra.

Zárja be a tulajdonságlapot. Kattintson a Távoli gép elemre. Az alkalmazásnak hozzá kell kezdenie a távoli eszköz összeállításához és üzembe helyezéséhez. Győződjön meg arról, hogy az eszköz aktív.

A Unity kezdőképernyője után egy fehér határolókeretnek kell megjelennie. A határolókeret mozgatásához, méretezéséhez vagy elforgatásához használhatja a kezét. Helyezze a dobozt az észlelni kívánt objektum lefedéséhez.

Nyissa meg a kéz menüt , és válassza a Lock SearchArea lehetőséget a határolókeret további mozgásának megakadályozásához. Az objektumészlelés elindításához válassza a Keresés indítása lehetőséget. Az objektum észlelésekor a rendszer egy hálót jelenít meg az objektumon. Az észlelt példány részletei megjelennek a képernyőn, például a frissített időbélyeg és a felületi lefedettség aránya. Válassza a Keresés leállítása lehetőséget a nyomkövetés leállításához, és az összes észlelt példány el lesz távolítva.

Az alkalmazás menüi

A kézi menüvel más műveleteket is végrehajthat.

Elsődleges menü

• Keresés indítása/ Keresés leállítása – Elindítja vagy leállítja az objektumészlelési folyamatot.

• Térbeli leképezés váltása – Térbeli leképezés renderelésének megjelenítése/elrejtése. Ezzel a beállítással hibakeresést végezhet, ha a vizsgálat befejeződött vagy nem.

• Tracker settings – A tracker settings menü aktiválásának kapcsolója.

• Keresési terület beállításai – A keresési terület beállításai menü aktiválásának kapcsolója.

• Nyomkövetés indítása – Diagnosztikai adatok rögzítése és mentése az eszközre. További részletekért tekintse meg a hibakeresési észlelési problémák és a rögzítési diagnosztika című szakaszt.

• Nyomkövetés feltöltése – Diagnosztikai adatok feltöltése az Objektumhorgonyok szolgáltatásba.

  

Tracker settings menu

• Nagy pontosság – Egy kísérleti funkció, amellyel pontosabb pózt kaphat. A beállítás engedélyezéséhez több rendszererőforrásra lesz szükség az objektumészlelés során. Ebben a módban az objektumháló rózsaszínben jelenik meg. Válassza ismét ezt a gombot a normál nyomkövetési módra való váltáshoz.

• Laza függőleges igazítás – Ha engedélyezve van, lehetővé teszi az objektum észlelését nem függőleges szögben. Hasznos objektumok észleléséhez a rámpákon.

• Méretezési változás engedélyezése – Lehetővé teszi, hogy a nyomkövető környezeti információk alapján módosítsa az észlelt objektum méretét.

• Lefedettségi arány csúszka – Beállítja a felületi pontok azon arányát, amelyeknek egyezőnek kell lenniük ahhoz, hogy a nyomkövető észleljen egy objektumot. Az alacsonyabb értékek lehetővé teszik a nyomkövető számára, hogy jobban észlelje a HoloLens-érzékelők számára kihívást jelentő objektumokat, például sötét objektumokat vagy magas fényvisszaverő objektumokat. A magasabb értékek csökkentik a hamis észlelések gyakoriságát.

  

Keresési terület beállításai menü

• Keresési terület zárolása – A terület határolókeretének zárolása a véletlen kézmozgatás megakadályozása érdekében.

• Keresési terület automatikus beállítása – Lehetővé teszi, hogy a keresési terület áthelyezze magát az objektumészlelés során.

• Cycle Mesh – Ciklusok a keresési területen belül betöltött hálók vizualizációja révén. Ezzel a beállítással a felhasználók könnyebben igazíthatják a keresőmezőt a nehezen észlelhető objektumokhoz.

  

Hibaelhárítás

Tippek

Ha a rendszer nem észleli az objektumot, próbálkozzon a következő lépésekkel:

1. Ellenőrizze, hogy a megfelelő modellt használja-e az objektumhoz.
2. Vizualizálja a keresési területet, és győződjön meg arról, hogy lefedi a célobjektumot.
3. Próbálja meg csökkenteni a MinSurfaceCoverage.
4. A Windows eszközportálon kattintson a Nézetek –> 3D nézetek elemre, és ellenőrizze, hogy a vizsgálat befejeződött-e.

Következő lépések

Rövid útmutató: Részletes MRTK-útmutató

Fogalmak: Az SDK áttekintése

Gyakori kérdések

Konverziós SDK

Objektumészlelés hibaelhárítása