Rövid útmutató: HoloLens-alkalmazás létrehozása az Azure Object Anchors használatával C++/WinRT-ben és DirectX-ben

Ez a rövid útmutató bemutatja, hogyan hozhat létre HoloLens-alkalmazást az Azure Object Anchors használatával a C++/WinRT-ben és a DirectX-ben. Az Object Anchors egy felügyelt felhőszolgáltatás, amely AI-modellekké alakítja a 3D-s objektumokat, amelyek lehetővé teszik a HoloLens objektumérzékeny vegyes valósági élményét. Ha végzett, rendelkeznie kell egy HoloLens-alkalmazással, amely képes észlelni egy objektumot és annak pózát egy Holographic DirectX 11 (Univerzális Windows) alkalmazásban.

A következőket fogja megtanulni:

  • HoloLens-alkalmazás létrehozása és oldalbetöltése
  • Objektum észlelése és a modell vizualizációja

If you don't have an Azure subscription, create an Azure free account before you begin.

Előfeltételek

A rövid útmutató elvégzéséhez győződjön meg arról, hogy rendelkezik az alábbiakkal:

  • Egy fizikai objektum a környezetben és annak 3D-modelljében, cad vagy szkennelve.
  • Windows rendszerű számítógép, amelyen telepítve van a következő:
    • Git for Windows
    • Visual Studio 2019 a Univerzális Windows-platform fejlesztési számítási feladattal és a Windows 10 SDK (10.0.18362.0 vagy újabb) összetevővel
  • Egy HoloLens 2-eszköz, amely naprakész, és engedélyezve van a fejlesztői mód .
    • A HoloLens legújabb kiadására való frissítéshez nyissa meg a Gépház alkalmazást, nyissa meg az Update & Security lapot, majd válassza a Frissítések keresése lehetőséget.

Objektumhorgony-fiók létrehozása

Először létre kell hoznia egy fiókot az Object Anchors szolgáltatással.

  1. Nyissa meg az Azure Portalt , és válassza az Erőforrás létrehozása lehetőséget.

    Create a new resource

  2. Keresse meg az Objektumhorgonyok erőforrást .

    Keressen rá az "Objektumhorgonyok" kifejezésre.

    Select the Object Anchors Resource

    A keresési eredmények Objektumhorgonyok erőforrásában válassza a Létrehozás –> Objektumhorgonyok lehetőséget.

    Create an Object Anchors Resource

  3. Az Objektumhorgonyok fiók párbeszédpanelen:

    • Adjon meg egy egyedi erőforrásnevet.
    • Válassza ki azt az előfizetést, amelyhez csatolni szeretné az erőforrást.
    • Hozzon létre vagy használjon egy meglévő erőforráscsoportot.
    • Válassza ki azt a régiót, amelyben az erőforrást meg szeretné jeleníteni.

    Enter Object Anchors resource account details

    Válassza a Létrehozás lehetőséget az erőforrás létrehozásának megkezdéséhez.

  4. Ha az erőforrás már létre lett hozva, válassza az Erőforrás megnyitása lehetőséget.

    Go to resource

  5. Az áttekintési oldalon:

    Jegyezze fel a fióktartományt. Erre később még szüksége lesz.

    Copy the account domain for your Object Anchors resource

    Jegyezze fel a fiókazonosítót. Erre később még szüksége lesz.

    Copy the account ID for your Object Anchors resource

    Lépjen a Hozzáférési kulcsok lapra, és jegyezze fel az elsődleges kulcsot. Erre később még szüksége lesz.

    Copy the account key for your Object Anchors resource

A modell feltöltése

Az alkalmazás futtatása előtt elérhetővé kell tennie a modelleket az alkalmazás számára. Ha még nem rendelkezik Objektumhorgony-modellel, kövesse a Modell létrehozása című témakör utasításait. Aztán térjen vissza ide.

Ha a HoloLens be van kapcsolva, és csatlakozik a fejlesztői eszközhöz (PC), kövesse az alábbi lépéseket, hogy feltöltsön egy modellt a HoloLens 3D Objects mappájába:

  1. Jelölje ki és másolja ki a használni kívánt modelleket a Ctrl billentyűt és a C billentyűkombinációt lenyomva (Ctrl + C).

  2. Nyomja le a Windows billentyű és az E billentyűkombinációt (Win + E) a Fájlkezelő elindításához. A HoloLens a bal oldali panelen látható más meghajtókkal és mappákkal együtt jelenik meg.

    file explorer

  3. A HoloLens hivatkozásra koppintva megjelenítheti a tárterületet a HoloLens-eszközön a jobb oldali panelen.

    open HoloLens internal storage

  4. A Fájlkezelő lépjen a Belső tár > 3D-objektumok elemre. Most már beillesztheti a modelleket a 3D objektumok mappába a Ctrl billentyű és a V együttes lenyomásával (Ctrl + V).

    paste models in 3D Objects folder

A mintaprojekt megnyitása

Klónozza a mintaadattárat az alábbi parancsok futtatásával:

git clone https://github.com/Azure/azure-object-anchors.git

cd ./azure-object-anchors

Rövid útmutatók/alkalmazások/directx/DirectXAoaSampleApp.sln megnyitása a Visual Studióban.

Módosítsa a megoldáskonfigurációt kiadásra, módosítsa a megoldásplatformot ARM64-re, és válassza az Eszköz lehetőséget az üzembehelyezési célbeállítások közül.

A fiókadatok konfigurálása

A következő lépés az alkalmazás konfigurálása a fiókadatok használatára. Az "Objektumhorgony-fiók létrehozása" szakaszban jegyezte fel a fiókkulcs, a fiókazonosító és a fióktartomány értékeit.

Open Assets\ObjectAnchorsConfig.json.

Keresse meg a AccountId mezőt, és cserélje le Set me a fiókazonosítót.

Keresse meg a AccountKey mezőt, és cserélje le Set me a fiókkulcsot.

Keresse meg a AccountDomain mezőt, és cserélje le Set me a fióktartományra.

Most készítse el az AoaSampleApp projektet a jobb gombbal a projektre kattintva, majd válassza a Build lehetőséget.

Screenshot shows configuring Visual Studio project to deploy.

Az alkalmazás üzembe helyezése a HoloLensben

A mintaprojekt sikeres összeállítása után üzembe helyezheti az alkalmazást a HoloLensben.

Győződjön meg arról, hogy a HoloLens eszköz be van kapcsolva, és USB-kábelen keresztül csatlakozik a pc-hez. Győződjön meg arról, hogy az Eszköz a kiválasztott üzembehelyezési cél, a fentieknek megfelelően.

Kattintson a jobb gombbal az AoaSampleApp projektre, majd a helyi menüben válassza az Üzembe helyezés lehetőséget az alkalmazás telepítéséhez. Ha a Visual Studio kimeneti ablakában nem jelenik meg hiba, az alkalmazás a HoloLensre lesz telepítve.

Screenshot shows the context menu for the project with Deploy selected.

Az alkalmazás elindítása előtt fel kellett volna töltenie például egy objektummodellt, a chair.ou-t a HoloLens 3D Objects mappájába. Ha még nem tette meg, kövesse a modell feltöltése szakaszban található utasításokat.

Az alkalmazás elindításához és hibakereséséhez válassza a Hibakeresés>indítása hibakeresés lehetőséget.

Objektummodell betöltése és példányának észlelése

Az AoaSampleApp alkalmazás most már fut a HoloLens-eszközön. A célobjektumhoz (székhez) közel, 2 méter távolságon belül járjon, és vizsgálja meg több szemszögből. Az objektum körül rózsaszín határolókeretnek kell megjelennie, amelyen néhány sárga pont jelenik meg az objektum felszínéhez közel, ami azt jelzi, hogy észlelték. A keresési területet jelző sárga mezőnek is meg kell jelennie.

Photograph shows a chair with the bounding box, point cloud, and search area.

Az alkalmazásban az objektum keresési területét úgy határozhatja meg, hogy a jobb vagy a bal kezével ujjal a levegőbe kattint. A keresési terület 2 méter sugarú gömb, 4 m^3 határolókeret és nézet frustum között vált. Nagyobb objektumok, például autók esetén a legjobb választás általában a nézet frustum kiválasztása, miközben az objektum egy sarkával szemben áll körülbelül 2 méter távolságban. A keresési terület minden módosításakor az alkalmazás eltávolítja a nyomon követett példányokat. Ezután megpróbálja újra megkeresni őket az új keresési területen.

Ez az alkalmazás egyszerre több objektumot is nyomon tud követni. Ehhez töltsön fel több modellt az eszköz 3D objektumok mappájába, és állítson be egy keresési területet, amely az összes célobjektumot lefedi. Több objektum észlelése és nyomon követése hosszabb időt vehet igénybe.

Az alkalmazás szorosan igazítja a 3D modellt a fizikai megfelelőjéhez. A felhasználó a bal kezével koppintva bekapcsolhatja a nagy pontosságú nyomkövetési módot, amely pontosabb pózt számít ki. Ez a funkció még kísérleti jellegű. Több rendszererőforrást használ fel, és nagyobb jittert eredményezhet a becsült pózban. Koppintson ismét a bal kezével a normál nyomkövetési módra való visszaváltáshoz.

További lépések