Végpontok közötti térinformatikai tárolás, elemzés és vizualizáció

  • Cikk

A térinformatikai adatok különböző formában érkeznek, és számos képességet igényel az adatok feldolgozásához, elemzéséhez és vizualizációihoz. Bár a földrajzi információs rendszer (GIS) gyakori, nagyrészt nem felhőbeli natív. A legtöbb GIS az asztalon fut, ami korlátozza a méretet és a teljesítményt. Bár az adatok háttérrendszerbe való áthelyezésében előrelépés történt, ezek a rendszerek továbbra is IaaS-hez kötöttek maradnak, ami megnehezíti a skálázást.

Ez a cikk magas szintű megközelítést biztosít a natív felhőbeli képességek használatához, valamint néhány nyílt forráskódú szoftverlehetőséget és kereskedelmi lehetőséget. Három személyt kell figyelembe venni. A personák olyan építészek, akik magas szintű folyamatot keresnek anélkül, hogy belevágadnak a megvalósítás sajátosságaiba. A személyek a következőket tartalmazzák:

  • Általános térinformatikai tervező. Ez az építész olyan eszközt keres, amely térinformatikai megoldásokat valósít meg, de lehet, hogy nincs háttere a GIS-ben vagy a távérzékelésben.
  • OSS térinformatikai tervező. Ez az építész egy nyílt forráskódú szoftveres (OSS) megoldásra van szánva, de kihasználja a felhő előnyeit a számításhoz és a tároláshoz.
  • COTS térinformatikai tervező. Ez az építész elkötelezett a COTS-hez, de a felhőalapú számítás és tárolás előnyeit is kihasználja.

Lehetséges használati esetek

Az ezekben az architektúrákban megadott megoldások számos használati esetre vonatkoznak:

  • Nagy mennyiségű raszteres adat, például rétegek vagy éghajlati adatok feldolgozása, tárolása és hozzáférésének biztosítása.
  • Entitáshelyadatok kombinálása ERP-rendszerekből GIS-referenciaadatokkal, vagy vektoradatok, tömbök, pontfelhők stb.
  • Eszközök internetes telemetriájának (IoT) tárolása mozgó eszközökről, és valós idejű vagy kötegben történő elemzés
  • Elemzési térinformatikai lekérdezések futtatása.
  • Válogatott és környezetfüggő térinformatikai adatok beágyazása webalkalmazásokba.
  • Drónokból, légi fényképezésből, műholdképekből, LiDAR-ból, rácsos modell eredményeiből stb. származó adatok feldolgozása.

Általános térinformatikai architektúra

Az Azure számos natív térinformatikai képességgel rendelkezik. Ebben a diagramban és az azt követőkben magas szintű szakaszokat talál, amelyekben a térinformatikai adatok mennek keresztül. Először is rendelkezik az adatforrással, a betöltési lépéssel, az adatok tárolásának, átalakításának, kézbesítésének, közzétételének és végül felhasználásának helyével. Figyelje meg a földgömb ikont a natív térinformatikai képességekkel rendelkező szolgáltatások mellett. Ezek a diagramok nem tekinthetők lineáris folyamatnak. Előfordulhat, hogy az Átalakítások oszlopban, a Közzététel és a Felhasználás oszlopban indul el, majd létrehoz néhány származtatott adatkészletet, amelyhez vissza kell mennie egy előző oszlopba.

Geospatial On Azure

Ez az architektúrafolyamat feltételezi, hogy az adatok adatbázisokból, fájlokból vagy streamelési forrásokból származhatnak, és nem natív GIS-formátumban tárolhatók. Miután az adatokat az Azure Data Factorybe, vagy az Azure IoT-en, az Event Hubson és a Stream Analyticsen keresztül betöltötte, azokat véglegesen meleg tárolóban tárolhatja az Azure SQL, az Azure SQL Managed Instance, az Azure Database for PostgreSQL vagy az Azure Data Lake Storage használatával. Innen az adatok kötegelten átalakíthatók és feldolgozhatók az Azure Batch vagy a Synapse Spark-készlet használatával, amelyek közül mindkettő automatizálható egy Azure Data Factory vagy Synapse-folyamat használatával. Valós idejű adatok esetén tovább átalakítható vagy feldolgozható a Stream Analytics, az Azure Térképek vagy az Azure Digital Twins környezetébe. Az adatok átalakítása után ismét kiszolgálhatók további célokra az Azure SQL DB-ben vagy az Azure Database for PostgreSQL-ben, a Synapse SQL-készletben (absztrakt, nem térinformatikai adatok esetén), az Azure Cosmos DB-ben vagy az Azure Data Explorerben. Ha elkészült, az adatok közvetlenül az adatbázis API-jának használatával kérdezhetők le, de gyakran használnak közzétételi réteget. Az Azure Térképek Data API elegendő lenne a kis adathalmazokhoz, ellenkező esetben egy nem natív szolgáltatás is bevezethető OSS vagy COTS alapján, amely webszolgáltatásokon vagy asztali alkalmazásokon keresztül fér hozzá az adatokhoz. Végül a Azure-alkalmazás szolgáltatásban üzemeltetett Azure Térképek Web SDK lehetővé tenné a geovizualizációt. Egy másik lehetőség az Azure Térképek használata a Power BI-ban. Végül a HoloLens és az Azure Spatial Anchors segítségével megtekintheti és elhelyezheti az adatokat a virtuális valóság (VR) és a kiterjesztett valóság (AR)-élmények valós világában.

Azt is meg kell jegyezni, hogy ezek közül a lehetőségek közül sok nem kötelező, és osS-sel kiegészíthető a költségek csökkentése érdekében, miközben fenntartja a méretezhetőséget is, vagy külső eszközökkel az adott képességeik kihasználásához. A következő munkamenet foglalkozik ezzel az igényével.

Külső és nyílt forráskódú szoftveres térinformatikai architektúra

Ez a minta az Azure natív térinformatikai képességeinek használatát veszi alapul, ugyanakkor kihasznál néhány külső eszközt és nyílt forráskódú szoftvereszközt.

A megközelítés és az előző folyamatábra közötti legjelentősebb különbség az FME használata a Széf Software Inc.-től, amely az Azure Marketplace-ről szerezhető be. Az FME lehetővé teszi, hogy a térinformatikai tervezők különböző típusú térinformatikai adatokat integráljanak, beleértve a CAD-t (az Azure Térképek Creator esetében), a GIS-t, a BIM-et, a 3D-t, a pontfelhőket, a LIDAR-t stb. Több mint 450 integrációs lehetőség áll rendelkezésre, és számos adatátalakítás létrehozását felgyorsíthatja a funkciójával. A megvalósítás azonban egy virtuális gép használatán alapul, és ezért korlátozza a skálázási képességeket. Az FME-átalakítások automatizálása FME API-hívások használatával érhető el az Azure Data Factory és/vagy az Azure Functions használatával. Miután betöltötte az adatokat az Azure SQL-ben, például kiszolgálhatja azokat a GeoServerben, és közzéteheti webszolgáltatásként (vektorként) vagy webleképezési csempeszolgáltatásként (raszterként), és megjeleníthető az Azure Térképek webes SDK-ban, vagy elemezheti az asztali QGIS-sel a többi Azure Térképek alapleképezéssel együtt.

Diagram of Azure and 3rd Party tools and open-source software.

COTS térinformatikai architektúra: Esri statikus és streamelési forrásokkal

A következő megközelítés a kereskedelmi GIS-t használja a megoldás alapjaként. Ennek az architektúrának az alapja az Azure Marketplace-ről elérhető Esri technológiája lesz, bár más kereskedelmi szoftverek is illeszkedhetnek ugyanahhoz a mintához. Mint korábban, a források, betöltési, (nyers) tároló, Load/Serve nagyrészt változatlan marad. Az adatok átalakíthatók az ArcGIS Pro-val egy különálló számítógépen (virtuális gépen) vagy egy nagyobb azure virtual desktop-megoldás részeként is. Az adatok közzétehetők az ArcGIS Enterprise-on vagy az ArcGIS Enterprise-on a Kubernetesen (Azure Kubernetes Service). A rendszerképek az ArcGIS Enterprise üzembe helyezés részeként feldolgozhatók az IaaS-en az ArcGIS-rendszerképpel. Az adatok felhasználhatók a Azure-alkalmazás Szolgáltatásban üzemeltetett webalkalmazásokban az ArcGIS JavaScript SDK-val, egy ArcGIS Pro-végfelhasználóval, az ArcGIS Runtime mobile SDK-val vagy a Power BI-hoz készült ArcGIS-lel. Hasonlóképpen, a felhasználók az ArcGIS Online-nal is felhasználhatják az adatokat.

Diagram of Esri with static and streaming sources.

COTS térinformatikai architektúra: Az Esri ArcGIS-rendszerképe és az Azure Orbital

A következő architektúra az Azure Orbital és az Esri ArcGIS-rendszerképét foglalja magában. Ezzel a végpontok közötti folyamattal az Azure Orbital lehetővé teszi a műholdakkal való kapcsolatok ütemezését, valamint az adatok virtuális gépre való lekapcsolását vagy az Azure Event Hubsba való streamelést. A közvetlen streamelt műholdas adatok mellett drón- vagy más képi adatok is behozhatók a platformra, és feldolgozhatók. A nyers adatok tárolhatók az Azure NetApp Filesban, egy Azure Storage-fiókban (blobban) vagy egy olyan adatbázisban, mint az Azure Database for PostgreSQL. A műholdas és az érzékelőplatformtól függően az adatok a 0. szintről a 2. szintű adatkészletre alakulnak át. Lásd a NASA adatfeldolgozási szintjei című témakört. A szükséges szint a műholdtól és az érzékelőtől függ. Ezután az ArcGIS Pro mozaikadatkészletté alakíthatja az adatokat. A Mozaik adatkészlet ezután képszolgáltatássá alakul az ArcGIS Enterprise szolgáltatással (virtuális gépeken vagy Kubernetesen). Az ArcGIS Image Server közvetlenül képszolgáltatásként szolgálhatja ki az adatokat, vagy egy felhasználó az ArcGIS Online ArcGIS Image szolgáltatásán keresztül használhatja a képszolgáltatást.

Diagram of Esri's ArcGIS Image and Azure Orbital.

COTS/Nyílt forráskódú szoftveres térinformatikai architektúra: Azure Space to Analysis Ready Dataset

Ha az Analysis Ready Datasets olyan API-kon keresztül érhető el, amelyek lehetővé teszik a keresési és lekérdezési képességeket, például a Microsoft Planetary Számítógépével, nem kell először letöltenie az adatokat egy műholdról. Ha azonban kevés átfutási idő szükséges a képekhez, az adatok közvetlenül az Azure Space-ből való beszerzése ideális, mert egy műholdüzemeltető vagy küldetésvezérelt szervezet az Azure Orbitalon keresztül ütemezhet kapcsolatot egy műholdal. A 0. szintről a 2. szintű elemzésre kész adathalmazra való ugrás folyamata a műholdtól és a képi termékektől függően változik. Gyakran több eszközre és köztes lépésre van szükség. Az Azure Batch vagy egy másik számítási erőforrás feldolgozhatja az adatokat egy fürtben, és tárolhatja a kapott adatokat. Az adatok több lépésen is átmehetnek, mielőtt készen állnak az ArcGIS-ben, a QGIS-ben vagy más geovizualizációs eszközben való használatra. Ha például az adatok felhőoptimalizált GeoTIFF (COG) formátumban vannak, azokat egy tárfiókon vagy az Azure Data Lake-en keresztül szolgáltatják, és elérhetővé és lekérdezhetővé teszik az Azure-ban szolgáltatásként üzembe helyezhető STAC API-n keresztül, többek között az AKS használatával. Azt is megteheti, hogy az adatokat webleképezési csempeszolgáltatásként teszi közzé a GeoServerrel. A felhasználók ezután hozzáférhetnek az Adatokhoz az ArcGIS Pro-ban vagy a QGIS-ben, vagy egy webalkalmazáson keresztül az Azure Térképek vagy az Esri mobil- és webes SDK-jaival.

Diagram of Azure Space to Analysis Ready Dataset.

Összetevők

  • Az Azure Event Hubs egy teljes mértékben felügyelt streamelési platform big data-adatokhoz. Ez a szolgáltatásként nyújtott platform (PaaS) particionált fogyasztói modellt kínál. Több alkalmazás is használhatja ezt a modellt az adatfolyam egyidejű feldolgozásához.
  • Az Azure Orbital egy teljes mértékben felügyelt, felhőalapú földi állomás szolgáltatásként, amely lehetővé teszi a műveletek leegyszerűsítését azáltal, hogy közvetlenül az Azure-ba tölt be űradatokat.
  • Az Azure Data Factory egy integrációs szolgáltatás, amely különböző adattárakból származó adatokkal működik együtt. Ezzel a teljes mértékben felügyelt, kiszolgáló nélküli platformmal adatátalakítási munkafolyamatokat hozhat létre, ütemezhet és vezényelhet.
  • Az Azure Cosmos DB egy teljes körűen felügyelt NoSQL-adatbázis-szolgáltatás a modern alkalmazásfejlesztéshez.
  • Az Azure Synapse Analytics egy nagyvállalati elemzési szolgáltatás, amely felgyorsítja az adattárházak és big data rendszerek áttekintésének idejét.
  • Az Azure Digital Twins szolgáltatásként nyújtott platform, amely lehetővé tette az ikergráfok létrehozását a teljes környezetek digitális modelljei alapján, amelyek lehetnek épületek, gyárak, farmok, energiahálózatok, vasutak, stadionok vagy teljes városok.
  • Az Azure Virtual Desktop egy asztali és alkalmazásvirtualizálási szolgáltatás, amely a felhőben fut.
  • Az Azure Databricks egy adatelemzési platform. A teljes mértékben felügyelt Spark-fürtök több forrásból származó nagy adatstreameket dolgoznak fel. Az Azure Databricks nagy léptékben képes átalakítani a térinformatikai adatokat elemzési és adatvizualizációs célokra.
  • Az Azure Batch lehetővé teszi a nagy léptékű párhuzamos és nagy teljesítményű számítási feladatok futtatását.
  • Az Azure Data Lake Storage egy méretezhető és biztonságos data lake a nagy teljesítményű elemzési számítási feladatokhoz. Ez a szolgáltatás több petabájtnyi információt képes kezelni, miközben több száz gigabites átviteli sebességet tart fenn. Az adatok általában több, heterogén forrásból származnak, és strukturálhatók, részben strukturálhatók vagy strukturálatlanok.
  • Az Azure SQL Database az SQL Server PaaS-verziója, és intelligens, méretezhető, relációs adatbázis-szolgáltatás.
  • Az Azure Database for PostgreSQL egy teljes körűen felügyelt relációsadatbázis-szolgáltatás, amely a nyílt forráskódú PostgreSQL-adatbázismotor közösségi kiadásán alapul.
  • A PostGIS a GIS-kiszolgálókkal integrálható PostgreSQL-adatbázis bővítménye. A PostGIS képes olyan SQL-hely lekérdezéseket futtatni, amelyek földrajzi objektumokat is érintenek.
  • A Power BI szoftverszolgáltatások és alkalmazások gyűjteménye. A Power BI használatával összekapcsolhatja a nem kapcsolódó adatforrásokat, és vizualizációkat hozhat létre belőlük.
  • A Power BI-hoz készült Azure Térképek vizualizáció lehetővé teszi a térképek térbeli adatokkal való bővítését. Ezzel a vizualizációval bemutatja, hogy a helyadatok hogyan befolyásolják az üzleti metrikákat.
  • Az App Service és a Web Apps szolgáltatás keretrendszert biztosít a webalkalmazások létrehozásához, üzembe helyezéséhez és méretezéséhez. Az App Service platform beépített infrastruktúra-karbantartást, biztonsági javításokat és skálázást kínál.
  • Az Azure-beli GIS-adat API-k Térképek a térképadatokat olyan formátumban tárolják és kérik le, mint a GeoJSON és a vektorcsempék.
  • Az Azure Data Explorer egy gyors, teljes körűen felügyelt adatelemzési szolgáltatás, amely nagy mennyiségű adattal használható. Ez a szolgáltatás eredetileg az idősorokra és a naplóelemzésre összpontosított. Mostantól az alkalmazások, webhelyek, IoT-eszközök és más források különböző adatfolyamait is kezeli. Az Azure Data Explorer térinformatikai funkciói lehetővé teszik a térképadatok megjelenítését.
  • Az Azure NetApp Files egy nagyvállalati szintű, nagy teljesítményű, forgalmi díjas fájltároló (NAS) szolgáltatás.
  • A Quantum GIS egy ingyenes és nyílt forráskódú asztali GIS, amely támogatja a térinformatikai adatok szerkesztését, elemzését és geovizualizálását.
  • Az ArcGIS Enterprise egy platform a leképezéshez és a geovizualizációhoz, az elemzéshez és az adatkezeléshez, amely adatokat, alkalmazásokat és egyéni, alacsony kódszámú/kód nélküli alkalmazásokat üzemeltet. Ez együtt működik az asztali GIS nevű ArcGIS Pro vagy ArcGIS Desktop (nem tartalmazza itt, mert azt az ArcGIS Pro előtelepítette).
  • Az ArcGIS Pro az Esri professzionális asztali GIS-alkalmazása. Lehetővé teszi, hogy a felhasználók feltárják, geovizualizálják és elemezzék az adatokat. 2D és 3D képességeket tartalmaz, és az Azure Nagy teljesítményű számítási virtuális gépeken, például az NV-sorozaton fut a legjobban. Az ArcGIS használata skálázható az Azure Virtual Desktop használatával.
  • Az ArcGIS Online ArcGIS-rendszerképe az ArcGIS Online (SaaS) bővítménye, amely lehetővé teszi a geovizualizációt, az üzemeltetést, a közzétételt és az elemzést.
  • A STAC API specifikációja lehetővé teszi a raszteradatok katalóguson keresztüli lekérdezését és lekérését.

Bár a fenti ábrák nem mutatják, az Azure Monitor, a Log Analytics és a Key Vault is egy szélesebb körű megoldás része lenne.

  • Az Azure Monitor adatokat gyűjt a környezetekről és az Azure-erőforrásokról. Ez a diagnosztikai információ hasznos a rendelkezésre állás és a teljesítmény fenntartásához. A Monitort két adatplatform alkotja:
  • Az Azure Log Analytics egy Azure Portal-eszköz, amely lekérdezéseket futtat a naplóadatok monitorozásakor. A Log Analytics emellett a lekérdezési eredmények diagramkészítéséhez és statisztikai elemzéséhez is kínál funkciókat.
  • A Key Vault tárolja és szabályozza a titkos kulcsokhoz, például jogkivonatokhoz, jelszavakhoz és API-kulcsokhoz való hozzáférést. A Key Vault emellett titkosítási kulcsokat is létrehoz és szabályoz, valamint kezeli a biztonsági tanúsítványokat.

Alternatívák

Különböző Spark-kódtárak érhetők el az Azure Databricks és a Synapse Spark-készletek térinformatikai adatainak kezeléséhez. Tekintse meg a következő kódtárakat:

De más megoldások is léteznek a térinformatikai számítási feladatok Azure Databricks-lel való feldolgozására és skálázására.

  • Egyéb Python-kódtárak, amelyeket érdemes megfontolni, például PySAL, Rasterio, WhiteboxTools, Turf.js, Pointpats, Raster Vision, EarthPy, Planetary Computer, PDAL stb.

  • A vektorcsempék hatékonyan jelenítik meg a GIS-adatokat a térképeken. Egy megoldás a PostGIS használatával dinamikusan kérdezhet le vektorcsempéket. Ez a megközelítés jól működik az 1 milliónál jóval több rekordot tartalmazó egyszerű lekérdezésekhez és eredményhalmazokhoz. A következő esetekben azonban jobb lehet egy másik megközelítés:

    • A lekérdezések számításilag költségesek.
    • Az adatok nem változnak gyakran.
    • Nagy adatkészleteket jelenít meg.

Ilyen esetekben fontolja meg a Tippecanoe használatát vektorcsempék létrehozásához. A Tippecanoe-t az adatfeldolgozási folyamat részeként futtathatja tárolóként vagy az Azure Functions használatával. Az eredményként kapott csempéket API-k segítségével elérhetővé teheti.

  • Az Event Hubshoz hasonlóan az Azure IoT Hub is nagy mennyiségű adatot képes betölteni. Az IoT Hub azonban kétirányú kommunikációs képességeket is kínál az eszközökkel. Ha közvetlenül az eszközökről fogad adatokat, de parancsokat és szabályzatokat is küld vissza az eszközökre, vegye figyelembe az IoT Hubot az Event Hubs helyett.

Következő lépések