Delen via

End-to-end georuimtelijke opslag, analyse en visualisatie

  • Artikel

Georuimtelijke gegevens worden geleverd in verschillende vormen en vereisen een breed scala aan mogelijkheden voor het verwerken, analyseren en visualiseren van de gegevens. Hoewel GIS (Geographic Information System) gebruikelijk is, is het ook grotendeels niet cloudeigen. De meeste GIS worden uitgevoerd op het bureaublad, waardoor hun schaal en prestaties worden beperkt. Hoewel er vooruitgang is geboekt bij het verplaatsen van de gegevens naar de back-end, blijven deze systemen gebonden aan IaaS, waardoor ze moeilijk te schalen zijn.

Dit artikel biedt een benadering op hoog niveau voor het gebruik van cloudeigen mogelijkheden, samen met enkele opensource-softwareopties en commerciële opties. Er worden drie persona's overwogen. De persona's zijn architecten die op zoek zijn naar een stroom op hoog niveau zonder de specifieke kenmerken van een implementatie te krijgen. De persona's bevatten het volgende:

  • Algemene georuimtelijke architect. Deze architect is op zoek naar een middel om georuimtelijk te implementeren, maar heeft mogelijk geen achtergrond in GIS of Remote Sensing.
  • OSS georuimtelijke architect. Deze architect is gewijd aan een opensource-softwareoplossing (OSS), maar maakt gebruik van de cloud voor rekenkracht en opslag.
  • COTS georuimtelijke architect. Deze architect is gewijd aan COTS, maar maakt ook gebruik van cloud-rekenkracht en -opslag.

Potentiële gebruikscases

De oplossingen in deze architecturen zijn van toepassing op veel gebruiksvoorbeelden:

  • Verwerken, opslaan en toegang bieden tot grote hoeveelheden rastergegevens, zoals lagen of klimaatgegevens.
  • Het combineren van entiteitslocatiegegevens uit ERP-systemen met GIS-referentiegegevens of vectorgegevens, matrices, puntwolken, enzovoort.
  • IoT-telemetrie (Internet of Things) opslaan van bewegende apparaten en in realtime of in batch analyseren
  • Analytische georuimtelijke query's uitvoeren.
  • Gecureerde en contextuele georuimtelijke gegevens insluiten in web-apps.
  • Het verwerken van gegevens van drones, luchtfoto's, satellietbeelden, LiDAR, gerasterde modelresultaten enz.

Algemene georuimtelijke architectuur

Azure heeft veel systeemeigen georuimtelijke mogelijkheden. In dit diagram en de stappen die volgen, vindt u fasen op hoog niveau waarin georuimtelijke gegevens worden ondergaan. Ten eerste hebt u de gegevensbron, een opnamestap, een plaats waar de gegevens worden opgeslagen, getransformeerd, geleverd, gepubliceerd en uiteindelijk verbruikt. Let op het wereldbolpictogram naast de services met systeemeigen georuimtelijke mogelijkheden. Deze diagrammen worden ook niet beschouwd als lineaire processen. U kunt beginnen in de kolom Transformaties, Publiceren en Gebruiken en vervolgens enkele afgeleide gegevenssets maken. Hiervoor moet u teruggaan naar een vorige kolom.

Georuimtelijk in Azure

Bij deze architectuurstroom wordt ervan uitgegaan dat de gegevens afkomstig kunnen zijn van databases, bestanden of streamingbronnen en niet zijn opgeslagen in een systeemeigen GIS-indeling. Zodra de gegevens zijn opgenomen met Azure Data Factory of via Azure IoT, Event Hubs en Stream Analytics, kunnen deze permanent worden opgeslagen in warme opslag met Azure SQL, Azure SQL Managed Instance, Azure Database for PostgreSQL of Azure Data Lake Storage. Van daaruit kunnen de gegevens worden getransformeerd en verwerkt in batch met Azure Batch of Synapse Spark-pool, waarvan beide kunnen worden geautomatiseerd via het gebruik van een Azure Data Factory- of Synapse-pijplijn. Voor realtime gegevens kunnen deze verder worden getransformeerd of verwerkt met Stream Analytics, Azure Maps of in context worden gebracht met Azure Digital Twins. Zodra de gegevens zijn getransformeerd, kunnen deze opnieuw worden geleverd voor extra gebruik in Azure SQL DB of Azure Database for PostgreSQL, Synapse SQL-pool (voor abstracte niet-georuimtelijke gegevens), Azure Cosmos DB of Azure Data Explorer. Zodra u klaar bent, kunnen de gegevens rechtstreeks worden opgevraagd via de gegevensdatabase-API, maar vaak wordt een publicatielaag gebruikt. De Azure Maps Data-API zou voldoende zijn voor kleine gegevenssets, anders kan een niet-systeemeigen service worden geïntroduceerd op basis van OSS of COTS, voor toegang tot de gegevens via webservices of desktoptoepassingen. Ten slotte zou de Azure Maps Web SDK die wordt gehost in Azure-app Service geovisualisatie mogelijk maken. Een andere optie is het gebruik van Azure Maps in Power BI. Ten slotte kunnen HoloLens en Azure Spatial Anchors worden gebruikt om de gegevens te bekijken en in de praktijk te plaatsen voor virtual reality-ervaringen (VR) en augmented reality (AR).

Er moet ook worden opgemerkt dat veel van deze opties optioneel zijn en kunnen worden aangevuld met OSS om de kosten te verlagen en tegelijkertijd schaalbaarheid te behouden, of hulpprogramma's van derden om hun specifieke mogelijkheden te gebruiken. In de volgende sessie wordt deze behoefte opgelost.

Georuimtelijke architectuur van derden en opensource-software

Dit patroon gebruikt de benadering van het gebruik van systeemeigen georuimtelijke mogelijkheden van Azure, terwijl tegelijkertijd gebruik wordt gemaakt van enkele hulpprogramma's van derden en opensource-softwarehulpprogramma's.

Het belangrijkste verschil tussen deze benadering en het vorige stroomdiagram is het gebruik van FME van Safe Software Inc., dat kan worden verkregen via Azure Marketplace. MET FME kunnen georuimtelijke architecten verschillende soorten georuimtelijke gegevens integreren, waaronder CAD (voor Azure Maps Creator), GIS, BIM, 3D, puntwolken, LIDAR, enzovoort. Er zijn 450+ integratieopties en kunnen het maken van veel gegevenstransformaties versnellen via de functionaliteit. De implementatie is echter gebaseerd op het gebruik van een virtuele machine en heeft daarom beperkingen in de schaalmogelijkheden. De automatisering van FME-transformaties kan worden bereikt met behulp van FME API-aanroepen met het gebruik van Azure Data Factory en/of met Azure Functions. Zodra de gegevens in Azure SQL zijn geladen, kunnen deze bijvoorbeeld worden geleverd in GeoServer en worden gepubliceerd als een webfunctieservice (vector) of webtoewijzingstegelservice (raster) en gevisualiseerd in de Azure Maps-web-SDK of geanalyseerd met QGIS voor het bureaublad, samen met de andere Azure Maps-basiskaarten.

Diagram van hulpprogramma's van Azure en derden en opensource-software.

COTS georuimtelijke architectuur: Esri met statische en streamingbronnen

Bij de volgende benadering kijken we naar het gebruik van commercieel GIS als basis voor de oplossing. De technologie van Esri, beschikbaar via Azure Marketplace, vormt de basis voor deze architectuur, hoewel andere commerciële software dezelfde patronen kan aanpassen. Net als voorheen blijven de bronnen, opname, (onbewerkte) opslag, Load/Serve grotendeels hetzelfde. De gegevens kunnen ook worden getransformeerd met ArcGIS Pro op een zelfstandige computer (VM) of als onderdeel van een grotere oplossing met Azure Virtual Desktop. De gegevens kunnen worden gepubliceerd via ArcGIS Enterprise of met de ArcGIS Enterprise op Kubernetes (Azure Kubernetes Service). Afbeeldingen kunnen worden verwerkt op IaaS met ArcGIS Image als onderdeel van de ArcGIS Enterprise-implementatie. De gegevens kunnen worden gebruikt in web-apps die worden gehost in Azure-app Service met de ArcGIS JavaScript SDK, een ArcGIS Pro-eindgebruiker, arcGIS Runtime mobile SDK of met ArcGIS for Power BI. Gebruikers kunnen de gegevens ook gebruiken met ArcGIS Online.

Diagram van Esri met statische en streamingbronnen.

COTS georuimtelijke beeldarchitectuur: ArcGIS Image en Azure Orbital van Esri

De volgende architectuur omvat Azure Orbital en de ArcGIS-installatiekopieën van Esri. Met deze end-to-end-stroom kunt u met Azure Orbital contactpersonen plannen met satellieten en de gegevens in een VIRTUELE machine downlinken of streamen naar Azure Event Hubs. Naast directe gestreamde satellietgegevens kunnen drone- of andere beeldgegevens op het platform worden gebracht en verwerkt. De onbewerkte gegevens kunnen worden opgeslagen in Azure NetApp Files, een Azure Storage-account (blob) of in een database zoals Azure Database for PostgreSQL. Afhankelijk van het satelliet- en sensorplatform worden de gegevens getransformeerd van niveau 0 naar gegevensset op niveau 2. Zie NASA-gegevensverwerkingsniveaus. Welk niveau vereist is, is afhankelijk van de satelliet en sensor. Vervolgens kan ArcGIS Pro de gegevens transformeren in een Mozaïekgegevensset. De Mozaïekgegevensset wordt vervolgens omgezet in een installatiekopieënservice met ArcGIS Enterprise (op VM's of Kubernetes). ArcGIS Image Server kan de gegevens rechtstreeks verwerken als een installatiekopieënservice of een gebruiker kan de installatiekopieënservice gebruiken via ArcGIS Image for ArcGIS Online.

Diagram van ArcGIS Image en Azure Orbital van Esri.

COTS/Opensource software georuimtelijke afbeeldingsarchitectuur: Azure Space to Analysis Ready Dataset

Wanneer analyseklare gegevenssets beschikbaar worden gesteld via API's die zoek- en querymogelijkheden mogelijk maken, zoals met de Planetaire computer van Microsoft, hoeft u de gegevens niet eerst te downloaden van een satelliet. Als er echter lage doorlooptijden nodig zijn voor beeldmateriaal, is het verkrijgen van de gegevens rechtstreeks vanuit Azure Space ideaal omdat een satellietoperator of missiegestuurde organisatie een contact met een satelliet kan plannen via Azure Orbital. Het proces voor het uitvoeren van een gegevensset die gereed is voor analyse op niveau 0 tot niveau 2 varieert per satelliet en de beeldproducten. Er zijn vaak meerdere hulpprogramma's en tussenliggende stappen vereist. Azure Batch of een andere rekenresource kan de gegevens in een cluster verwerken en de resulterende gegevens opslaan. De gegevens kunnen meerdere stappen doorlopen voordat ze klaar zijn voor gebruik in ArcGIS of QGIS of een ander hulpprogramma voor geovisualisering. Zodra de gegevens bijvoorbeeld een COG-indeling (Cloud Optimized GeoTIFF ) hebben, worden deze geleverd via een opslagaccount of Azure Data Lake en toegankelijk en doorzoekbaar gemaakt via de STAC-API, die kan worden geïmplementeerd in Azure als een service, met onder andere AKS. U kunt de gegevens ook publiceren als een webtoewijzingstegelservice met GeoServer. Consumenten hebben vervolgens toegang tot de gegevens in ArcGIS Pro of QGIS of via een web-app met de mobiele en web-SDK's van Azure Maps of Esri.

Diagram van Azure Space to Analysis Ready Dataset.

Onderdelen

  • Azure Event Hubs is een volledig beheerd streamingplatform voor big data. Dit Platform as a Service (PaaS) biedt een gepartitioneerd consumentenmodel. Meerdere toepassingen kunnen dit model gebruiken om de gegevensstroom tegelijkertijd te verwerken.
  • Azure Orbital is een volledig beheerd, cloudgebaseerd grondstation als een service waarmee u uw activiteiten kunt stroomlijnen door ruimtegegevens rechtstreeks in Azure op te nemen.
  • Azure Data Factory is een integratieservice die werkt met gegevens uit verschillende gegevensarchieven. U kunt dit volledig beheerde, serverloze platform gebruiken om werkstromen voor gegevenstransformatie te maken, plannen en organiseren.
  • Azure Cosmos DB is een volledig beheerde NoSQL-databaseservice voor het ontwikkelen van moderne apps.
  • Azure Synapse Analytics is een service voor bedrijfsanalyse waarmee u sneller inzicht krijgt in datawarehouses en big data-systemen.
  • Azure Digital Twins is een platform as a service-aanbod waarmee dubbelgrafieken kunnen worden gemaakt op basis van digitale modellen van volledige omgevingen, die gebouwen, fabrieken, boerderijen, energienetwerken, spoorwegen, stadions of hele steden kunnen zijn.
  • Azure Virtual Desktop is een desktop- en app-virtualisatieservice die wordt uitgevoerd in de cloud.
  • Azure Databricks is een platform voor gegevensanalyse. De volledig beheerde Spark-clusters verwerken grote gegevensstromen uit meerdere bronnen. Azure Databricks kan georuimtelijke gegevens op grote schaal transformeren voor gebruik in analyse en gegevensvisualisatie.
  • Met Azure Batch kunt u grootschalige parallelle en high-performance computingtaken uitvoeren.
  • Azure Data Lake Storage is een schaalbare en veilige Data Lake voor high-performance analyseworkloads. Deze service kan meerdere petabytes aan informatie beheren terwijl honderden gigabits aan doorvoer worden ondersteund. De gegevens zijn doorgaans afkomstig van meerdere heterogene bronnen en kunnen gestructureerd, semi-gestructureerd of ongestructureerd zijn.
  • Azure SQL Database is een PaaS-versie van SQL Server en is een intelligente, schaalbare, relationele databaseservice.
  • Azure Database for PostgreSQL is een volledig beheerde relationele databaseservice die is gebaseerd op de community-editie van de opensource PostgreSQL-database-engine .
  • PostGIS is een extensie voor de PostgreSQL-database die kan worden geïntegreerd met GIS-servers. PostGIS kan SQL-locatiequery's uitvoeren die betrekking hebben op geografische objecten.
  • Power BI is een verzameling softwareservices en apps. U kunt Power BI gebruiken om niet-gerelateerde gegevensbronnen te verbinden en visuals ervan te maken.
  • De Azure Maps-visual voor Power BI biedt een manier om kaarten te verbeteren met ruimtelijke gegevens. U kunt deze visual gebruiken om te laten zien hoe locatiegegevens van invloed zijn op metrische zakelijke gegevens.
  • App Service en de web-appsfunctie bieden een framework voor het bouwen, implementeren en schalen van web-apps. Het App Service-platform biedt ingebouwd infrastructuuronderhoud, beveiligingspatching en schalen.
  • GIS-gegevens-API's in Azure Maps slaan kaartgegevens op in indelingen zoals GeoJSON en vectortegels.
  • Azure Data Explorer is een snelle, volledig beheerde gegevensanalyseservice die kan werken met grote hoeveelheden gegevens. Deze service was oorspronkelijk gericht op tijdreeksen en Log Analytics. Het verwerkt nu ook diverse gegevensstromen van toepassingen, websites, IoT-apparaten en andere bronnen. Georuimtelijke functionaliteit in Azure Data Explorer biedt opties voor het weergeven van kaartgegevens.
  • Azure NetApp Files is een hoogwaardige nas-service (Network Attached Storage).
  • Quantum GIS is een gratis en opensource desktop GIS dat ondersteuning biedt voor bewerken, analyseren, geovisualiseren van georuimtelijke gegevens.
  • ArcGIS Enterprise is een platform voor het toewijzen en geovisualiseren, analyseren en gegevensbeheer, dat als host fungeert voor gegevens, toepassingen en aangepaste toepassingen met weinig code/geen code. Het werkt samen met het bureaublad GIS genaamd ArcGIS Pro of ArcGIS Desktop (hier niet opgenomen omdat het is vervangen door ArcGIS Pro).
  • ArcGIS Pro is de professionele desktop GIS-toepassing van Esri. Hiermee kunnen power-gebruikers gegevens verkennen, geovisualiseren en analyseren. Het bevat 2D- en 3D-mogelijkheden en wordt het beste uitgevoerd op Azure High Performance Compute-VM's zoals de NV-serie. Het gebruik van ArcGIS kan worden geschaald met behulp van Azure Virtual Desktop.
  • ArcGIS Image for ArcGIS Online is een uitbreiding op ArcGIS Online (SaaS) waarmee geovisualisatie, hosting, publicatie en analyse mogelijk is.
  • Met STAC API-specificatie kunt u rastergegevens opvragen en ophalen via een catalogus.

Hoewel deze niet wordt weergegeven in de bovenstaande diagrammen, maken Azure Monitor, Log Analytics en Key Vault ook deel uit van een bredere oplossing.

  • Azure Monitor verzamelt gegevens over omgevingen en Azure-resources. Deze diagnostische informatie is handig voor het onderhouden van beschikbaarheid en prestaties. Twee gegevensplatformen vormen Monitor:
  • Azure Log Analytics is een Azure Portal-hulpprogramma waarmee query's worden uitgevoerd op logboekgegevens van Monitor. Log Analytics biedt ook functies voor grafieken en het statistisch analyseren van queryresultaten.
  • Key Vault slaat de toegang tot geheimen, zoals tokens, wachtwoorden en API-sleutels, op en beheert deze. Key Vault maakt en beheert ook versleutelingssleutels en beheert beveiligingscertificaten.

Alternatieven

Er zijn verschillende Spark-bibliotheken beschikbaar voor het werken met georuimtelijke gegevens in Azure Databricks en Synapse Spark-pools. Zie deze bibliotheken:

Maar er bestaan ook andere oplossingen voor het verwerken en schalen van georuimtelijke workloads met Azure Databricks.

  • Andere Python-bibliotheken om rekening mee te houden zijn PySAL, Rasterio, WhiteboxTools, Turf.js, Pointpats, Raster Vision, EarthPy, Planetaire Computer, PDAL, enzovoort.

  • Vectortegels bieden een efficiënte manier om GIS-gegevens weer te geven op kaarten. Een oplossing kan PostGIS gebruiken om dynamisch queryvectortegels uit te voeren. Deze benadering werkt goed voor eenvoudige query's en resultatensets die goed minder dan 1 miljoen records bevatten. Maar in de volgende gevallen is een andere benadering mogelijk beter:

    • Uw query's zijn rekenkracht duur.
    • Uw gegevens worden niet regelmatig gewijzigd.
    • U geeft grote gegevenssets weer.

In deze situaties kunt u Tippeopgegevene gebruiken om vectortegels te genereren. U kunt Tippe navigatee uitvoeren als onderdeel van uw gegevensverwerkingsstroom, als een container of met Azure Functions. U kunt de resulterende tegels beschikbaar maken via API's.

  • Net als Event Hubs kan Azure IoT Hub grote hoeveelheden gegevens opnemen. Maar IoT Hub biedt ook bidirectionele communicatiemogelijkheden met apparaten. Als u gegevens rechtstreeks van apparaten ontvangt, maar ook opdrachten en beleidsregels naar apparaten verzendt, kunt u IoT Hub overwegen in plaats van Event Hubs.

Volgende stappen