Redigera

Dela via

Geospatial analys för telekommunikationsindustrin

Azure Data Factory
Azure Data Lake
Azure Databricks
Azure Machine Learning
Azure Maps

Fokus i den här artikeln är att visa upp en praktisk arkitektur som använder Azure Cloud Services för att bearbeta stora mängder geospatiala data. Den ger en väg framåt när lokala lösningar inte skalas. Det möjliggör också fortsatt användning av de aktuella geospatiala analysverktygen.

Apache®, Apache Spark®, GeoSpark® och Sedona® är antingen registrerade varumärken eller varumärken som tillhör Apache Software Foundation i USA och/eller andra länder. Inget godkännande från Apache Software Foundation underförstås av användningen av dessa märken.

GeoPandas®, QGIS® och ArcGIS® är varumärken som tillhör respektive företag. Ingen bekräftelse understås av användningen av dessa märken.

Arkitektur

Diagram över en arkitektur som använder Azure Cloud Services för att bearbeta stora mängder geospatiala data.

Ladda ned en Visio-fil med den här arkitekturen.

Arbetsflöde

  1. Azure Data Factory matar in geospatiala data i Azure Data Lake Storage. Källan till dessa data är geospatiala databaser som Teradata, Oracle Spatial och PostgreSQL.
  2. Azure Key Vault skyddar lösenord, autentiseringsuppgifter, niska veze och andra hemligheter.
  3. Data placeras i olika mappar och filsystem i Data Lake Storage beroende på hur de har bearbetats. Diagrammet visar en arkitektur för flera hopp . Bronscontainern innehåller rådata, silvercontainern innehåller halvhärdade data och guldcontainern innehåller fullständigt kurerade data.
  4. Data lagras i format som GeoJson, WKT och Vector-paneler. Azure Databricks och GeoSpark/ Sedona-paketet kan konvertera format och effektivt läsa in, bearbeta och analysera storskaliga rumsliga data mellan datorer.
  5. Azure Databricks och Apache Sedona utför olika typer av bearbetning i stor skala:
    1. Kopplingar, korsningar och tessellationer
    2. Rumslig sampling och statistik
    3. Spatial indexering och partitionering
  6. GeoPandas exporterar data i olika format för användning av GIS-program från tredje part, till exempel QGIS och ARCGIS.
  7. Azure Mašinsko učenje extraherar insikter från geospatiala data, till exempel var och när nya trådlösa åtkomstpunkter ska distribueras.
  8. Visuella Power BI- och Azure Maps Power BI-objekt (förhandsversion) renderar en kartarbetsyta för att visualisera geospatiala data. Power BI använder en intern Azure Databricks-anslutningsapp för att ansluta till ett Azure Databricks-kluster.
  9. Log Analytics, ett verktyg i Azure-portalen, kör frågor mot data i Azure Monitor-loggar för att implementera ett robust och detaljerad loggningssystem för att analysera händelser och prestanda.

Komponenter

  • Azure Data Lake Storage är en skalbar och säker datasjö för analysarbetsbelastningar med höga prestanda. Du kan använda Data Lake Storage för att hantera petabyte med data med högt dataflöde. Den kan hantera flera heterogena källor och data som finns i strukturerade, halvstrukturerade eller ostrukturerade format.
  • Azure Databricks är en dataanalysplattform som använder Spark-kluster. Klustren är optimerade för Azure Cloud Services-plattformen.
  • Azure Data Factory är en fullständigt hanterad, skalbar och serverlös dataintegreringstjänst. Det ger ett dataintegrerings- och transformeringslager som fungerar med olika datalager.
  • Microsoft Power BI är en samling programvarutjänster, appar och anslutningsappar som fungerar tillsammans för att omvandla flera datakällor till sammanhängande, visuellt uppslukande och interaktiva insikter.
  • Azure Maps är en samling geospatiala tjänster och SDK:er som använder nya mappningsdata för att tillhandahålla geografisk kontext till webb- och mobilprogram.
  • Azure Mašinsko učenje är en fullständigt hanterad molntjänst som används för att träna, distribuera och hantera maskininlärningsmodeller i stor skala.
  • Azure Key Vault är en tjänst som kan användas för att lagra, hantera och kontrollera åtkomsten till token, autentiseringsuppgifter, certifikat, API-nycklar och andra hemligheter på ett säkert sätt.
  • Azure Monitor är en omfattande lösning för att samla in, analysera och agera på telemetri från dina molnmiljöer och lokala miljöer. Du kan använda den för att maximera tillgängligheten och prestandan för dina program och tjänster.

Alternativ

  • Du kan använda Synapse Spark-pooler för geospatial analys i stället för Azure Databricks med samma ramverk med öppen källkod.
  • I stället för att använda Data Factory för att mata in data kan du använda Azure Event Hubs. Den kan ta emot enorma mängder data direkt eller från andra händelseströmningstjänster, till exempel Kafka. Sedan kan du använda Azure Databricks för att bearbeta data. Mer information finns i Stream Processing med Azure Databricks.
  • I stället för Azure Databricks kan du använda Azure SQL Database eller Azure SQL Managed Instance för att fråga och bearbeta geospatiala data. Dessa databaser tillhandahåller det välbekanta T-SQL-språket, som du kan använda för geospatial analys. Mer information finns i Spatial Data (SQL Server).
  • Precis som Event Hubs kan Azure IoT Hub mata in stora mängder data från sensor- och telekom-IoT-enheter. Du kan använda den dubbelriktade IoT Hub-funktionen för att kommunicera säkert med enheter och potentiellt hantera och styra dem från en centraliserad plattform i molnet.
  • Du kan använda Azure Maps för att tillhandahålla geografisk kontext till dina webb- och mobilprogram. Förutom platsinformation kan Azure Maps söka i tjänster för att hitta adresser, platser och intressanta platser för att få information om realtidstrafik. Azure Maps Power BI Visual har samma funktioner i både Power BI Desktop och usluga Power BI.

Information om scenario

Platsinformation och geospatial analys kan upptäcka viktiga regionala trender och beteenden som påverkar telekommunikationsföretag. Företagen kan använda sådan kunskap för att förbättra sin radiosignal och trådlösa täckning och därmed få konkurrensfördelar.

Telekommunikationsföretag har stora mängder geografiskt spridda tillgångsdata, varav de flesta är användartelemetri. Data kommer från radionätverk, IoT-avkänningsenheter och fjärranalysenheter som samlar in geospatiala data. Det är i olika strukturerade och halvstrukturerade format som bildspråk, GPS, satellit och textur. För att kunna använda den måste du aggregera den och ansluta den till andra källor, till exempel regionala kartor och trafikdata.

När data har sammanställts och anslutits är utmaningen att extrahera insikter från dem. Tidigare förlitade sig telekommunikationsföretag på äldre system, till exempel lokala databaser med geospatiala funktioner. Så småningom når sådana system skalbarhetsgränser på grund av den ständigt ökande mängden data. Dessutom kräver de programvara från tredje part för att utföra uppgifter som geospatiala databassystem inte kan utföra.

Potentiella användningsfall

Den här lösningen är idealisk för telekommunikationsindustrin och gäller för följande scenarier:

  • Analysera signalinformation mellan platser för att utvärdera nätverkskvaliteten
  • Analysera nätverksinfrastrukturdata i realtid för att vägleda underhåll och reparation
  • Analysera marknadssegmentering och efterfrågan på marknaden
  • Identifiera relationer mellan kundplatser och företagets marknadsföringskampanjer
  • Skapa kapacitets- och täckningsplaner för att säkerställa anslutning och tjänstkvalitet

Att tänka på

Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, som är en uppsättning vägledande grundsatser som kan användas för att förbättra kvaliteten på en arbetsbelastning. Mer information finns i Microsoft Azure Well-Architected Framework.

Överväg att följa Microsoft Azure Well-Architected Framework när du implementerar den här lösningen. Ramverket ger teknisk vägledning i fem pelare: kostnadsoptimering, säkerhet, tillförlitlighet, prestandaeffektivitet och driftseffektivitet.

Prestanda

  • Följ Apache Sedonas programmeringsguider om metodtips för designmönster och prestandajustering.
  • Geospatial indexering är avgörande för bearbetning av storskaliga geospatiala data. Apache Sedona och andra ramverk för indexering med öppen källkod, till exempel H3 , tillhandahåller den här funktionen.
  • GeoPandas-ramverket har inte distribuerade funktioner i GeoSpark/Apache Sedona. Använd därför Sedona-ramverket så mycket som möjligt för geospatial bearbetning.
  • Överväg att använda Sedonas inbyggda funktioner för att validera geometriformatering före bearbetning.

Säkerhet

Säkerhet ger garantier mot avsiktliga attacker och missbruk av dina värdefulla data och system. Mer information finns i Översikt över säkerhetspelare.

För bättre säkerhet bör du överväga att följa den här vägledningen:

Kostnadsoptimering

Kostnadsoptimering handlar om att titta på sätt att minska onödiga utgifter och förbättra drifteffektiviteten. Mer information finns i Översikt över kostnadsoptimeringspelare.

  • Om du vill beräkna kostnaden för att implementera den här lösningen använder du Priskalkylatorn för Azure för de tjänster som nämns ovan.
  • Power BI levereras med olika licensieringserbjudanden. Mer information finns i Power BI prissättning.
  • Dina kostnader ökar om du måste skala dina Azure Databricks-klusterkonfigurationer. Detta beror på mängden data och analysens komplexitet. Metodtips för klusterkonfiguration finns i Metodtips för Azure Databricks : Klusterkonfiguration.
  • Se Översikt över kostnadsoptimeringspelare för olika sätt att minimera kostnaderna.
  • Information om tredjepartskomponenter som QGIS och ARCGIS finns på leverantörens webbplatser för prisinformation.
  • Ramverken som nämns i den här lösningen, till exempel Apache Sedona och GeoPandas, är kostnadsfria ramverk med öppen källkod.

Deltagare

Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.

Huvudförfattare:

Nästa steg