Bewerken

Georuimtelijke analyse voor de telecommunicatie-industrie

Azure Data Factory
Azure Data Lake
Azure Databricks
Azure Machine Learning
Azure Maps

De focus van dit artikel is het presenteren van een praktische architectuur die gebruikmaakt van Azure Cloud Services voor het verwerken van grote hoeveelheden georuimtelijke gegevens. Het biedt een pad naar voren wanneer on-premises oplossingen niet worden geschaald. Het maakt het ook mogelijk om de huidige hulpprogramma's voor georuimtelijke analyse te blijven gebruiken.

Apache®, Apache Spark®, GeoSpark® en Broken® zijn gedeponeerde handelsmerken of handelsmerken van de Apache Software Foundation in de Verenigde Staten en/of andere landen. Het gebruik van deze markeringen impliceert geen goedkeuring door De Apache Software Foundation.

GeoPandas®, QGIS® en ArcGIS® zijn handelsmerken van hun respectieve bedrijven. Er wordt geen goedkeuring geïmpliceerd door het gebruik van deze merken.

Architectuur

Diagram voor een architectuur die gebruikmaakt van Azure Cloud Services voor het verwerken van grote hoeveelheden georuimtelijke gegevens.

Een Visio-bestand van deze architectuur downloaden.

Werkstroom

  1. Azure Data Factory neemt georuimtelijke gegevens op in Azure Data Lake Storage. De bron van deze gegevens is georuimtelijke databases zoals Teradata, Oracle Spatial en PostgreSQL.
  2. Azure Key Vault beveiligt wachtwoorden, referenties, verbindingsreeksen en andere geheimen.
  3. Gegevens worden in verschillende mappen en bestandssystemen in Data Lake Storage geplaatst op basis van hoe ze zijn verwerkt. In het diagram ziet u een architectuur met meerdere hops . De bronzen container bevat onbewerkte gegevens, de zilveren container bevat semi-gecureerde gegevens en de gouden container bevat volledig gecureerde gegevens.
  4. Gegevens worden opgeslagen in indelingen zoals GeoJson, WKT en Vector-tegels. Azure Databricks en het Pakket GeoSpark/ Broken kunnen indelingen converteren en grootschalige ruimtelijke gegevens op verschillende machines efficiënt laden, verwerken en analyseren.
  5. Azure Databricks en Apache Broken voeren verschillende soorten verwerkingen op schaal uit:
    1. Samenvoegingen, snijpunten en vlakingen
    2. Ruimtelijke steekproeven en statistieken
    3. Ruimtelijke indexering en partitionering
  6. GeoPandas exporteert gegevens in verschillende indelingen voor gebruik door GIS-toepassingen van derden, zoals QGIS en ARCGIS.
  7. Azure Machine Learning extraheert inzichten uit georuimtelijke gegevens, waarbij bijvoorbeeld wordt bepaald waar en wanneer nieuwe draadloze toegangspunten moeten worden geïmplementeerd.
  8. Power BI en Azure Maps Power BI-visual (preview) geven een kaartcanvas weer om georuimtelijke gegevens te visualiseren. Power BI maakt gebruik van een systeemeigen Azure Databricks-connector om verbinding te maken met een Azure Databricks-cluster.
  9. Log Analytics, een hulpprogramma in de Azure Portal, voert query's uit op gegevens in Azure Monitor-logboeken om een robuust en gedetailleerd logboekregistratiesysteem te implementeren voor het analyseren van gebeurtenissen en prestaties.

Onderdelen

  • Azure Data Lake Storage is een schaalbare en veilige data lake voor high-performance analyseworkloads. U kunt Data Lake Storage gebruiken om petabytes aan gegevens met een hoge doorvoer te beheren. Het is geschikt voor meerdere, heterogene bronnen en gegevens in gestructureerde, semi-gestructureerde of ongestructureerde indelingen.
  • Azure Databricks is een gegevensanalyseplatform dat gebruikmaakt van Spark-clusters. De clusters zijn geoptimaliseerd voor het Azure Cloud Services-platform.
  • Azure Data Factory is een volledig beheerde, schaalbare en serverloze gegevensintegratieservice. Het biedt een gegevensintegratie- en transformatielaag die werkt met verschillende gegevensarchieven.
  • Microsoft Power BI is een verzameling softwareservices, apps en connectors die samenwerken om meerdere gegevensbronnen om te zetten in coherente, visueel aantrekkelijke en interactieve inzichten.
  • Azure Maps is een verzameling georuimtelijke services en SDK's die gebruikmaken van nieuwe toewijzingsgegevens om geografische context te bieden aan web- en mobiele toepassingen.
  • Azure Machine Learning is een volledig beheerde cloudservice die wordt gebruikt voor het trainen, implementeren en beheren van machine learning-modellen op schaal.
  • Azure Key Vault is een service die kan worden gebruikt voor het veilig opslaan, beheren en strikt beheren van toegang tot tokens, referenties, certificaten, API-sleutels en andere geheimen.
  • Azure Monitor is een uitgebreide oplossing voor het verzamelen, analyseren en gebruiken van telemetriegegevens vanuit uw cloud- en on-premises omgevingen. U kunt het gebruiken om de beschikbaarheid en prestaties van uw toepassingen en services te maximaliseren.

Alternatieven

  • U kunt Synapse Spark-pools gebruiken voor georuimtelijke analyse in plaats van Azure Databricks, met behulp van dezelfde opensource-frameworks.
  • In plaats van Data Factory te gebruiken om gegevens op te nemen, kunt u Azure Event Hubs gebruiken. Het kan enorme hoeveelheden gegevens rechtstreeks ontvangen of van andere services voor gebeurtenisstreaming, zoals Kafka. Vervolgens kunt u Azure Databricks gebruiken om de gegevens te verwerken. Zie Stream Processing with Azure Databricks (StreamVerwerking met Azure Databricks) voor meer informatie.
  • In plaats van Azure Databricks kunt u Azure SQL Database of Azure SQL Managed Instance gebruiken om georuimtelijke gegevens op te vragen en te verwerken. Deze databases bieden de vertrouwde T-SQL-taal, die u kunt gebruiken voor georuimtelijke analyse. Zie Ruimtelijke gegevens (SQL Server) voor meer informatie.
  • Net als Event Hubs kunnen Azure IoT Hub grote hoeveelheden gegevens opnemen van sensor- en telecom IoT-apparaten. U kunt de IoT Hub bidirectionele mogelijkheid gebruiken om veilig te communiceren met apparaten en deze mogelijk te beheren en te beheren vanaf een gecentraliseerd platform in de cloud.
  • U kunt Azure Maps gebruiken om geografische context te bieden aan uw web- en mobiele toepassingen. Naast locatie-informatie kunnen Azure Maps services doorzoeken om adressen, plaatsen en nuttige plaatsen te vinden om realtime verkeersinformatie op te halen. Azure Maps Power BI-visual biedt dezelfde mogelijkheden in zowel Power BI Desktop als de Power BI-service.

Scenariodetails

Locatie-intelligentie en georuimtelijke analyses kunnen belangrijke regionale trends en gedragingen aan het licht brengen die van invloed zijn op telecommunicatiebedrijven. De bedrijven kunnen deze kennis gebruiken om hun radiosignaal en draadloze dekking te verbeteren en zo concurrentievoordeel te behalen.

Telecommunicatiebedrijven hebben grote hoeveelheden geografisch verspreide activagegevens, waarvan het grootste deel gebruikerstelemetrie is. De gegevens zijn afkomstig van radionetwerken, IoT-detectieapparaten en apparaten voor externe detectie die georuimtelijke gegevens vastleggen. Het is in verschillende gestructureerde en semi-gestructureerde indelingen zoals beelden, GPS, satelliet en tekst. Als u het wilt gebruiken, moet u deze samenvoegen en koppelen aan andere bronnen, zoals regionale kaarten en verkeersgegevens.

Nadat de gegevens zijn samengevoegd en samengevoegd, is het de uitdaging om er inzichten uit te halen. In het verleden maakten telecommunicatiebedrijven gebruik van verouderde systemen, zoals on-premises databases met georuimtelijke mogelijkheden. Uiteindelijk bereiken dergelijke systemen schaalbaarheidslimieten vanwege de steeds toenemende hoeveelheid gegevens. Ze vereisen ook software van derden om taken uit te voeren die de georuimtelijke databasesystemen niet kunnen uitvoeren.

Potentiële gebruikscases

Deze oplossing is ideaal voor de telecommunicatie-industrie en is van toepassing op de volgende scenario's:

  • Signaalinformatie op verschillende locaties analyseren om de netwerkkwaliteit te beoordelen
  • Analyseren van realtime netwerkinfrastructuurgegevens om onderhoud en reparatie te begeleiden
  • Marktsegmentatie en marktvraag analyseren
  • Relaties tussen klantlocaties en marketingcampagnes van het bedrijf identificeren
  • Capaciteits- en dekkingsplannen maken om connectiviteit en kwaliteit van de service te garanderen

Overwegingen

Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.

Overweeg het Microsoft Azure Well-Architected Framework te volgen wanneer u deze oplossing implementeert. Het framework biedt technische richtlijnen voor vijf pijlers: kostenoptimalisatie, beveiliging, betrouwbaarheid, prestatie-efficiëntie en operationele uitmuntendheid.

Prestaties

  • Volg de programmeerhandleidingen van Apache Broken over ontwerppatronen en aanbevolen procedures voor het afstemmen van prestaties.
  • Georuimtelijke indexering is cruciaal voor het verwerken van grootschalige georuimtelijke gegevens. Apache Broken en andere opensource-indexeringsframeworks, zoals H3 , bieden deze mogelijkheid.
  • Het GeoPandas-framework beschikt niet over de gedistribueerde functies van GeoSpark/Apache Broken. Gebruik daarom zo veel mogelijk het Sedona-framework voor georuimtelijke verwerking.
  • Overweeg het gebruik van de ingebouwde functies van Sedona om geometrieopmaak te valideren vóór verwerking.

Beveiliging

Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie Overzicht van de beveiligingspijler voor meer informatie.

Voor een betere beveiliging kunt u overwegen deze richtlijnen te volgen:

Kostenoptimalisatie

Kostenoptimalisatie gaat over het zoeken naar manieren om onnodige uitgaven te verminderen en de operationele efficiëntie te verbeteren. Zie Overzicht van de pijler kostenoptimalisatie voor meer informatie.

  • Als u de kosten voor het implementeren van deze oplossing wilt schatten, gebruikt u de Azure-prijscalculator voor de hierboven genoemde services.
  • Power BI wordt geleverd met verschillende licentieaanbiedingen. Zie Prijzen voor Power BI voor meer informatie.
  • Uw kosten nemen toe als u uw Azure Databricks-clusterconfiguraties moet schalen. Dit is afhankelijk van de hoeveelheid gegevens en de complexiteit van de analyse. Zie Best practices voor Azure Databricks : Clusterconfiguratie voor best practices voor clusterconfiguratie.
  • Zie Overzicht van de pijler voor kostenoptimalisatie voor manieren om de kosten te minimaliseren.
  • Voor de onderdelen van derden, zoals QGIS en ARCGIS, raadpleegt u de websites van de leverancier voor prijsinformatie.
  • De frameworks die in deze oplossing worden genoemd, zoals Apache Sedona en GeoPandas, zijn gratis opensource-frameworks.

Medewerkers

Dit artikel wordt onderhouden door Microsoft. Het is oorspronkelijk geschreven door de volgende inzenders.

Hoofdauteur:

Volgende stappen