Bewerken

Delen via

Georuimtelijke analyse voor de telecommunicatie-industrie

Azure Data Factory
Azure Data Lake
Azure Databricks
Azure Machine Learning
Azure Maps

Het doel van dit artikel is om een praktische architectuur te laten zien die gebruikmaakt van Azure Cloud Services om grote hoeveelheden georuimtelijke gegevens te verwerken. Het biedt een pad vooruit wanneer on-premises oplossingen niet worden geschaald. Hiermee kunt u ook de huidige hulpprogramma's voor georuimtelijke analyse blijven gebruiken.

Apache, Apache® Spark®, GeoSpark® en Binnenkomen® zijn gedeponeerde handelsmerken of handelsmerken van de Apache Software Foundation in de Verenigde Staten en/of andere landen. Er wordt geen goedkeuring door De Apache Software Foundation geïmpliceerd door het gebruik van deze markeringen.

GeoPandas®, QGIS® en ArcGIS® zijn handelsmerken van hun respectieve bedrijven. Er wordt geen goedkeuring geïmpliceerd door het gebruik van deze markeringen.

Architectuur

Diagram voor een architectuur die gebruikmaakt van Azure Cloud Services voor het verwerken van grote hoeveelheden georuimtelijke gegevens.

Een Visio-bestand van deze architectuur downloaden.

Workflow

  1. Azure Data Factory neemt georuimtelijke gegevens op in Azure Data Lake Storage. De bron van deze gegevens is georuimtelijke databases zoals Teradata, Oracle Spatial en PostgreSQL.
  2. Azure Key Vault beveiligt wachtwoorden, referenties, verbindingsreeks s en andere geheimen.
  3. Gegevens worden in verschillende mappen en bestandssystemen in Data Lake Storage geplaatst op basis van de wijze waarop deze zijn verwerkt. In het diagram ziet u een architectuur met meerdere hops . De bronzen container bevat onbewerkte gegevens, de zilveren container bevat semi-gecureerde gegevens en de gouden container bevat volledig gecureerde gegevens.
  4. Gegevens worden opgeslagen in indelingen zoals GeoJson-, WKT - en Vector-tegels. Met Azure Databricks en het GeoSpark/ pakket kunnen indelingen worden geconverteerd en grootschalige ruimtelijke gegevens op verschillende machines worden geladen, verwerkt en geanalyseerd.
  5. Azure Databricks en Apache Introduceerden voeren verschillende soorten verwerking op schaal uit:
    1. Joins, snijpunten en tessellations
    2. Ruimtelijke steekproeven en statistieken
    3. Ruimtelijke indexering en partitionering
  6. GeoPandas exporteert gegevens in verschillende indelingen voor gebruik door GIS-toepassingen van derden, zoals QGIS en ARCGIS.
  7. Azure Machine Learning extraheert inzichten uit georuimtelijke gegevens, waarbij bijvoorbeeld wordt bepaald waar en wanneer nieuwe draadloze toegangspunten moeten worden geïmplementeerd.
  8. Power BI- en Azure Maps Power BI-visual (preview) geven een kaartcanvas weer om georuimtelijke gegevens te visualiseren. Power BI maakt gebruik van een systeemeigen Azure Databricks-connector om verbinding te maken met een Azure Databricks-cluster.
  9. Log Analytics, een hulpprogramma in Azure Portal, voert query's uit op gegevens in Azure Monitor-logboeken om een robuust en gedetailleerd logboekregistratiesysteem te implementeren om gebeurtenissen en prestaties te analyseren.

Onderdelen

  • Azure Data Lake Storage is een schaalbare en veilige Data Lake voor high-performance analyseworkloads. U kunt Data Lake Storage gebruiken om petabytes aan gegevens met een hoge doorvoer te beheren. Het kan geschikt zijn voor meerdere, heterogene bronnen en gegevens in gestructureerde, semi-gestructureerde of ongestructureerde indelingen.
  • Azure Databricks is een platform voor gegevensanalyse dat gebruikmaakt van Spark-clusters. De clusters zijn geoptimaliseerd voor het Azure Cloud Services-platform.
  • Azure Data Factory is een volledig beheerde, schaalbare en serverloze service voor gegevensintegratie. Het biedt een gegevensintegratie- en transformatielaag die werkt met verschillende gegevensarchieven.
  • Microsoft Power BI is een verzameling softwareservices, apps en connectors die samenwerken om meerdere gegevensbronnen om te zetten in coherente, visueel meeslepende en interactieve inzichten.
  • Azure Maps is een verzameling georuimtelijke services en SDK's die gebruikmaken van nieuwe toewijzingsgegevens om geografische context te bieden aan web- en mobiele toepassingen.
  • Azure Machine Learning is een volledig beheerde cloudservice die wordt gebruikt voor het trainen, implementeren en beheren van machine learning-modellen op schaal.
  • Azure Key Vault is een service die kan worden gebruikt om de toegang tot tokens, referenties, certificaten, API-sleutels en andere geheimen veilig op te slaan, te beheren en strikt te beheren.
  • Azure Monitor is een uitgebreide oplossing voor het verzamelen, analyseren en uitvoeren van telemetrie vanuit uw cloud- en on-premises omgevingen. U kunt deze gebruiken om de beschikbaarheid en prestaties van uw toepassingen en services te maximaliseren.

Alternatieven

  • U kunt Synapse Spark-pools gebruiken voor georuimtelijke analyses in plaats van Azure Databricks, met behulp van dezelfde opensource-frameworks.
  • In plaats van Data Factory te gebruiken om gegevens op te nemen, kunt u Azure Event Hubs gebruiken. Het kan enorme hoeveelheden gegevens rechtstreeks of van andere streamingservices voor gebeurtenissen, zoals Kafka, ontvangen. Vervolgens kunt u Azure Databricks gebruiken om de gegevens te verwerken. Zie Stream Processing met Azure Databricks voor meer informatie.
  • In plaats van Azure Databricks kunt u Azure SQL Database of Azure SQL Managed Instance gebruiken om georuimtelijke gegevens op te vragen en te verwerken. Deze databases bieden de vertrouwde T-SQL-taal, die u kunt gebruiken voor georuimtelijke analyse. Zie Spatial Data (SQL Server) voor meer informatie.
  • Net als Event Hubs kan Azure IoT Hub grote hoeveelheden gegevens van sensor- en telecom-IoT-apparaten opnemen. U kunt de bidirectionele Mogelijkheid van IoT Hub gebruiken om veilig te communiceren met apparaten en deze mogelijk te beheren en te beheren vanaf een gecentraliseerd platform in de cloud.
  • U kunt Azure Maps gebruiken om uw web- en mobiele toepassingen geografische context te bieden. Naast locatie-intelligentie kan Azure Maps services doorzoeken om adressen, plaatsen en nuttige plaatsen te vinden om realtime verkeersinformatie op te halen. Azure Maps Power BI Visual biedt dezelfde mogelijkheden in Zowel Power BI Desktop als de Power BI-service.

Scenariodetails

Locatie-intelligentie en georuimtelijke analyses kunnen belangrijke regionale trends en gedragingen ontdekken die van invloed zijn op telecommunicatiebedrijven. De bedrijven kunnen dergelijke kennis gebruiken om hun radiosignaal en draadloze dekking te verbeteren en zo concurrentievoordeel te behalen.

Telecommunicatiebedrijven hebben grote hoeveelheden geografisch verspreide activumgegevens, waarvan de meeste gebruikerstelemetriegegevens zijn. De gegevens zijn afkomstig van radionetwerken, IoT-apparaten en apparaten voor externe detectie die georuimtelijke gegevens vastleggen. Het is in verschillende gestructureerde en semi-gestructureerde indelingen zoals beeldmateriaal, GPS, satelliet en tekst. Als u deze gebruikt, moet u het samenvoegen en samenvoegen met andere bronnen, zoals regionale kaarten en verkeersgegevens.

Nadat de gegevens zijn samengevoegd en samengevoegd, is de uitdaging om er inzichten uit te halen. In het verleden maakten telecommunicatiebedrijven gebruik van verouderde systemen, zoals on-premises databases met georuimtelijke mogelijkheden. Uiteindelijk raken dergelijke systemen schaalbaarheidslimieten vanwege de steeds toenemende hoeveelheid gegevens. Ze vereisen ook software van derden om taken uit te voeren die de georuimtelijke databasesystemen niet kunnen uitvoeren.

Potentiële gebruikscases

Deze oplossing is ideaal voor de telecommunicatie-industrie en is van toepassing op de volgende scenario's:

  • Signaalinformatie analyseren op verschillende locaties om de netwerkkwaliteit te beoordelen
  • Analyseren van realtime netwerkinfrastructuurgegevens om onderhoud en reparatie te begeleiden
  • Analyse van marktsegmentatie en marktvraag
  • Relaties tussen klantlocaties en bedrijfsmarketingcampagnes identificeren
  • Capaciteits- en dekkingsplannen maken om connectiviteit en kwaliteit van de service te garanderen

Overwegingen

Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.

Overweeg het Microsoft Azure Well-Architected Framework te volgen wanneer u deze oplossing implementeert. Het framework biedt technische richtlijnen voor vijf pijlers: kostenoptimalisatie, beveiliging, betrouwbaarheid, prestatie-efficiëntie en operationele uitmuntendheid.

Prestaties

  • Volg programmeerhandleidingen voor Apache Opgegeven over ontwerppatronen en best practices voor het afstemmen van prestaties.
  • Georuimtelijke indexering is van cruciaal belang voor het verwerken van grootschalige georuimtelijke gegevens. Apache en andere opensource-indexeringsframeworks, zoals H3 , bieden deze mogelijkheid.
  • Het GeoPandas-framework beschikt niet over de gedistribueerde functies van GeoSpark/Apache Uitgereikt. Gebruik daarom zo veel mogelijk hetframework voor georuimtelijke verwerking.
  • Overweeg het gebruik van de ingebouwde functies van Opgegeven om geometrieopmaak te valideren voordat u deze verwerkt.

Beveiliging

Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie Overzicht van de beveiligingspijler voor meer informatie.

Voor betere beveiliging kunt u overwegen deze richtlijnen te volgen:

Kostenoptimalisatie

Kostenoptimalisatie gaat over manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie Overzicht van de pijler kostenoptimalisatie voor meer informatie.

  • Als u de kosten voor het implementeren van deze oplossing wilt schatten, gebruikt u de Azure-prijscalculator voor de hierboven genoemde services.
  • Power BI wordt geleverd met verschillende licentieaanbiedingen. Zie Power BI-prijslijst voor meer informatie.
  • Uw kosten stijgen als u uw Azure Databricks-clusterconfiguraties moet schalen. Dit hangt af van de hoeveelheid gegevens en de complexiteit van de analyse. Zie de best practices voor clusterconfiguratie in Azure Databricks : Clusterconfiguratie.
  • Zie Overzicht van de pijler kostenoptimalisatie voor manieren om de kosten te minimaliseren.
  • Zie de websites van leveranciers voor prijsinformatie voor de onderdelen van derden, zoals QGIS en ARCGIS.
  • De frameworks die in deze oplossing worden genoemd, zoals Apache Binnenkomen en GeoPandas, zijn gratis opensource-frameworks.

Medewerkers

Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.

Hoofdauteur:

Volgende stappen