Modifica

Condividi tramite

Analisi geospaziale per il settore delle telecomunicazioni

Azure Data Factory
Azure Data Lake
Azure Databricks
Azure Machine Learning
Mappe di Azure

L'obiettivo di questo articolo è illustrare un'architettura pratica che usa Azure Servizi cloud per elaborare grandi volumi di dati geospaziali. Fornisce un percorso in avanti quando le soluzioni locali non vengono ridimensionate. Consente inoltre di continuare a usare gli strumenti di analisi geospaziali correnti.

Apache®, Apache Spark®, GeoSpark® e Sedona® sono marchi o marchi registrati di Apache Software Foundation nei Stati Uniti e/o in altri paesi. L'uso di questi marchi non implica alcuna approvazione da parte di Apache Software Foundation.

GeoPandas®, QGIS® e ArcGIS® sono marchi delle rispettive società. Nessuna verifica dell'autenticità è implicita nell'uso di questi marchi.

Architettura

Diagramma per un'architettura che usa Azure Servizi cloud per elaborare grandi volumi di dati geospaziali.

Scaricare un file di Visio di questa architettura.

Flusso di lavoro

  1. Azure Data Factory inserisce i dati geospaziali in Azure Data Lake Storage. L'origine di questi dati è costituita da database geospaziali, ad esempio Teradata, Oracle Spatial e PostgreSQL.
  2. Azure Key Vault protegge password, credenziali, stringhe di connessione e altri segreti.
  3. I dati vengono inseriti in varie cartelle e file system in Data Lake Storage in base a come sono stati elaborati. Il diagramma mostra un'architettura multi hop . Il contenitore bronze contiene dati non elaborati, il contenitore silver contiene dati semi-curati e il contenitore gold contiene dati completamente curati.
  4. I dati vengono archiviati in formati come i riquadriGeoJson, WKT e Vector. Azure Databricks e il pacchetto GeoSpark/ Sedona possono convertire i formati e caricare, elaborare ed analizzare in modo efficiente i dati spaziali su larga scala tra i computer.
  5. Azure Databricks e Apache Sedona eseguono vari tipi di elaborazione su larga scala:
    1. Join, intersezioni e tassellature
    2. Campionamento spaziale e statistiche
    3. Indicizzazione spaziale e partizionamento
  6. GeoPandas esporta i dati in diversi formati per l'uso da parte di applicazioni GIS di terze parti, ad esempio QGIS e ARCGIS.
  7. Azure Machine Learning estrae informazioni dettagliate dai dati geospaziali, determinando, ad esempio, dove e quando distribuire nuovi punti di accesso wireless.
  8. Power BI e Mappe di Azure oggetto visivo di Power BI (anteprima) eseguono il rendering di un'area di disegno mappa per visualizzare i dati geospaziali. Power BI usa un connettore nativo di Azure Databricks per connettersi a un cluster Di Azure Databricks.
  9. Log Analytics, uno strumento nella portale di Azure, esegue query sui dati nei log di Monitoraggio di Azure per implementare un sistema di registrazione affidabile e con granularità fine per analizzare eventi e prestazioni.

Componenti

  • Azure Data Lake Storage è un data lake scalabile e sicuro per carichi di lavoro di analisi ad alte prestazioni. È possibile usare Data Lake Storage per gestire petabyte di dati con velocità effettiva elevata. Può supportare più origini eterogenee e dati in formati strutturati, semistrutturati o non strutturati.
  • Azure Databricks è una piattaforma di analisi dei dati che usa cluster Spark. I cluster sono ottimizzati per la piattaforma azure Servizi cloud.
  • Azure Data Factory è un servizio di integrazione dei dati completamente gestito, scalabile e serverless. Fornisce un livello di integrazione e trasformazione dei dati che funziona con vari archivi dati.
  • Microsoft Power BI è una raccolta di servizi software, app e connettori che interagiscono per trasformare più origini di dati in informazioni dettagliate coerenti, visivamente immersive e interattive.
  • Mappe di Azure è una raccolta di servizi geospaziali e SDK che usano dati di mapping aggiornati per fornire contesto geografico alle applicazioni Web e per dispositivi mobili.
  • Azure Machine Learning è un servizio cloud completamente gestito che viene usato per eseguire il training, la distribuzione e la gestione di modelli di Machine Learning su larga scala.
  • Azure Key Vault è un servizio che può essere usato per archiviare, gestire e controllare in modo sicuro l'accesso a token, credenziali, certificati, chiavi API e altri segreti.
  • Monitoraggio di Azure è una soluzione completa per la raccolta, l'analisi e l'esecuzione dei dati di telemetria dagli ambienti cloud e locali. È possibile usarlo per ottimizzare la disponibilità e le prestazioni delle applicazioni e dei servizi.

Alternativi

  • È possibile usare pool di Spark Synapse per l'analisi geospaziale anziché Azure Databricks, usando gli stessi framework open source.
  • Anziché usare Data Factory per inserire i dati, è possibile usare Hub eventi di Azure. Può ricevere enormi quantità di dati direttamente o da altri servizi di streaming di eventi, ad esempio Kafka. È quindi possibile usare Azure Databricks per elaborare i dati. Per altre informazioni, vedere Elaborazione di flussi con Azure Databricks.
  • Invece di Azure Databricks, è possibile usare Azure SQL Database o Istanza gestita di SQL di Azure per eseguire query ed elaborare dati geospaziali. Questi database forniscono il linguaggio T-SQL familiare, che è possibile usare per l'analisi geospaziale. Per altre informazioni, vedere Dati spaziali (SQL Server).For more information, see Spatial Data (SQL Server).
  • Analogamente a Hub eventi, hub IoT di Azure può inserire grandi quantità di dati dai dispositivi IoT di sensori e telecomunicazioni. È possibile usare la funzionalità bidirezionale hub IoT per comunicare in modo sicuro con i dispositivi e potenzialmente gestirli e controllarli da una piattaforma centralizzata nel cloud.
  • È possibile usare Mappe di Azure per fornire il contesto geografico alle applicazioni Web e per dispositivi mobili. Oltre all'intelligence sulla posizione, Mappe di Azure possibile cercare indirizzi, luoghi e punti di interesse per ottenere informazioni sul traffico in tempo reale. Mappe di Azure Oggetto visivo di Power BI offre le stesse funzionalità sia in Power BI Desktop che nella servizio Power BI.

Dettagli dello scenario

L'intelligence sulla posizione e l'analisi geospaziale possono individuare importanti tendenze e comportamenti regionali che interessano le aziende di telecomunicazioni. Le aziende possono utilizzare tali conoscenze per migliorare il loro segnale radio e copertura wireless, e quindi guadagnare vantaggio competitivo.

Le aziende di telecomunicazioni hanno grandi volumi di dati di asset distribuiti geograficamente, la maggior parte dei quali è la telemetria degli utenti. I dati provengono da reti radio, dispositivi di rilevamento IoT e dispositivi di rilevamento remoto che acquisiscno dati geospaziali. Si trova in vari formati strutturati e semistrutturati come immagini, GPS, satellite e textural. Per usarlo è necessario aggregarlo e unirlo ad altre origini, ad esempio mappe regionali e dati sul traffico.

Dopo aver aggregato e unito i dati, la sfida consiste nell'estrarre informazioni dettagliate. Storicamente, le società di telecomunicazioni si affidavano a sistemi legacy come i database locali con funzionalità geospaziali. Alla fine questi sistemi raggiungono i limiti di scalabilità a causa della quantità sempre crescente di dati. Inoltre, richiedono software di terze parti per eseguire attività non consentite dai sistemi di database geospaziali.

Potenziali casi d'uso

Questa soluzione è ideale per il settore delle telecomunicazioni e si applica agli scenari seguenti:

  • Analisi delle informazioni sui segnali tra posizioni per valutare la qualità della rete
  • Analisi dei dati dell'infrastruttura di rete in tempo reale per guidare la manutenzione e il ripristino
  • Analisi della segmentazione del mercato e della domanda di mercato
  • Identificazione delle relazioni tra le sedi dei clienti e le campagne di marketing aziendali
  • Creazione di piani di capacità e copertura per garantire la connettività e la qualità del servizio

Considerazioni

Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di principi guida che possono essere usati per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Microsoft Azure Well-Architected Framework.

Quando si implementa questa soluzione, è consigliabile seguire Microsoft Azure Well-Architected Framework . Il framework fornisce indicazioni tecniche su cinque pilastri: ottimizzazione dei costi, sicurezza, affidabilità, efficienza delle prestazioni ed eccellenza operativa.

Prestazioni

  • Seguire le guide di programmazione di Apache Sedona sui modelli di progettazione e sulle procedure consigliate per l'ottimizzazione delle prestazioni.
  • L'indicizzazione geospaziale è fondamentale per l'elaborazione di dati geospaziali su larga scala. Apache Sedona e altri framework di indicizzazione open source, ad esempio H3 , offrono questa funzionalità.
  • Il framework GeoPandas non dispone delle funzionalità distribuite di GeoSpark/Apache Sedona. Pertanto, il più possibile, usare il framework Sedona per l'elaborazione geospaziale.
  • È consigliabile usare le funzioni predefinite di Sedona per convalidare la formattazione della geometria prima dell'elaborazione.

Sicurezza

La sicurezza offre garanzie contro attacchi intenzionali e l'abuso dei dati e dei sistemi preziosi. Per altre informazioni, vedere Panoramica del pilastro della sicurezza.

Per una maggiore sicurezza, considerare le indicazioni seguenti:

Ottimizzazione dei costi

L'ottimizzazione dei costi riguarda l'analisi dei modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Panoramica del pilastro di ottimizzazione dei costi.

  • Per stimare il costo dell'implementazione di questa soluzione, usare il calcolatore dei prezzi di Azure per i servizi indicati in precedenza.
  • Power BI include varie offerte di licenza. Per altre informazioni, vedere Prezzi di Power BI.
  • I costi aumentano se è necessario ridimensionare le configurazioni del cluster di Azure Databricks. Ciò dipende dalla quantità di dati e dalla complessità dell'analisi. Per le procedure consigliate sulla configurazione del cluster, vedere Procedure consigliate di Azure Databricks : Configurazione del cluster.
  • Per ridurre al minimo i costi, vedere Panoramica del pilastro dell'ottimizzazione dei costi .
  • Per i componenti di terze parti, ad esempio QGIS e ARCGIS, vedere i siti Web dei fornitori per informazioni sui prezzi.
  • I framework menzionati in questa soluzione, ad esempio Apache Sedona e GeoPandas, sono framework open source gratuiti.

Autori di contributi

Questo articolo viene gestito da Microsoft. È stato originariamente scritto dai collaboratori seguenti.

Autore principale:

Passaggi successivi