Editar

Análise geoespacial para a indústria das telecomunicações

Azure Data Factory
Azure Data Lake
Azure Databricks
Azure Machine Learning
Azure Maps

O foco deste artigo é mostrar uma arquitetura prática que utiliza o Azure Serviços Cloud para processar grandes volumes de dados geoespaciais. Fornece um caminho a seguir quando as soluções no local não são dimensionadas. Também permite a utilização contínua das ferramentas de análise geoespaciais atuais.

Apache®, Apache Spark®, GeoSpark® e Sedona® são marcas registadas ou marcas registadas da Apache Software Foundation no Estados Unidos e/ou noutros países/ A utilização destas marcas não implica o endosso da Apache Software Foundation.

A GeoPandas®, a QGIS® e a ArcGIS® são marcas registadas das respetivas empresas. Nenhum endosso está implícito na utilização destas marcas.

Arquitetura

Diagrama para uma arquitetura que utiliza Serviços Cloud do Azure para processar grandes volumes de dados geoespaciais.

Transfira um ficheiro do Visio desta arquitetura.

Fluxo de trabalho

  1. Azure Data Factory ingere dados geoespaciais em Azure Data Lake Storage. A origem destes dados são bases de dados geoespaciais, como Teradata, Oracle Spatial e PostgreSQL.
  2. O Azure Key Vault protege palavras-passe, credenciais, cadeias de ligação e outros segredos.
  3. Os dados são colocados em várias pastas e sistemas de ficheiros no Data Lake Storage de acordo com a forma como foram processados. O diagrama mostra uma arquitetura de vários saltos . O contentor bronze contém dados não processados, o contentor prateado contém dados semi-organizados e o contentor dourado contém dados totalmente organizados.
  4. Os dados são armazenados em formatos como os mosaicosGeoJson, WKT e Vector. O Azure Databricks e o pacote GeoSpark/ Sedona podem converter formatos e carregar, processar e analisar dados espaciais em grande escala em máquinas.
  5. O Azure Databricks e o Apache Sedona fazem vários tipos de processamento em escala:
    1. Associações, intersecções e vendas
    2. Amostragem espacial e estatísticas
    3. Indexação espacial e criação de partições
  6. O GeoPandas exporta dados em vários formatos para utilização por aplicações GIS de terceiros, como QGIS e ARCGIS.
  7. O Azure Machine Learning extrai informações de dados geoespaciais, determinando, por exemplo, onde e quando implementar novos pontos de acesso sem fios.
  8. O Power BI e Azure Maps elemento visual do Power BI (Pré-visualização) compõem uma tela de mapa para visualizar dados geoespaciais. O Power BI utiliza um conector nativo do Azure Databricks para ligar a um cluster do Azure Databricks.
  9. O Log Analytics, uma ferramenta no portal do Azure, executa consultas em dados nos Registos do Azure Monitor para implementar um sistema de registo robusto e detalhado para analisar eventos e desempenho.

Componentes

  • Azure Data Lake Storage é um data lake dimensionável e seguro para cargas de trabalho de análise de alto desempenho. Pode utilizar Data Lake Storage para gerir petabytes de dados com débito elevado. Pode acomodar múltiplas origens heterogéneas e dados estruturados, semiestruturados ou não estruturados.
  • O Azure Databricks é uma plataforma de análise de dados que utiliza clusters do Spark. Os clusters estão otimizados para a plataforma de Serviços Cloud do Azure.
  • Azure Data Factory é um serviço de integração de dados totalmente gerido, dimensionável e sem servidor. Fornece uma camada de integração e transformação de dados que funciona com vários arquivos de dados.
  • O Microsoft Power BI é uma coleção de serviços de software, aplicações e conectores que funcionam em conjunto para transformar múltiplas origens de dados em informações coerentes, visualmente envolventes e interativas.
  • Azure Maps é uma coleção de serviços geoespaciais e SDKs que utilizam dados de mapeamento novos para fornecer contexto geográfico a aplicações Web e móveis.
  • O Azure Machine Learning é um serviço cloud totalmente gerido que é utilizado para preparar, implementar e gerir modelos de machine learning em escala.
  • O Azure Key Vault é um serviço que pode ser utilizado para armazenar, gerir e controlar de forma segura o acesso a tokens, credenciais, certificados, Chaves de API e outros segredos.
  • O Azure Monitor é uma solução abrangente para recolher, analisar e agir sobre telemetria a partir dos seus ambientes na cloud e no local. Pode utilizá-lo para maximizar a disponibilidade e o desempenho das suas aplicações e serviços.

Alternativas

  • Pode utilizar conjuntos do Synapse Spark para análise geoespacial em vez do Azure Databricks, com as mesmas arquiteturas open source.
  • Em vez de utilizar o Data Factory para ingerir dados, pode utilizar Hubs de Eventos do Azure. Pode receber grandes quantidades de dados diretamente ou de outros serviços de transmissão em fluxo de eventos, como o Kafka. Em seguida, pode utilizar o Azure Databricks para processar os dados. Para obter mais informações, veja Stream Processing with Azure Databricks (Processamento do Stream com o Azure Databricks).
  • Em vez do Azure Databricks, pode utilizar SQL do Azure Base de Dados ou Azure SQL Managed Instance para consultar e processar dados geoespaciais. Estas bases de dados fornecem a linguagem T-SQL familiar, que pode utilizar para análise geoespacial. Para obter mais informações, veja Dados Espaciais (SQL Server).
  • Tal como os Hubs de Eventos, Hub IoT do Azure podem ingerir grandes quantidades de dados de dispositivos IoT de sensores e telecomunicações. Pode utilizar a Hub IoT capacidade bidirecional para comunicar de forma segura com os dispositivos e potencialmente geri-los e controlá-los a partir de uma plataforma centralizada na cloud.
  • Pode utilizar Azure Maps para fornecer contexto geográfico às suas aplicações Web e móveis. Além das informações de localização, os Azure Maps podem procurar serviços para localizar endereços, locais e pontos de interesse para obter informações de tráfego em tempo real. Azure Maps o Power BI Visual fornece as mesmas capacidades tanto no Power BI Desktop como no serviço Power BI.

Detalhes do cenário

A inteligência de localização e a análise geoespacial podem revelar tendências e comportamentos regionais importantes que afetam as empresas de telecomunicações. As empresas podem utilizar esse conhecimento para melhorar o seu sinal de rádio e cobertura sem fios, e assim obter vantagens competitivas.

As empresas de telecomunicações têm grandes volumes de dados de activos dispersos geograficamente, a maioria dos quais é telemetria de utilizadores. Os dados são provenientes de redes de rádio, dispositivos de deteção de IoT e dispositivos de deteção remota que capturam dados geoespaciais. Está em vários formatos estruturados e semiestruturados, como imagens, GPS, satélite e textural. A sua utilização requer a agregação e a associação a outras origens, como mapas regionais e dados de tráfego.

Depois de agregar e associar os dados, o desafio é extrair informações dos mesmos. Historicamente, as empresas de telecomunicações dependiam de sistemas legados, como bases de dados no local com capacidades geoespaciais. Eventualmente, estes sistemas atingiram os limites de escalabilidade devido à quantidade cada vez maior de dados. Além disso, necessitam de software de terceiros para realizar tarefas que os sistemas de bases de dados geoespaciais não conseguem.

Potenciais casos de utilização

Esta solução é ideal para o setor das telecomunicações e aplica-se aos seguintes cenários:

  • Analisar informações de sinal entre localizações para avaliar a qualidade da rede
  • Analisar dados de infraestrutura de rede em tempo real para orientar a manutenção e reparação
  • Analisar a segmentação do mercado e a procura do mercado
  • Identificar relações entre as localizações dos clientes e as campanhas de marketing da empresa
  • Criar planos de capacidade e cobertura para garantir a conectividade e a qualidade do serviço

Considerações

Estas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser utilizados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, veja Microsoft Azure Well-Architected Framework.

Considere seguir o Microsoft Azure Well-Architected Framework quando implementar esta solução. O quadro fornece orientações técnicas em cinco pilares: otimização de custos, segurança, fiabilidade, eficiência de desempenho e excelência operacional.

Desempenho

  • Siga os guias de programação do Apache Sedona sobre padrões de conceção e melhores práticas de otimização do desempenho.
  • A indexação geoespacial é crucial para o processamento de dados geoespaciais em larga escala. O Apache Sedona e outras arquiteturas de indexação open source, como o H3 , fornecem esta capacidade.
  • A arquitetura GeoPandas não tem as funcionalidades distribuídas do GeoSpark/Apache Sedona. Por conseguinte, tanto quanto possível, utilize a arquitetura Sedona para processamento geoespacial.
  • Considere utilizar as funções incorporadas da Sedona para validar a formatação de geometria antes do processamento.

Segurança

A segurança fornece garantias contra ataques deliberados e abuso dos seus valiosos dados e sistemas. Para obter mais informações, veja Descrição geral do pilar de segurança.

Para uma melhor segurança, considere seguir esta documentação de orientação:

Otimização de custos

A otimização de custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, veja Descrição geral do pilar de otimização de custos.

  • Para estimar o custo da implementação desta solução, utilize a Calculadora de Preços do Azure para os serviços mencionados acima.
  • O Power BI inclui várias ofertas de licenciamento. Para obter mais informações, veja Preços do Power BI.
  • Os custos aumentam se tiver de dimensionar as configurações do cluster do Azure Databricks. Isto depende da quantidade de dados e da complexidade da análise. Para obter as melhores práticas sobre a configuração do cluster, veja Melhores práticas do Azure Databricks: Configuração do cluster.
  • Veja Descrição geral do pilar de otimização de custos para obter formas de minimizar os custos.
  • Para os componentes de terceiros, como QGIS e ARCGIS, consulte os sites do fornecedor para obter informações sobre preços.
  • As arquiteturas mencionadas nesta solução, como o Apache Sedona e o GeoPandas, são arquiteturas open source gratuitas.

Contribuidores

Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.

Autor principal:

Passos seguintes