Ideias de solução
Este artigo é uma ideia de solução. Se quiser que expandamos o conteúdo com mais informações, como potenciais casos de utilização, serviços alternativos, considerações de implementação ou orientações de preços, informe-nos ao fornecer feedback do GitHub.
Este artigo apresenta uma solução para utilizar Azure Kubernetes Service (AKS) para processar e analisar rapidamente um grande volume de dados de transmissão em fluxo a partir de dispositivos.
O Apache®, o Apache Kafka e o Apache Spark são marcas registadas ou marcas registadas da Apache Software Foundation no Estados Unidos e/ou noutros países/ Nenhuma recomendação da Apache Software Foundation está implícita na utilização destas marcas.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de dados
- Os sensores geram dados e transmitem-nos em fluxo para o Azure Gestão de API.
- Um cluster do AKS executa microsserviços que são implementados como contentores atrás de uma malha de serviço. Os contentores são criados com um processo de DevOps e armazenados em Azure Container Registry.
- Um serviço de ingestão armazena dados no Azure Cosmos DB.
- De forma assíncrona, um serviço de análise recebe os dados e transmite-os para o Apache Kafka e para o Azure HDInsight.
- Os cientistas de dados utilizam modelos de machine learning e a plataforma Splunk para analisar os dados.
- Um serviço de processamento processa os dados e armazena o resultado em Base de Dados do Azure para PostgreSQL. O serviço também coloca os dados em cache no Cache do Azure para Redis.
- Uma aplicação Web executada no Serviço de Aplicações do Azure cria visualizações dos resultados.
Componentes
A solução utiliza as seguintes tecnologias-chave:
- Gestão de API
- Serviço de Aplicações
- Cache do Azure para Redis
- Container Registry
- BD do Cosmos para o Azure
- Base de Dados do Azure para PostgreSQL
- HDInsight
- AKS
- Pipelines do Azure
Detalhes do cenário
Esta solução é uma boa opção para um cenário que envolve milhões de pontos de dados, onde as origens de dados incluem dispositivos IoT (Internet das Coisas), sensores e veículos. Nesta situação, o processamento do grande volume de dados é um desafio. Analisar rapidamente os dados é outra tarefa exigente, uma vez que as organizações procuram obter informações sobre cenários complexos.
Os microsserviços em contentores no AKS formam uma parte fundamental da solução. Estes serviços autónomos ingerem e processam o fluxo de dados em tempo real. Também são dimensionados conforme necessário. A portabilidade dos contentores permite que os serviços sejam executados em diferentes ambientes e processem dados de várias origens. Para desenvolver e implementar os microsserviços, são utilizados DevOps e integração contínua/entrega contínua (CI/CD). Estas abordagens encurtam o ciclo de desenvolvimento.
Para armazenar os dados ingeridos, a solução utiliza o Azure Cosmos DB. Esta base de dados dimensiona elasticamente o débito e o armazenamento, o que a torna uma boa opção para grandes volumes de dados.
A solução também utiliza o Kafka. Esta plataforma de transmissão em fluxo de baixa latência processa feeds de dados em tempo real a velocidades extremamente elevadas.
Outro componente chave da solução é o HDInsight, que é um serviço de análise na cloud open source gerido. O HDInsight simplifica a execução de arquiteturas de macrodados em grande volume e velocidade ao utilizar o Apache Spark no Azure. O Splunk ajuda no processo de análise de dados. Esta plataforma cria visualizações a partir de dados em tempo real e fornece business intelligence.
Potenciais casos de utilização
Esta solução beneficia as seguintes áreas:
- Segurança dos veículos, especialmente na indústria automóvel
- Suporte ao cliente no retalho e noutros setores
- Soluções para a cloud de cuidados de saúde
- Soluções de tecnologia financeira no setor financeiro
Passos seguintes
Documentação do produto:
- Acerca da Cache do Azure para Redis
- O que é a API Management do Azure?
- Descrição geral do Serviço de Aplicações
- Azure Kubernetes Service
- Introdução aos registos privados de contentores Docker no Azure
- Bem-vindo ao Azure Cosmos DB
- O que é a Base de Dados do Azure para PostgreSQL?
- O que é o Azure HDInsight?
- O que são os Pipelines do Azure?
Módulos de formação da Microsoft:
- Criar e armazenar imagens de contentor com o Azure Container Registry Build
- Configurar planos de Serviço de Aplicações do Azure
- Trabalhar com o Azure Cosmos DB
- Criar e ligar a uma Base de Dados do Azure para PostgreSQL
- Programar para Cache do Azure para Redis
- Explorar Gestão de API
- Gerir a infraestrutura como código com o Azure e o DSC
- Introdução ao Azure HDInsight