Ideias de solução
Este artigo é uma ideia de solução. Se você quiser expandir o conteúdo com mais informações, como possíveis casos de uso, serviços alternativos, considerações de implementação ou diretrizes de preços, informe-nos fornecendo comentários do GitHub.
Essa arquitetura permite combinar todos os dados em qualquer escala com o aprendizado de máquina personalizado e obter análises de dados quase em tempo real em serviços de streaming.
Arquitetura
Baixe um Arquivo Visio dessa arquitetura.
Fluxo de dados
- Reúna todos os seus dados estruturados, não estruturados e semiestruturados (logs, arquivos e mídia) usando pipelines do Synapse para Azure Data Lake Storage.
- Use pools do Apache Spark para limpar e transformar os conjuntos de dados sem estrutura e combiná-los com dados estruturados de bancos de dados operacionais ou data warehouses.
- Use técnicas escalonáveis de aprendizado de máquina/aprendizado profundo para obter insights mais profundos sobre esses dados usando Python, Scala ou .NET, com experiências de notebook no pool do Apache Spark.
- Aplique o pool do Apache Spark e os pipelines do Synapse no Azure Synapse Analytics para acessar e mover dados em escala.
- Consultar e relatar dados no Power BI.
- Leve os insights dos pools do Apache Spark para o Azure Cosmos DB para torná-los acessíveis por meio de aplicativos Web e móveis.
Fluxo de trabalho
- Azure Synapse Analytics é o data warehouse de nuvem rápido, flexível e confiável que permite dimensionar, computar e armazenar de forma elástica e independente, com uma arquitetura de processamento massivamente paralela.
- A Documentação do Synapse Pipelines permite criar, agendar e orquestrar seus fluxos de trabalho ETL/ELT.
- O Armazenamento de Blobs do Azure é um armazenamento de objetos altamente escalonável para qualquer tipo de imagens de dados não estruturadas, vídeos, áudio, documentos e de maneira mais fácil e econômica.
- Azure Synapse Analytics Os pools do Spark são uma plataforma de análise rápida, fácil e colaborativa baseada no Apache Spark.
- O Azure Cosmos DB é um serviço de banco de dados multimodelo globalmente distribuído. Saiba como replicar seus dados em qualquer número de regiões do Azure e dimensionar sua taxa de transferência independentemente do armazenamento.
- O Link do Azure Synapse para o Azure Cosmos DB permite executar análises quase em tempo real em dados operacionais no Azure Cosmos DB, sem nenhum impacto de desempenho ou custo em sua carga de trabalho transacional, usando os dois mecanismos de análise disponíveis no espaço de trabalho do Azure Synapse: SQL Sem servidor e Pools do Spark.
- Azure Analysis Services é uma análise de nível empresarial como um serviço que permite controlar, implantar, testar e entregar sua solução de BI com confiança.
- O Power BI é um pacote de ferramentas de análise de negócios que fornece insights a toda a organização. Conecte-se a centenas de fontes de dados, simplifique a preparação de dados e conduza a análise não planejada. Produza belos relatórios e, em seguida, publique-os para que sua organização consuma na Web e em dispositivos móveis.
Alternativas
- Link do Synapse é a solução preferencial da Microsoft para análise sobre os dados do Azure Cosmos DB.
Detalhes do cenário
Transforme seus dados em insights acionáveis usando as melhores ferramentas de machine learning da classe. Essa solução permite combinar todos os dados em qualquer escala e criar e implantar modelos de machine learning personalizados em escala. Para saber como as plataformas de dados de escala empresarial são projetadas como parte de uma zona de destino corporativa, consulte a documentação da zona de destino de dados do Cloud Adoption Framework.
Possíveis casos de uso
As organizações têm a capacidade de acessar mais dados do que nunca. A análise avançada ajuda a aproveitar os insights de dados. As áreas incluem:
- Atendimento ao cliente.
- Manutenção preditiva.
- Recomendando produtos ou serviços.
- Otimização do sistema de tudo, desde cadeias de fornecimento até operações de data center.
- Desenvolvimento de produtos e serviços.
Considerações
Otimização de custo
A otimização de custos é a análise de maneiras de reduzir as despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, confira Visão geral do pilar de otimização de custo.
Próximas etapas
- Saiba mais sobre o design da plataforma de dados de escala empresarial
- Saiba como projetar e implantar uma plataforma de análise de dados de ponta a ponta
Consulte a seguinte documentação sobre os serviços apresentados nesta arquitetura:
- Documentação do Synapse Analytics
- Documentação do Synapse Pipelines
- Introdução ao armazenamento de objeto no Azure
- Pools do Spark do Azure Synapse Analytics
- Documentação do Azure Cosmos DB
- Documentação do Analysis Services
- Documentação do Power BI
Recursos relacionados
- Proteger um data lakehouse com o Azure Synapse Analytics
- Analisar dados operacionais no MongoDB Atlas usando o Azure Synapse Analytics
- Análise de Big Data com segurança de nível empresarial usando o Azure Synapse
- Análise de dados espaciais com o Azure Synapse Analytics
- Análises de ponta a ponta com o Azure Synapse