Design da arquitetura do Analytics

Com o crescimento exponencial dos dados, as organizações dependem do poder de computação, armazenamento e análise ilimitados de Azure para dimensionar, transmitir, prever e ver seus dados. As soluções de Analytics transformam volumes de dados em BI (business intelligence) útil, como relatórios e visualizações, e IA (inteligência artificial), como previsões baseadas em aprendizado de máquina.

Se sua organização está apenas começando a avaliar ferramentas de análise baseadas em nuvem ou se está procurando expandir sua implementação atual, Azure fornece muitas opções. O fluxo de trabalho começa com o aprendizado sobre abordagens comuns e o alinhamento de processos e funções em torno de uma mentalidade de nuvem.

Os dados podem ser processados em lotes ou em tempo real, no local ou na nuvem, mas o objetivo de qualquer solução de análise é fazer uso de dados em escala. Cada vez mais, as organizações querem criar uma única fonte de verdade para todos os dados relacionais e não relacionais que estão sendo gerados por pessoas, máquinas e pela IoT (Internet das Coisas). É comum usar uma arquitetura de Big Data ou uma arquitetura de IoT para transformar dados brutos em um formulário estruturado e, em seguida, movê-los para um armazenamento de dados analíticos. Esse armazenamento se torna a única fonte de verdade que pode alimentar uma infinidade de soluções de análise perspicazes.

Arquitetura

Diagrama mostrando o percurso da solução para análise em Azure. O percurso começa com aprendizado e preparação organizacional e, em seguida, passa a escolher soluções de armazenamento e tecnologias de BI ou IA do Azure com base nos requisitos de carga de trabalho.

Carrege um arquivo Visio desta arquitetura.

O diagrama acima demonstra uma implementação típica de análise básica/de linha de base. Consulte as arquiteturas fornecidas nesta seção para encontrar soluções do mundo real que você pode criar no Azure.

Explorar arquiteturas e guias de análise

Os artigos nesta seção incluem arquiteturas totalmente desenvolvidas que você pode implantar no Azure e expandir para soluções e guias de nível de produção. Elas podem ajudá-lo a tomar decisões importantes sobre como usar tecnologias de análise em Azure. As ideias da solução demonstram padrões de implementação e possibilidades a serem consideradas à medida que você planeja seu desenvolvimento de prova de conceito de análise.

Guias de arquitetura de análise

Opções de tecnologia – Estes artigos ajudam você a avaliar e selecionar as melhores tecnologias de análise para seus requisitos de carga de trabalho:

• Análise e relatórios – comparar opções de análise e visualização de dados no Azure.
• Processamento em lote – avaliar as tecnologias de processamento em lote para cargas de trabalho de Big Data.
• Processamento de fluxo – comparar tecnologias de processamento de fluxo para análise em tempo real.
• Escolha um armazenamento de dados analíticos – Diretrizes sobre como selecionar o armazenamento de dados analíticos correto.
• Escolha um armazenamento de dados analíticos no Microsoft Fabric – Diretrizes sobre como selecionar armazenamentos de dados no Microsoft Fabric.

Recuperação de desastre para a plataforma de dados do Azure – Estes artigos fornecem diretrizes abrangentes para implementar estratégias de recuperação de desastre:

• Visão geral – Visão geral das estratégias de recuperação de desastre para plataformas de dados do Azure.
• Arquitetura – Padrões de arquitetura para recuperação de desastre em plataformas de dados do Azure.
• Detalhes do cenário – Cenários detalhados para implementar a recuperação de desastre.
• Recomendações – recomendações de prática recomendada para recuperação de desastre.

Arquiteturas de análise

Essas arquiteturas prontas para produção demonstram soluções de análise de ponta a ponta que você pode implantar e personalizar:

• Análise de ponta a ponta com o Microsoft Fabric – crie uma plataforma de análise moderna usando as funcionalidades integradas do Microsoft Fabric.
• Data warehousing e analytics – Integrar um grande volume de dados de múltiplas fontes em uma plataforma unificada de análise.
• Use o Microsoft Fabric para criar uma solução de BI empresarial – Criar uma solução de business intelligence empresarial usando o Microsoft Fabric.
• Processamento de dados do Lakehouse quase em tempo real – use o Azure Synapse Analytics e o Azure Data Lake Storage para processamento quase em tempo real do data lakehouse.
• Sincronização em tempo real do Atlas do MongoDB com o Azure Synapse Analytics – Sincronizar dados do Atlas do MongoDB com o Azure Synapse Analytics em tempo real.
• Processamento de fluxo com o Azure Databricks – Criar um pipeline de processamento de fluxo de ponta a ponta usando o Azure Databricks.
• Processamento de fluxo com o Azure Stream Analytics – Crie um pipeline de processamento de fluxo que ingere dados, correlaciona registros e calcula médias sem interrupção.
• Data warehouse moderno para pequenas e médias empresas – crie uma solução moderna de data warehouse projetada para pequenas e médias empresas.

Ideias da solução de análise

Essas ideias de solução demonstram padrões de implementação e possibilidades de explorar:

• Ingestão, ETL e pipelines de processamento de fluxo com Azure Databricks – Crie pipelines ETL para dados em lote e streaming para simplificar a ingestão no data lake.
• Arquitetura de análise moderna com Azure Databricks – Coletar, processar, analisar e visualizar dados usando uma arquitetura de dados moderna.
• Plataforma de dados moderna para pequenas e médias empresas – Crie uma arquitetura moderna de plataforma de dados para pequenas e médias empresas usando Microsoft Fabric e Azure Databricks.
• A análise em tempo real com Azure Data Explorer – analisar dados em tempo real usando Azure Data Explorer e Azure Service Bus.

Saiba mais sobre análise no Azure

O Microsoft Learn fornece recursos de treinamento online gratuitos para tecnologias de análise do Azure. A plataforma oferece vídeos, tutoriais e laboratórios práticos para produtos e serviços específicos, juntamente com roteiros de aprendizagem organizados por função de trabalho.

Os recursos a seguir fornecem conhecimento básico para implementações de análise no Azure:

• Navegue por tópicos de dados da Azure
• Introdução aos principais conceitos de dados do Microsoft Azure
• Comece com o Microsoft Fabric

Roteiros de aprendizagem por função

• Analista de dados: Introdução à análise de dados da Microsoft
• Engenheiro de dados: Implemente uma solução de análise de dados com o Azure Databricks
• Cientista de dados: Crie soluções de aprendizado de máquina usando o Azure Databricks

Preparação organizacional

As organizações que estão iniciando a adoção da nuvem podem usar o Cloud Adoption Framework para obter diretrizes comprovadas projetadas para acelerar a adoção da nuvem. Para obter diretrizes de análise em escala de nuvem, consulte análise em escala de nuvem.

Para ajudar a garantir a qualidade da sua solução de análise em Azure, recomendamos seguir o Azure Well-Architected Framework. Ele fornece diretrizes prescritivas para organizações que buscam excelência arquitetônica e discute como projetar, provisionar e monitorar soluções de Azure otimizadas para custos.

Para obter diretrizes de carga de trabalho de dados alinhadas aos pilares do Well-Architected Framework, consulte o Azure Well-Architected Framework para cargas de trabalho de dados.

Caminho de produção

Escolher um armazenamento de dados é uma decisão fundamental ao implementar a análise no Azure. Depois de selecionar sua abordagem de armazenamento, você pode determinar a tecnologia de análise de dados apropriada para seu cenário.

Os principais pontos de decisão incluem:

• Armazenamento de dados: escolha entre data lakes, data warehouses ou lakehouses com base em sua estrutura de dados e padrões de consulta. Para obter diretrizes sobre como selecionar e projetar soluções de banco de dados que alimentam cargas de trabalho de análise, consulte o design da arquitetura de bancos de dados.

• Modelo de processamento: determine se o processamento em lote, o processamento de fluxo ou uma combinação melhor se ajusta aos seus requisitos de carga de trabalho.

• Ferramentas de análise: selecione tecnologias de BI e IA que se alinham às habilidades e às necessidades de negócios da sua equipe.

Para exibir diferentes estilos de arquitetura para soluções de análise, consulte arquiteturas.

Práticas recomendadas

Análises de alta qualidade começam com dados robustos e confiáveis. No mais alto nível, as práticas de segurança da informação ajudam a garantir que seus dados estejam protegidos em trânsito e em repouso. O acesso a esses dados também deve ser confiável. Dados confiáveis implicam em um design que implementa:

• Políticas de governança – defina políticas claras de propriedade, classificação e acesso de dados.

• Gerenciamento de identidade e acesso – Implementar o controle de acesso baseado em função e princípios de privilégio mínimo.

• Controles de segurança de rede – proteja os fluxos de dados entre os serviços e impeça o acesso não autorizado.

• Proteção de dados – criptografar dados em repouso e em trânsito.

No nível da plataforma, as seguintes práticas recomendadas para big data contribuem para análise confiável na Azure.

• Orquestre a ingestão de dados – Use um fluxo de trabalho de dados ou uma solução de pipeline, como os pipelines compatíveis com Azure Data Factory ou Microsoft Fabric.

• Processar dados no local – use um armazenamento de dados distribuído, uma abordagem de big data que suporta volumes maiores de dados e uma gama mais ampla de formatos.

• Limpar dados confidenciais antecipadamente – remover ou mascarar dados confidenciais como parte do fluxo de trabalho de ingestão para evitar o armazenamento em seu data lake.

• Considere o custo total – balancee o custo por unidade dos nós de computação necessários em relação ao custo por minuto de uso desses nós para concluir um trabalho.

• Criar um data lake unificado – Combinar armazenamento para arquivos em vários formatos, estruturados, semiestruturados ou não estruturados. Use o Azure Data Lake Storage Gen2 como sua única fonte de verdade. Por exemplo, consulte Arquitetura de solução de BI no Centro de Excelência.

Mantenha-se atualizado com a análise

Os serviços de análise do Azure estão evoluindo para enfrentar os desafios de dados modernos. Mantenha-se informado sobre as atualizações mais recentes e os recursos planejados:

Obtenha as atualizações mais recentes sobre produtos e recursos do Azure.

Mantenha-se atualizado com estes principais serviços de análise:

• Novidades no Microsoft Fabric
• Notas de versão do Azure Databricks
• O que há de novo no Azure Data Explorer
• O que há de novo no Power BI

Recursos adicionais

A análise é uma categoria ampla e abrange uma gama de soluções. Os recursos a seguir podem ajudá-lo a descobrir mais sobre Azure.

Híbrido

A vasta maioria das organizações precisa de uma abordagem híbrida para análise porque seus dados são hospedados tanto no local quanto na nuvem. As organizações geralmente estendem soluções de dados locais para a nuvem. Para conectar ambientes, as organizações devem escolher uma arquitetura de rede híbrida.

Principais cenários de análise híbrida:

• Modernização do Mainframe: Modernizar dados de Mainframe e Midrange – integrar fontes de dados herdadas com plataformas de análise modernas.
• Integração local: operações híbridas e multinuvem unificadas – conecte bancos de dados locais à análise de nuvem.
• Análise de borda: processar dados na borda e agregar insights na nuvem.

Análise em tempo real

A análise em tempo real permite que as organizações atuem sobre os dados à medida que chegam. Aqui estão alguns recursos para ajudá-lo a começar a usar a análise em tempo real no Azure:

• Análise em tempo real sobre a arquitetura de Big Data – Processar e analisar dados de streaming em escala.
• Análise de IoT com o Azure Data Explorer – Analisar dados de telemetria de IoT em tempo real.
• Processamento de fluxo com o Azure Stream Analytics – Criar soluções de streaming sem servidor.
• Crie uma arquitetura de análise moderna usando o Azure Databricks – análise de nível empresarial usando o Apache Spark.

Navegue por mais exemplos de análise no Azure Architecture Center

Profissionais da AWS ou do Google Cloud

Estes artigos podem ajudá-lo a aumentar rapidamente comparando as opções de análise de Azure com outros serviços de nuvem:

• Analytics e Big Data em tecnologias de banco de dados no Azure e AWS

• Big Data e análise na comparação de serviços entre Google Cloud e Azure