Editar

Compartilhar via

DR para o Azure Data Platform – Arquitetura

Azure Synapse Analytics
Azure Machine Learning
Azure Cosmos DB
Azure Data Lake
Hubs de eventos do Azure

Definição de caso de uso

Para dar suporte a este exemplo trabalhado, a empresa fictícia “Contoso” será usada com o Azure Data Platform baseado em Arquiteturas de Referência da Microsoft.

Serviço de Dados – Exibição do Componente

A Contoso implementou a seguinte estrutura fundamental do Azure, que é um subconjunto da Zona de Destino Enterprise. Diagrama que mostra um exemplo de zona de destino do Enterprise Azure.

Os números nas descrições a seguir correspondem ao diagrama anterior.

Azure Foundations da Contoso – Fluxo de trabalho

  1. Enterprise Enrollment: o principal registro Enterprise pai da Contoso no Azure, refletindo seu acordo entre parceiros comerciais com a Microsoft, sua estrutura de conta organizacional e assinaturas disponíveis do Azure. Ele fornece a base de cobrança para as assinaturas e como o estado digital é administrado
  2. Gerenciamento de Identidade e Acesso: os componentes necessários para fornecer serviços de identidade, autenticação, acesso a recursos e autorização no volume do Azure da Contoso
  3. Grupo de Gerenciamento e Organização de Assinaturas: uma hierarquia de grupo escalonável alinhada aos principais recursos da plataforma de dados, permitindo a operacionalização em escala usando a segurança e a governança gerenciadas centralmente onde as cargas de trabalho têm separação clara. Os grupos de gerenciamento fornecem um nível de escopo de governança acima das assinaturas
  4. Assinatura de Gerenciamento: uma assinatura dedicada para as várias funções de nível de gerenciamento necessárias para dar suporte à plataforma de dados
  5. Assinatura de Conectividade: uma assinatura dedicada para as funções de conectividade da plataforma de dados, permitindo que ela identifique serviços nomeados, determine o roteamento seguro e a comunicação entre serviços internos e externos
  6. Assinatura da Zona de Destino: assinaturas um-para-muitos para aplicativos nativos e online do Azure, cargas de trabalho e recursos internos e externos voltados para o Azure
  7. DevOps Platform: a Plataforma DevOps que dá suporte à base e a plataforma de dados do Azure. Essa plataforma contém o repositório de controle do código-fonte base e pipelines de CI/CD habilitando implantações automatizadas de IaC (infraestrutura como código)

Observação

Muitos clientes ainda mantêm uma grande área de cobertura de IaaS (infraestrutura como serviço). Para fornecer recursos de recuperação em IaaS, o componente principal a ser adicionado é a Recuperação de site do Azure. O Site Recovery orquestra e automatiza a replicação de máquinas virtuais do Azure entre regiões, máquinas virtuais locais e servidores físicos para o Azure e computadores locais em um datacenter secundário.

Nessa estrutura fundamental, a Contoso implementou os seguintes elementos para dar suporte às suas necessidades de business intelligence empresarial, alinhadas às diretrizes em Análise de ponta a ponta com o Azure Synapse.

Diagrama que mostra a arquitetura de uma plataforma de dados moderna usando os serviços de dados do Azure.Plataforma de dados da Contoso

Plataforma de Dados da Contoso – Fluxo de Trabalho

O fluxo de trabalho é lido da esquerda para a direita, seguindo o fluxo de dados:

  • Fontes de Dados: as fontes ou tipos de dados dos quais a plataforma de dados pode consumir
  • Ingestão: a capacidade da Plataforma de ingerir dados de várias fontes de estrutura e velocidade variadas. Esse design reflete uma Arquitetura Lambda
  • Armazenamento: a capacidade de armazenar dados com segurança em escala que foram ingeridos na plataforma
  • Processo – a capacidade da Plataforma de processar dados, tornando-a adequada para a finalidade de processos downstream, como limpeza, padronização e modelagem. O pré-processamento de dados normalmente garante que esteja em uma “posição e em uma condição, pronto para uso”
  • Enriquecer: a capacidade de aprimorar os dados processados na plataforma por meio de técnicas estatísticas, Machine Learning ou outras técnicas de modelagem ou Serviços de IA do Azure predefinidos
  • Atendimento: a capacidade da Plataforma de formatar e apresentar dados para consumo downstream
  • Consumidores de Dados: os indivíduos, aplicativos ou processos downstream que consomem dados das plataformas de vários pontos de contato de serviço
  • Descobrir e Controlar: os recursos da Plataforma para controlar os dados e garantir que eles sejam indexados, detectáveis/pesquisáveis, bem descritos, com linhagem completa e transparentes para seus usuários finais e processos de consumo.
  • Plataforma: a base na qual a plataforma é construída, ou seja, Azure Foundations da Contoso, conforme descrito acima.

Observação

Para muitos clientes, o nível conceitual da arquitetura de referência da Plataforma de Dados usada será alinhado, mas a implementação física pode variar. Por exemplo, processos ELT (extração, carregamento, transformação) podem ser executados por meio do Azure Data Factory e modelagem de dados pelo SQL Server do Azure. Para resolver esse problema, a seção Sem estado versus Com estado abaixo fornecerá diretrizes.

Para a Plataforma de Dados, a Contoso selecionou as camadas de serviço de produção mais baixas recomendadas para todos os componentes e optou por adotar uma estratégia de DR (recuperação de desastre) de "Reimplantação em caso de desastre" com base em uma abordagem de minimização de custo operacional.

As seções a seguir fornecerão uma compreensão da linha de base do processo de DR e alavancas disponíveis aos clientes para elevar essa postura.

Exibição de componente e serviço do Azure

As tabelas a seguir apresentam uma divisão de cada serviço e componente do Azure usados na plataforma de dados da Contoso, com opções de elevação de DR.

Observação

As seções abaixo são organizadas por serviços com estado versus sem estado

Componentes fundamentais com estado

  • O Microsoft Entra ID, incluindo direitos de função

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Microsoft
    • Seleção de SKU da Contoso: Premium P1
    • Opções de Elevação de DR: a resiliência do Microsoft Entra ID faz parte de sua oferta de SaaS (software como serviço)
    • Notas

  • Azure Key Vault

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de Elevação de DR: N/A, Cobertas como parte do Serviço do Azure

  • Cofre dos Serviços de Recuperação

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Microsoft
    • Seleção de SKU da Contoso: padrão (GRS (armazenamento com redundância geográfica))
    • Opções de Elevação de DR: a habilitação da Restauração Entre Regiões cria a restauração de dados na região secundária emparelhada
    • Notas
      • Embora o LRS (armazenamento com redundância de local) e o ZRS (armazenamento com redundância de zona) estejam disponíveis, ele requer atividades de configuração com base na configuração padrão

  • Azure DevOps

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Microsoft
    • Seleção de SKU da Contoso: DevOps Services
    • Opções de Elevação de DR: o serviço e a resiliência de dados de DevOps faz parte de sua oferta de SaaS
    • Notas
      • O DevOps Server, pois a oferta local continuará sendo responsabilidade do cliente para recuperação de desastre
      • Se serviços de terceiros (SonarCloud, Jfrog Artifactory, servidores de build do Jenkins, por exemplo) forem usados, eles permanecerão sob responsabilidade do cliente para recuperação de um desastre
      • Se as VMs IaaS forem usadas na cadeia de ferramentas de DevOps, elas continuarão sendo responsabilidade do cliente para recuperação de um desastre

Componentes fundamentais sem estado

  • Assinaturas

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de Elevação de DR: N/A, Cobertas como parte do Serviço do Azure

  • Grupos de Gerenciamento

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de Elevação de DR: N/A, Cobertas como parte do Serviço do Azure

  • Azure Monitor

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de Elevação de DR: N/A, Cobertas como parte do Serviço do Azure

  • Gerenciamento de Custos

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de Elevação de DR: N/A, Cobertas como parte do Serviço do Azure

  • Microsoft Defender para Nuvem

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de Elevação de DR: N/A, Cobertas como parte do Serviço do Azure

  • DNS do Azure

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Microsoft
    • Seleção de SKU da Contoso: Zona Única – Público
    • Opções de Elevação de DR: N/A, DNS é altamente disponível intencionalmente

  • Observador de Rede

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de Elevação de DR: N/A, Cobertas como parte do Serviço do Azure

  • Redes virtuais, incluindo sub-redes, UDR (rota definida pelo usuário) e NSG (grupos de segurança de rede)

    • Responsabilidade de Recuperação de Componente: Contoso
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Contoso
    • Seleção de SKU da Contoso: N/A
    • Opções de Elevação de DR: VNETs podem ser replicadas na região secundária emparelhada

  • Firewall do Azure

    • Responsabilidade de Recuperação de Componente: Contoso
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Contoso
    • Seleção de SKU da Contoso: Standard
    • Opções de Elevação de DR: o Firewall do Azure é altamente disponível intencionalmente e pode ser criado com Zonas de Disponibilidade para aumentar a disponibilidade

  • Azure DDoS

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Contoso
    • Seleção de SKU da Contoso: Proteção de Rede contra DDoS
    • Opções de Elevação de DR: N/A, cobertas como parte do serviço do Azure

  • Circuito do ExpressRoute

    • Responsabilidade de Recuperação de Componente: Contoso, parceiro de conectividade e Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/configuração: parceiro de conectividade e Microsoft
    • Seleção de SKU da Contoso: Standard
    • Opções de Elevação de DR:
    • Notas
      • O ExpressRoute tem redundância interna com cada circuito sendo formado por duas conexões com dois roteadores MSEEs (de borda do Microsoft Enterprise) em uma Localização do ExpressRoute no provedor de conectividade/na borda da rede do cliente
      • O circuito do ExpressRoute Premium habilitará o acesso a todas as regiões do Azure globalmente

  • Gateway de VPN

    • Responsabilidade de Recuperação de Componente: Contoso
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Contoso
    • Seleção de SKU da Contoso: Zona Única – VpnGw1
    • Opções de Elevação de DR: um Gateway de VPN pode ser implantado em uma Zona de Disponibilidade com as SKUs vpnGw#AZ para fornecer um serviço com redundância de zona

  • Azure Load Balancer

    • Responsabilidade de Recuperação de Componente: Contoso
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Contoso
    • Seleção de SKU da Contoso: Standard
    • Opções de Elevação de DR:
    • Notas
      • O Gerenciador de Tráfego do Azure é um balanceador de carga de tráfego baseado em DNS. Esse serviço dá suporte à distribuição de tráfego para aplicativos voltados ao público nas regiões globais do Azure. Essa solução fornecerá proteção contra uma interrupção regional em um design de alta disponibilidade

Serviços específicos da Plataforma de dados com estado

  • Conta de Armazenamento: Azure Data Lake Gen2

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Contoso
    • Seleção de SKU da Contoso: LRS
    • Opções de Elevação de DR: as contas de armazenamento têm uma ampla gama de opções de redundância de dados da redundância de região primária até a redundância de região secundária
    • Notas
      • O GRS é recomendado para elevar a redundância, fornecendo uma cópia dos dados na região emparelhada

  • Hubs de eventos do Azure

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Contoso
    • Seleção de SKU da Contoso: Standard
    • Opções de elevação de DR: um namespace do hub de eventos pode ser criado com zonas de disponibilidade habilitadas. Essa resiliência pode ser estendida para cobrir uma interrupção completa da região com Recuperação de desastre geográfico
    • Notas
      • A recuperação de desastre geográfico dos Hubs de Eventos não replica dados intencionalmente, portanto, várias considerações devem ser feitas para failover e fallback

  • Hubs IoT do Azure

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Contoso
    • Seleção de SKU da Contoso: Standard
    • Opções de Elevação de DR:
    • Notas
      • O Hub IoT fornece failover iniciado pela Microsoft e failover manual e failover manual, replicando dados para a região emparelhada para cada hub IoT
      • O Hub IoT fornece HA entre Regiões e usará automaticamente uma zona de disponibilidade se criado em um conjunto predefinido de regiões do Azure

  • Azure Stream Analytics

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Contoso
    • Seleção de SKU da Contoso: Standard
    • Opções de Elevação de DR: embora o Azure Stream Analytics seja uma oferta de PaaS (plataforma como serviço) totalmente gerenciada, ele não fornece failover geográfico automático. A redundância geográfica pode ser obtida implantando trabalhos idênticos do Stream Analytics em várias regiões do Azure

  • Azure Machine Learning

    • Responsabilidade de Recuperação de Componente: Contoso e Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Contoso
    • Seleção de SKU da Contoso: Uso Geral, Instâncias da Série D
    • Opções de Elevação de DR:
    • Observações:

  • Power BI

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Microsoft
    • Seleção de SKU da Contoso: Power BI Pro
    • Opções de Elevação de DR: N/A, a resiliência do Power BI faz parte de sua oferta de SaaS
    • Notas

  • Azure Cosmos DB

  • Azure Data Share

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de Elevação de DR: a resiliência do Azure Data Share pode ser elevada pela implantação de HA em uma região secundária

  • Microsoft Purview

Serviços específicos da Plataforma de dados sem estado

  • Azure Synapse: Pipelines

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Contoso
    • Seleção de SKU da Contoso: Computação Otimizada Gen2
    • Opções de Elevação de DR: N/A, a resiliência do Synapse faz parte de sua oferta de SaaS usando o recurso de failover automático
    • Notas
      • Se Pipelines de Dados Auto-Hospedados forem usados, eles continuarão sendo responsabilidade do cliente para recuperação de um desastre

  • Azure Synapse: Pools do Data Explorer

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Contoso
    • Seleção de SKU da Contoso: Computação Otimizada, Pequena (4 cores)
    • Opções de Elevação de DR: N/A, a resiliência do Synapse faz parte de sua oferta de SaaS
    • Notas
      • As Zonas de Disponibilidade são habilitadas por padrão para o Synapse Data Explorer, quando disponível.

  • Azure Synapse: Pools do Spark

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Contoso
    • Seleção de SKU da Contoso: Computação Otimizada, Pequena (4 cores)
    • Opções de Elevação de DR: N/A, a resiliência do Synapse faz parte de sua oferta de SaaS
    • Notas

  • Azure Synapse: Pools de SQL Dedicados e Sem Servidor

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Contoso
    • Seleção de SKU da Contoso: Computação Otimizada Gen2
    • Opções de Elevação de DR: N/A, a resiliência do Synapse faz parte de sua oferta de SaaS
    • Notas
      • O Azure Synapse Analytics tira instantâneos automaticamente ao longo do dia para criar pontos de restauração que ficam disponíveis por sete dias
      • O Azure Synapse Analytics executa um backup geográfico padrão uma vez por dia para um data center emparelhado. O RPO (objetivo de ponto de recuperação) para uma restauração geográfica é de 24 horas
      • Se Pipelines de Dados Auto-Hospedados forem usados, eles continuarão sendo responsabilidade do cliente para recuperação de um desastre

  • Serviços de IA do Azure (anteriormente Serviços Cognitivos)

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Microsoft
    • Seleção de SKU da Contoso: Pré-pago
    • Opções de Elevação de DR: N/A, As APIs dos Serviços de IA são hospedadas pelos data centers gerenciados pela Microsoft
    • Notas
      • Se os Serviços de IA tiverem sido implantados por meio dos Contêineres do Docker implantados pelo cliente, a recuperação continuará sendo responsabilidade do cliente

  • Azure AI Search (anteriormente Cognitive Search)

    • Responsabilidade de Recuperação de Componente: Microsoft
    • Responsabilidade de Recuperação de Carga de Trabalho/Configuração: Microsoft
    • Seleção de SKU da Contoso: Standard S1
    • Opções de Elevação de DR:
    • Notas
      • No AI Search, a continuidade dos negócios (e recuperação de desastre) é alcançada por meio de vários serviços de AI Search.
      • não existe mecanismo integrado para recuperação de desastres. Se o serviço contínuo for necessário durante uma falha catastrófica, a recomendação é ter um segundo serviço em outra região e a implementação de uma estratégia de replicação geográfica para garantir que os índices sejam totalmente redundantes em todos os serviços

Componentes com estado versus sem estado

A velocidade de inovação no conjunto de produtos da Microsoft e no Azure, em particular, significa que o conjunto de componentes que usamos para este exemplo trabalhado evoluirá rapidamente. Para maior durabilidade no futuro do fornecimento de diretrizes obsoletas e para estender essa orientação a componentes não explicitamente abordados neste documento, a seção a seguir fornece algumas instruções com base na classificação de alta granularidade do estado.

Um componente/serviço poderá ser descrito como com estado se for projetado para lembrar eventos anteriores ou interações do usuário. Sem estado significa que não há registro de interações anteriores e cada solicitação de interação deve ser tratada com base inteiramente nas informações que a acompanham.

Para um cenário de DR que exige a reimplantação:

  • Componentes/serviços "sem estado", como o Azure Functions e pipelines do Azure Data Factory, podem ser reimplantados do controle do código-fonte com pelo menos um smoke test para validar a disponibilidade antes de serem introduzidos no sistema mais amplo
  • Componentes/serviços "com estado", como o banco de dados SQL do Azure e contas de armazenamento, exigem mais atenção
    • Ao obter o componente, uma decisão chave selecionará o recurso de redundância de dados. Essa decisão normalmente se concentra em uma compensação entre disponibilidade e durabilidade com custos operacionais
  • Os armazenamentos de dados também precisarão de uma estratégia de backup de dados. A funcionalidade de redundância de dados do armazenamento subjacente reduz esse risco para alguns designs, enquanto outros, como bancos de dados SQL, precisarão de um processo de backup separado.
    • Se necessário, o componente pode ser reimplantado do controle do código-fonte com uma configuração validada por meio de um smoke test
    • Um armazenamento de dados reimplantado deve ter seu conjunto de dados reidratado. A reidratação pode ser realizada por meio da redundância de dados (quando disponível) ou de um conjunto de dados de backup. Quando a reidratação tiver sido concluída, ela deverá ser validada quanto à precisão e integridade
      • Dependendo da natureza do processo de backup, os conjuntos de dados de backup podem exigir validação antes de serem aplicados. O processo de backup corrompido/com erro pode resultar em um backup anterior sendo usado no lugar da versão mais recente disponível
    • Qualquer delta entre a data/carimbo de data/hora do componente e a data atual deve ser resolvido executando novamente ou reproduzindo os processos de ingestão de dados desse ponto em diante
    • Depois que o conjunto de dados do componente estiver atualizado, ele poderá ser introduzido no sistema mais amplo

Outros serviços principais

Esta seção contém diretrizes de HA/DR para outros componentes e serviços importantes do Azure Data.

Próximas etapas

Agora que você aprendeu sobre a arquitetura do cenário, saiba mais sobre os detalhes do cenário