Editar

Share via

DR para Plataforma de Dados do Azure - Arquitetura

Azure Synapse Analytics
Azure Machine Learning
Azure Cosmos DB
Azure Data Lake
Azure Event Hubs

Definição de caso de uso

Para dar suporte a este exemplo trabalhado, a empresa fictícia "Contoso" será usada com uma Plataforma de Dados do Azure baseada em Arquiteturas de Referência da Microsoft.

Serviço de Dados - Visualização de Componentes

A Contoso implementou a seguinte estrutura fundamental do Azure, que é um subconjunto da Zona de Pouso Empresarial. Diagram that shows an example Enterprise Azure landing zone.

Os números nas descrições a seguir correspondem ao diagrama anterior acima.

Azure Foundations da Contoso - Fluxo de trabalho

  1. Inscrição Empresarial - A principal inscrição empresarial principal da Contoso no Azure reflete o seu contrato comercial com a Microsoft, a sua estrutura de conta organizacional e as subscrições do Azure disponíveis. Ele fornece a base de faturamento para assinaturas e como o patrimônio digital é administrado
  2. Gerenciamento de Identidade e Acesso – Os componentes necessários para fornecer serviços de identidade, autenticação, acesso a recursos e autorização em toda a área de cobertura do Azure da Contoso
  3. Grupo de Gerenciamento e Organização de Assinatura - Uma hierarquia de grupo escalável alinhada aos principais recursos da plataforma de dados, permitindo a operacionalização em escala usando segurança e governança gerenciadas centralmente, onde as cargas de trabalho têm separação clara. Os grupos de gerenciamento fornecem um escopo de governança acima das assinaturas
  4. Subscrição de Gestão - Uma subscrição dedicada para as várias funções de nível de gestão necessárias para suportar a plataforma de dados
  5. Assinatura de conectividade - Uma assinatura dedicada para as funções de conectividade da plataforma de dados, permitindo identificar serviços nomeados, determinar roteamento e comunicação seguros entre e entre serviços internos e externos
  6. Subscrição da Zona de Aterragem – Subscrições um-para-muitos para aplicações nativas do Azure, aplicações online, cargas de trabalho e recursos internos e externos
  7. Plataforma de DevOps - A Plataforma de DevOps que suporta a base do Azure & Plataforma de Dados. Esta plataforma contém o repositório de controle de código-fonte de base de código e pipelines de CI/CD que permitem implantações automatizadas de IaC

Nota

Muitos clientes ainda mantêm uma grande pegada de IaaS. Para fornecer recursos de recuperação em IaaS, o principal componente a ser adicionado é a recuperação do Site do Azure. O Site Recovery orquestrará e automatizará a replicação de VMs do Azure entre regiões, máquinas virtuais locais e servidores físicos para o Azure e máquinas locais para um datacenter secundário.

Dentro dessa estrutura fundamental, a Contoso implementou os seguintes elementos para dar suporte às suas necessidades de business intelligence empresarial, alinhadas às orientações do Analytics de ponta a ponta com o Azure Synapse.

Diagram that shows architecture for a modern data platform using Azure data services.Plataforma de dados da Contoso

Plataforma de dados da Contoso - Fluxo de trabalho

O fluxo de trabalho é lido da esquerda para a direita, seguindo o fluxo de dados:

  • Fontes de dados - As fontes ou tipos de dados que a plataforma de dados pode consumir
  • Ingest - A capacidade da Plataforma de ingerir dados de várias fontes de estrutura e velocidade variáveis. Este design reflete uma arquitetura Lambda
  • Loja - A capacidade de armazenar dados em escala com segurança que foram ingeridos na plataforma
  • Processo - A capacidade da Plataforma de processar dados, tornando-os "adequados à finalidade" para processos a jusante, como limpeza, padronização e modelagem. O pré-processamento de dados normalmente garante que eles estejam em uma "posição e uma condição, prontos para uso"
  • Enrich - A capacidade de aprimorar os dados processados na plataforma por meio de estatísticas, Machine Learning ou outras técnicas de modelagem ou Serviços de IA do Azure pré-criados
  • Servir - A capacidade da plataforma de moldar e apresentar dados para consumo a jusante
  • Consumidores de dados - Os indivíduos, aplicações ou processos a jusante que consomem dados dos vários pontos de contacto de serviço das plataformas
  • Discover and Govern - As capacidades da Plataforma para controlar os dados que contém e garantir que são indexados, detetáveis/pesquisáveis, bem descritos, com toda a linhagem e transparentes para os seus utilizadores finais e processos de consumo.
  • Plataforma - A base sobre a qual a plataforma é construída, ou seja, as Fundações do Azure da Contoso, conforme descrito acima.

Nota

Para muitos clientes, o nível conceitual da arquitetura de referência da plataforma de dados usada será alinhado, mas a implementação física pode variar. Por exemplo, os processos ELT (extrair, carregar, transformar) podem ser executados por meio do Azure Data Factory e a modelagem de dados pelo SQL Server do Azure. Para resolver essa preocupação, a seção Apátrida vs Apátrida abaixo fornecerá orientações.

Para a Plataforma de Dados, a Contoso selecionou as camadas de serviço de produção recomendadas mais baixas para todos os componentes e optou por adotar uma estratégia de DR "Reimplantar em caso de desastre" com base em uma abordagem de minimização de custos operacionais.

As seções a seguir fornecerão uma compreensão básica do processo de DR e das alavancas disponíveis para os clientes melhorarem essa postura.

Serviço do Azure e modo de exibição de componente

As tabelas a seguir apresentam um detalhamento de cada serviço e componente do Azure usado na plataforma Contoso – Data, com opções para aprimoramento de DR.

Nota

As seções abaixo são organizadas por serviços stateful vs stateless

Componentes Fundamentais com Estado

  • ID do Microsoft Entra, incluindo direitos de função

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: Premium P1
    • Opções de elevação de DR: a resiliência do Microsoft Entra ID faz parte de sua oferta de SaaS
    • Observações

  • Azure Key Vault

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de atualização de DR: N/D, cobertas como parte do Serviço do Azure

  • Cofre dos Serviços de Recuperação

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: Padrão (GRS)
    • Opções de elevação de DR: Habilitar a restauração entre regiões cria restauração de dados na região secundária emparelhada
    • Observações
      • Embora o LRS e o ZRS estejam disponíveis, ele requer atividades de configuração da configuração padrão

  • Azure DevOps

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: Serviços de DevOps
    • Opções de elevação de DR: o serviço de DevOps e a resiliência de dados fazem parte de sua oferta de SaaS
    • Observações
      • O DevOps Server como oferta local continuará sendo responsabilidade do cliente pela recuperação de desastres
      • Se serviços de terceiros (SonarCloud, Jfrog Artifactory, Jenkins build servers, por exemplo) forem usados, eles permanecerão responsabilidade do cliente pela recuperação de um desastre
      • Se as VMs IaaS forem usadas na cadeia de ferramentas de DevOps, elas continuarão sendo responsabilidade do cliente pela recuperação de um desastre

Componentes Fundamentais Apátridas

  • Subscrições

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de atualização de DR: N/D, cobertas como parte do Serviço do Azure

  • Grupos de Gestão

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de atualização de DR: N/D, cobertas como parte do Serviço do Azure

  • Azure Monitor

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de atualização de DR: N/D, cobertas como parte do Serviço do Azure

  • Cost Management

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de atualização de DR: N/D, cobertas como parte do Serviço do Azure

  • Microsoft Defender para Cloud

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de atualização de DR: N/D, cobertas como parte do Serviço do Azure

  • Azure DNS

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: Zona Única - Pública
    • Opções de elevação DR: N/A, DNS é altamente disponível por design

  • Observador de rede

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de atualização de DR: N/D, cobertas como parte do Serviço do Azure

  • Redes Virtuais, incluindo Sub-redes, UDR e NSGs

    • Responsabilidade pela recuperação de componentes: Contoso
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: N/A
    • Opções de elevação de DR: as VNETs podem ser replicadas na região secundária emparelhada

  • Azure Firewall

    • Responsabilidade pela recuperação de componentes: Contoso
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: padrão
    • Opções de elevação de DR: o Firewall do Azure é altamente disponível por design e pode ser criado com zonas de disponibilidade para maior disponibilidade

  • Azure DDoS

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Proteção de rede DDoS
    • Opções de elevação de DR: N/A, cobertas como parte do serviço do Azure

  • Circuito ExpressRoute

    • Responsabilidade pela recuperação de componentes: Contoso, parceiro de conectividade e Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: parceiro de conectividade e Microsoft
    • Seleção de SKU da Contoso: padrão
    • Opções de elevação de DR:
      • O ExpressRoute pode ser aprimorado para usar emparelhamento privado, oferecendo um serviço com redundância geográfica
      • O ExpressRoute também tem projetos de alta disponibilidade disponíveis
      • A conexão VPN site a site pode ser usada como backup para a Rota Expressa
    • Observações
      • A Rota Expressa tem redundância incorporada, com cada circuito consistindo em duas conexões com dois roteadores de borda Microsoft Enterprise (MSEEs) em um local de Rota Expressa a partir da borda de rede do provedor/cliente de conectividade
      • O circuito premium da Rota Expressa permitirá o acesso a todas as regiões do Azure globalmente

  • Gateway de VPN

    • Responsabilidade pela recuperação de componentes: Contoso
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Zona Única - VpnGw1
    • Opções de elevação de DR: um gateway VPN pode ser implantado em uma zona de disponibilidade com as SKUs VpnGw#AZ para fornecer um serviço redundante de zona

  • Balanceador de Carga do Azure

    • Responsabilidade pela recuperação de componentes: Contoso
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: padrão
    • Opções de elevação de DR:
      • Um balanceador de carga pode ser configurado para redundância de zona dentro de uma região com zonas de disponibilidade. Em caso afirmativo, o caminho de dados sobreviverá enquanto uma zona dentro da região permanecer íntegra
      • Dependendo da região primária, um balanceador de carga entre regiões pode ser implantado para uma implantação inter-regional altamente disponível
    • Observações
      • O Azure Traffic Manager é um balanceador de carga de tráfego baseado em DNS. Este serviço suporta a distribuição de tráfego para aplicações públicas nas regiões globais do Azure. Esta solução fornecerá proteção contra uma interrupção regional dentro de um projeto de alta disponibilidade

Serviços específicos da plataforma Stateful Data

  • Conta de armazenamento: Azure Data Lake Gen2

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: LRS
    • Opções de aumento de DR: as contas de armazenamento têm uma ampla gama de opções de redundância de dados, desde redundância de região primária até redundância de região secundária
    • Observações
      • O GRS é recomendado para aumentar a redundância, fornecendo uma cópia dos dados na região emparelhada

  • Hubs de Eventos do Azure

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: padrão
    • Opções de elevação de DR: um namespace de hub de eventos pode ser criado com zonas de disponibilidade habilitadas. Essa resiliência pode ser estendida para cobrir uma interrupção completa da região com a recuperação de desastres geográficos
    • Observações
      • Por design, a recuperação de desastres geográficos dos Hubs de Eventos não replica dados, portanto, há várias considerações a ter em mente para failover e fallback

  • Azure IoT Hubs

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: padrão
    • Opções de elevação de DR:
    • Observações
      • O Hub IoT fornece failover iniciado pela Microsoft e failover manual replicando dados para a região emparelhada para cada hub IoT
      • O Hub IoT fornece HA Intrarregião e usará automaticamente uma zona de disponibilidade se criada em um conjunto predefinido de regiões do Azure

  • Azure Stream Analytics

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: padrão
    • Opções de atualização de DR: embora o Azure Stream Analytics seja uma oferta de PaaS totalmente gerenciada, ele não fornece failover geográfico automático. A redundância geográfica pode ser alcançada implantando trabalhos idênticos do Stream Analytics em várias regiões do Azure

  • Azure Machine Learning

    • Responsabilidade pela recuperação de componentes: Contoso e Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Uso Geral, instâncias da Série D
    • Opções de elevação de DR:
      • O Azure Machine Learning depende de vários serviços do Azure, alguns dos quais são provisionados na assinatura do cliente. Como tal, o cliente continua a ser responsável pela configuração de alta disponibilidade destes serviços
      • A resiliência pode ser aumentada por meio de uma implantação multirregional
    • Observações:

  • Power BI

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: Power BI Pro
    • Opções de elevação de DR: N/A, a resiliência do Power BI faz parte da sua oferta de SaaS
    • Observações

  • BD do Cosmos para o Azure

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: Gravação de região única com backup periódico
    • Opções de elevação de DR:
      • As contas de uma única região podem perder disponibilidade após uma interrupção regional. A resiliência pode ser aumentada para uma única região de gravação e pelo menos uma segunda região (de leitura) e habilitar o failover gerenciado pelo serviço
      • É recomendável que as contas do Azure Cosmos usadas para cargas de trabalho de produção habilitem o failover automático. Na ausência dessa configuração, a conta sofrerá perda de disponibilidade de gravação durante toda a duração da interrupção da região de gravação, pois o failover manual não terá êxito devido à falta de conectividade da região
    • Observações

  • Compartilhamento de Dados do Azure

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de elevação de DR: a resiliência do Compartilhamento de Dados do Azure pode ser aumentada pela implantação de HA em uma região secundária

  • Microsoft Purview

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: N/A
    • Opções de elevação DR: N/A
    • Observações
      • A partir de dezembro de 2023, o Microsoft Purview não suporta BCDR automatizado. Até que o suporte seja adicionado, o cliente é responsável por todas as atividades de backup e restauração.

Serviços específicos da plataforma Stateless Data

  • Sinapse do Azure: Pipelines

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Gen2 otimizada computada
    • Opções de elevação de DR: N/A, a resiliência Synapse faz parte de sua oferta de SaaS usando o recurso de failover automático
    • Observações
      • Se forem usados pipelines de dados auto-hospedados, eles continuarão sendo responsabilidade do cliente pela recuperação de um desastre

  • Azure Synapse: Data Explorer Pools

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Otimizado Computado, Pequeno (4 núcleos)
    • Opções de elevação de DR: N/A, a resiliência Synapse faz parte de sua oferta de SaaS
    • Observações

  • Azure Synapse: Spark Pools

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Otimizado Computado, Pequeno (4 núcleos)
    • Opções de elevação de DR: N/A, a resiliência Synapse faz parte de sua oferta de SaaS
    • Observações
      • Atualmente, o Azure Synapse Analytics oferece suporte apenas à recuperação de desastres para pools SQL dedicados e não oferece suporte para pools do Apache Spark

  • Azure Synapse: Pools SQL dedicados e sem servidor

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Gen2 otimizada computada
    • Opções de elevação de DR: N/A, a resiliência Synapse faz parte de sua oferta de SaaS
    • Observações

  • Serviços de IA do Azure (anteriormente Serviços Cognitivos)

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: pague conforme o uso
    • Opções de elevação de DR: N/A, as APIs para serviços de IA são hospedadas por data centers gerenciados pela Microsoft
    • Observações
      • Se os serviços de IA tiverem sido implantados por meio de contêineres Docker implantados pelo cliente, a recuperação continuará sendo responsabilidade do cliente

  • Azure AI Search (anteriormente Pesquisa Cognitiva)

    • Responsabilidade pela recuperação de componentes: Microsoft
    • Responsabilidade pela recuperação da carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: Standard S1
    • Opções de elevação de DR:
    • Observações
      • No AI Search, a continuidade de negócios (e a recuperação de desastres) é alcançada por meio de vários serviços de AI Search.
      • Não há nenhum mecanismo integrado para recuperação de desastres. Se o serviço contínuo for necessário durante uma falha catastrófica, a recomendação é ter um segundo serviço em uma região diferente e implementar uma estratégia de replicação geográfica para garantir que os índices sejam totalmente redundantes em todos os serviços

Componentes com estado vs sem estado

A velocidade da inovação no pacote de produtos da Microsoft e no Azure, em particular, significa que o conjunto de componentes que usamos para este exemplo trabalhado evoluirá rapidamente. Para evitar o fornecimento de orientações obsoletas e estender essa orientação a componentes não explicitamente cobertos neste documento, a seção abaixo fornece algumas instruções com base na classificação de estado de grão grosso.

Um componente/serviço pode ser descrito como stateful se for projetado para lembrar eventos anteriores ou interações do usuário. Apátrida significa que não há registro de interações anteriores, e cada solicitação de interação deve ser tratada com base inteiramente nas informações que vêm com ela.

Para um cenário de DR que exige reimplantação:

  • Componentes/serviços que são "sem estado", como o Azure Functions e os pipelines do Azure Data Factory, podem ser reimplantados a partir do controle do código-fonte com pelo menos um teste de fumaça para validar a disponibilidade antes de serem introduzidos no sistema mais amplo
  • Componentes/serviços que são "stateful", como o banco de dados SQL do Azure e contas de armazenamento, exigem mais atenção
    • Ao adquirir o componente, uma decisão importante será selecionar o recurso de redundância de dados. Essa decisão normalmente se concentra em um compromisso entre disponibilidade e durabilidade com custos operacionais
  • Os armazenamentos de dados também precisarão de uma estratégia de backup de dados. A funcionalidade de redundância de dados do armazenamento subjacente reduz esse risco para alguns projetos, enquanto outros, como bancos de dados SQL, precisarão de um processo de backup separado.
    • Se necessário, o componente pode ser reimplantado a partir do controle do código-fonte com uma configuração validada por meio de um teste de fumaça
    • Um armazenamento de dados reimplantado deve ter seu conjunto de dados reidratado. A reidratação pode ser realizada por meio de redundância de dados (quando disponível) ou de um conjunto de dados de backup. Uma vez concluída a reidratação, esta deve ser validada quanto à sua exatidão e exaustividade
      • Dependendo da natureza do processo de backup, os conjuntos de dados de backup podem exigir validação antes de serem aplicados. Corrupção/erro do processo de backup pode resultar em um backup anterior sendo usado no lugar da versão mais recente disponível
    • Qualquer delta entre o carimbo de data/hora do componente e a data atual deve ser resolvido executando ou reproduzindo os processos de ingestão de dados a partir desse ponto
    • Uma vez que o conjunto de dados do componente esteja atualizado, ele pode ser introduzido no sistema mais amplo

Outros serviços essenciais

Esta seção contém orientações de HA/DR para outros componentes e serviços importantes do Azure Data.

  • Azure Databricks - DR guidance pode ser encontrado na documentação do produto
  • Azure Analysis Services - As diretrizes de HA podem ser encontradas na documentação do produto
  • Banco de Dados do Azure para MySQL
    • As diretrizes de HA flexível do servidor podem ser encontradas na documentação do produto
    • As diretrizes de HA de servidor único podem ser encontradas na documentação do produto
  • SQL
    • As diretrizes do SQL sobre VMs do Azure podem ser encontradas na documentação do produto
    • As diretrizes do SQL do Azure e da Instância Gerenciada do SQL do Azure podem ser encontradas na documentação do produto

Próximos passos

Agora que você aprendeu sobre a arquitetura do cenário, você pode aprender sobre os detalhes do cenário