Provisione a análise em escala de nuvem
Processo de implantação da zona de aterrissagem de gerenciamento de dados
A equipe de operações da plataforma de dados é responsável pela implantação de uma zona de aterrissagem de gerenciamento de dados. A zona de aterrissagem de gerenciamento de dados deve ter seu próprio repositório mantido pela equipe de operações da plataforma de dados.
Atenção
Crie e implante uma zona de aterrissagem de gerenciamento de dados antes que qualquer zona de aterrissagem de dados seja implantada.
Processo de implantação da zona de aterrissagem de dados
As equipes podem usar modelos fornecidos pela equipe de operações da plataforma de dados para evitar começar do zero para cada ativo. Recomendamos um padrão de bifurcação para automatizar a implantação de uma nova zona de pouso.
Por exemplo, uma equipe de operações de zona de aterrissagem de dados solicita uma nova zona de aterrissagem de dados usando uma ferramenta de gerenciamento de TI ou Power Apps. Após a aprovação da solicitação, inicie o seguinte fluxo de trabalho usando parâmetros da solicitação:
- Implante uma nova assinatura para a nova zona de aterrissagem de dados.
- Fork a ramificação principal do modelo de zona de aterrissagem de dados para criar um novo repositório.
- Crie uma conexão de serviço no novo repositório.
- Atualize os parâmetros no novo repositório com base nos parâmetros da solicitação.
- Crie um pipeline de implantação para implantar os serviços, acionado pelo check-in dos parâmetros atualizados.
- Notifique a equipe de operações da zona de pouso de dados de que a nova zona de pouso está disponível.
A equipe de operações da zona de aterrissagem de dados agora pode alterar ou adicionar modelos do Azure Resource Manager.
Esse fluxo de trabalho pode ser automatizado usando vários conjuntos de serviços na plataforma Azure. Manipule algumas das etapas, como renomear parâmetros em arquivos de parâmetros, usando pipelines de CI/CD. Outras etapas podem ser executadas usando outras ferramentas de orquestração de fluxo de trabalho, como Aplicativos Lógicos.
O padrão de bifurcação permite que as equipes atualizem seus modelos a partir dos modelos originais usados para bifurcá-los. Além disso, se melhorias ou novos recursos forem implementados nos repositórios de modelos, as equipes de operações poderão colocá-los em sua bifurcação.
Adotar práticas recomendadas para repositórios, como:
- Proteja a filial principal.
- Use ramificações para alterações, atualizações e melhorias.
- Defina os proprietários de código que aprovam solicitações pull antes de mesclar as alterações na ramificação principal.
- Valide ramificações por meio de testes automatizados.
- Limite o número de ações e pessoas na equipe, como quem pode acionar pipelines de compilação e lançamento.
Gorjeta
Coordene atividades entre equipes para garantir que melhorias ou novos recursos nos modelos originais sejam replicados em todas as instâncias da zona de aterrissagem de dados. As equipes de operações podem puxar as alterações de modelo originais para a bifurcação.
O processo de integração é separado do processo de implantação da zona de aterrissagem de dados. Essa separação se baseia na suposição de que a maioria das organizações tem um processo de implantação de assinatura padrão do Azure como parte de seu modelo operacional de nuvem. O processo de integração implanta componentes corporativos padrão (como uma ferramenta de gerenciamento de serviços de TI de terceiros). Os componentes específicos da zona de aterrissagem de dados são implantados em seguida.
Não há APIs Git disponíveis para clonar/atualizar/confirmar/enviar na solução de automação proposta. Portanto, nossa abordagem é usar uma conta de Automação do Azure contendo runbooks do PowerShell que:
- Configurar uma zona de aterrissagem de dados
- Fork o repositório principal para um repositório Git de plataforma de dados
- Configurar as configurações de sub-rede para a zona de aterrissagem de dados
- Configurar o Microsoft Entra ID
Os runbooks usam funções Git do GitAutomation módulo PowerShell para trabalhar com repositórios Git. Ao instalar este módulo dentro de uma conta de Automação do Azure, os usuários podem fazer operações de criação, clonagem, consulta, push, pull e commit em repositórios Git. A imagem a seguir mostra o GitAutomation módulo instalado dentro de uma conta de Automação do Azure:
Use a Copy-GitRepository função do GitAutomation módulo para clonar o repositório Git principal da URL especificada pelo caminho Git da plataforma de dados especificado pelo URLDestinationPath.
Essa abordagem para a implantação da zona de aterrissagem de dados é flexível, ao mesmo tempo em que garante que as ações estejam em conformidade com os requisitos organizacionais. O gerenciamento do ciclo de vida é habilitado pela aplicação de novos recursos ou otimizações dos modelos originais.
Processo de implantação de aplicativos de dados
Após a criação de uma zona de aterrissagem de dados, a integração pode ser iniciada para as equipes de aplicativos de dados. As equipes de operações da plataforma de dados ou da zona de aterrissagem de dados concedem aprovação de implantação.
A implantação é feita diretamente usando ferramentas de DevOps ou chamada por meio de pipelines/fluxos de trabalho expostos como APIs. Semelhante à zona de aterrissagem de dados, a implantação começa com a bifurcação do repositório original do aplicativo de dados.
- O usuário faz uma solicitação para novos serviços de aplicativo de dados.
- O processo de fluxo de trabalho solicita aprovação da plataforma de dados ou da equipe de operações da zona de aterrissagem de dados.
- O fluxo de trabalho chama a API de gerenciamento de serviços de TI para criar os grupos de recursos necessários e a criação de uma conexão de serviço do Azure DevOps. O fluxo de trabalho atribui uma equipe ao projeto Azure DevOps.
- O fluxo de trabalho bifurca o repositório de aplicativos de dados original para criar o projeto de destino do Azure DevOps.
- O fluxo de trabalho cria um arquivo de parâmetro de modelo do Azure Resource Manager e pipelines.
- Em seguida, o fluxo de trabalho inicia um pipeline do Azure para criar os requisitos de rede e outro pipeline do Azure para implantar os serviços de aplicativo de dados.
- O fluxo de trabalho notifica o usuário na conclusão.
Gorjeta
Se você é novo em DataOps, revise o DataOps para o laboratório prático moderno de data warehouse no Centro de Arquitetura do Azure. O cenário do laboratório descreve um escritório de planejamento urbano fictício que pode usar essa solução de implantação. A solução de implantação fornece um pipeline de dados de ponta a ponta que segue o padrão de arquitetura de data warehouse moderno, juntamente com os processos correspondentes de DevOps e DataOps, para avaliar o uso do estacionamento e tomar decisões de negócios informadas.
Resumo
Os padrões acima fornecem controle, agilidade, autosserviço e gerenciamento do ciclo de vida das políticas.
No início do projeto, a plataforma de dados tem um projeto de DevOps do Azure com um ou mais Painéis do Azure. As equipes individuais de DevOps se concentram em:
- Um repositório para a zona de aterrissagem de gerenciamento de dados, pipelines e uma conexão de serviço com o ambiente de nuvem.
- Um repositório de modelos para a zona de aterrissagem de dados, pipelines para implantar uma instância de zona de aterrissagem de dados e conexões de serviço para ambientes de nuvem.
- Um repositório de modelos para serviços de produtos de dados, pipelines para implantar uma instância de produto de dados e conexões de serviço para ambientes de nuvem. Essas conexões são bifurcadas da zona de aterrissagem de dados Projetos de DevOps do Azure.
Uma vez implantadas as zonas de aterrissagem de dados, a análise em escala de nuvem prescreve que:
- Cada zona de aterrissagem de dados terá seu próprio projeto de DevOps do Azure com um ou mais Painéis do Azure.
- Para cada aplicativo de dados, sua zona de aterrissagem de dados Azure DevOps project fork é criada após a aprovação da solicitação.
- Cada aplicação de dados inclui:
- Uma conexão de serviço.
- Um pipeline registrado.
- Uma equipe de DevOps com acesso ao quadro e repositório do Azure.
- Um conjunto diferente de políticas para o repositório bifurcado.
Para controlar a implantação de aplicativos de dados, siga estas práticas:
- A equipe de operações da zona de pouso de dados possui e protege a ramificação principal do repositório.
- Somente a ramificação principal é usada para implantar em ambientes de teste e produção.
- As ramificações de recursos podem ser implantadas em ambientes de desenvolvimento.
- As ramificações de recursos são de propriedade das equipes de DataOps. Eles são usados para testar recursos novos ou modificados.
- As equipes de DataOps podem mesclar ramificações de recursos em outras ramificações de recursos sem aprovação.
- As equipes de DataOps criam uma solicitação pull para mesclar ramificações de recursos na ramificação principal, e a equipe de operações da zona de aterrissagem de dados fornece aprovação.
- Novos recursos ou melhorias para os modelos originais são mesclados no repositório bifurcado para mantê-los atualizados.