Organizar membros da equipe de operações de dados
A arquitetura de análise em escala de nuvem foi projetada com um conjunto de princípios básicos.
Princípios básicos
Habilitação de autoatendimento: permitir que as equipes de projeto trabalhem por conta própria para permitir métodos de desenvolvimento ágeis.
Governança: impor os proteções na plataforma do Azure para garantir que as equipes de projeto vejam apenas, alterem e executem as funções dentro de suas permissões.
Implantações simplificadas: verifique se as políticas comuns estão disponíveis na organização para ajudar as equipes a escalar rapidamente e dar suporte a equipes com menos experiência em alguns designs e artefatos principais.
Funções e equipes
No caso das análises em escala de nuvem, recomenda-se a substituição de equipes com operações isoladas por equipes ágeis que abrangem diversos domínios. A equipe de operações de dados se concentra em conduzir a governança no plano de controle, enquanto as equipes de aplicativos de dados se concentram na criação de dados como um produto. Isso pode significar uma mudança organizacional para um padrão mais alinhado ao desenvolvimento de aplicativos. Por exemplo, cada aplicativo tem um proprietário de produto, que define os requisitos e trabalha com a equipe que abrange diversos domínios para entregar um produto. Nesse caso, o produto são os dados para consumo.
Para saber mais, confira Entender as funções e as equipes de análise em escala de nuvem no Azure
Implantação e operações
O processo de implantação e o modelo de operações de dados (DataOps) é uma parte essencial que dá suporte a alguns desses princípios fundamentais. As diretrizes a seguir são recomendadas para que as organizações se alinhem aos princípios:
- Use a infraestrutura como código.
- Implante modelos que abrangem os principais casos de uso dentro da empresa.
- Siga um processo de implantação que inclui uma estratégia para GitHub forks e branches.
- Mantenha um repositório central e implante zonas de destino de gerenciamento de dados.
Colaboradores com habilidades individuais e identificáveis devem estabelecer um grupo de plataforma para reger centralmente a infraestrutura da plataforma de dados e criar e implantar partes comuns da infraestrutura de dados para a zona de destino de gerenciamento de dados, além de várias zonas de destino de dados. O grupo de plataforma também pode criar, ter propriedade e fornecer tecnologias abrangentes que ajudam as equipes de aplicativos de dados a capturar, processar, armazenar e manter esses aplicativos.
A equipe deve apresentar seus serviços de maneira de autoatendimento, o que pode incluir ferramentas para armazenar Big Data, controle de versão de dados do produto, organização/implementação do pipeline de dados, desidentificação de dados e muito mais. Esses tipos de ferramentas são fundamentais para minimizar gargalos no fluxo de trabalho e reduzir o prazo de criação de novos produtos de dados.
O grupo de plataformas deve seguir as práticas recomendadas descritas nesta seção para atingir seus objetivos. Outras equipes de produtos de dados devem usar as práticas recomendadas nos próximos artigos para testar e automatizar seus dados.
Para saber mais, confira Automação de DevOps para análises em escala de nuvem no Azure