Entender as equipes e as funções para a análise em escala de nuvem no Azure

Para a análise em escala de nuvem, recomendamos mover as equipes como ingestão, processamento, análise, consumo e visualização do trabalho de equipes isoladas horizontalmente para equipes ágeis de domínio cruzado vertical em cada camada. Equipes de plataforma, como operações de plataforma de dados e operações de plataforma, são agrupadas em um grupo de plataforma comum.

Grupo de plataforma

O grupo de plataforma consiste em duas equipes:

• Operações de plataforma: as operações de plataforma fazem parte do grupo de plataformas. Ela opera e é proprietária da plataforma de nuvem. Essa equipe é responsável por criar uma instância da zona de destino de gerenciamento de dados e pelo scaffolding da zona de destino de dados, como rede, emparelhamento, serviço principal e monitoramento na análise em escala de nuvem.

Normalmente, ela ajuda as operações de plataforma de dados a desenvolver as interfaces de gerenciamento de serviços de TI para personas na zona de destino de dados no início da distribuição da análise em escala de nuvem. Essas interfaces tendem a ser chamadas à API REST a um serviço para integrar produtos de dados, definir a segurança e adicionar serviços às zonas de destino de dados.

• Operações de plataforma de dados: o grupo de operações da plataforma de dados é hospedado no grupo de plataformas. As operações da plataforma de dados fornecem serviços como monitoramento central, catalogação e políticas reutilizáveis para zonas e produtos de destino de dados. As operações da plataforma de dados são proprietárias da zona de destino de gerenciamento de dados, e as outras responsabilidades da equipe são:

Desenvolver infraestrutura

• Desenvolva modelos de infraestrutura como código para a zona de destino de dados. Os modelos precisam ser atualizados e mantidos ao longo do tempo e podem abranger vários cenários.
• Priorizar modelos e adicionar novas funcionalidades com base em um ciclo de feedback de outras equipes.
• Trabalhar em uma estrutura ágil com o objetivo comum de produzir modelos de infraestrutura padrão.

Responder a novas solicitações de zona de destino de dados

A equipe de operações da plataforma de dados deve fornecer as ferramentas e os serviços para dar suporte aos modelos que criaram. Ferramentas de gerenciamento de serviços de TI, como o ServiceNow, podem lidar com solicitações de tickets aprovadas pela equipe de operações da plataforma de dados para criar novas zonas de destino de dados. Depois de aprovada, uma nova zona de destino seria bifurcada do modelo base para criar um novo projeto de DevOps, e os pipelines implantariam modelos em um novo ambiente.

O loop de feedback e aprimoramento das operações da plataforma de dados

Duas opções estão disponíveis para aprimorar os modelos:

• As equipes responsáveis pelas instâncias de modelos de infraestrutura aprimorariam os modelos e as implantações de DevOps. Se as equipes descobrirem problemas nos modelos, as operações da plataforma de dados poderão dar suporte às equipes e mesclar as alterações de sua bifurcação no modelo.

• Outras equipes de zona de destino de dados devem poder criar tíquetes de lista de pendências e melhoria que aprimorem os modelos com base em como os tíquetes são priorizados.

Políticas do Azure para a análise em escala de nuvem

Os princípios de análise em escala de nuvem enfatizam a agilidade de autoatendimento e verificadores de integridade para proteger dados, custos e padrões. As operações da plataforma de dados trabalham com as operações da plataforma para definir a qualidade, e essas equipes colaboram para implementar as políticas de dados específicas. As operações da plataforma de dados devem seguir um processo de revisão para atualizar e manter novos recursos adicionados aos produtos.

Implantar e operar zonas de destino de gerenciamento de dados

Operações de plataforma de dados e operações de plataforma funcionam em conjunto para implantar e operar zonas de destino de gerenciamento de dados. Uma zona de destino de gerenciamento de dados fornece serviços compartilhados para zonas de destino de dados, tornando-a uma peça central da análise em escala de nuvem.

Operações da zona de destino de dados

As operações da zona de destino de dados operam e mantêm a instância da zona de destino de dados enquanto respondem a novas solicitações da equipe de aplicativo de dados. Elas fornecem muitos dos mesmos serviços que as operações da plataforma de dados, mas estão limitadas à sua zona de destino de dados.

Elas funcionam fora do repositório bifurcado que é criado quando uma zona de destino de dados é criada. Para solicitar alterações de política, elas precisam gerar tíquetes para operações de plataforma de dados para permitir essas exceções.

Dar suporte à equipe de aplicativo de dados para personalizar produtos de dados

A equipe de operações da zona de destino de dados dá suporte à equipe de aplicativo de dados usando solicitações de pull a fim de enviar novos modelos de produtos para os respectivos repositórios de produtos de dados.

Como proprietário da zona de destino, o Azure DevOps encaminha a aprovação para as alterações nas operações da zona de destino de dados:

• Se aprovadas, as alterações do modelo são movidas para a ramificação principal e implantadas na produção por meio de desenvolvimento contínuo/integração contínua, fazendo com que a plataforma/infraestrutura do produto de dados seja atualizada.

• Se negadas, as operações da zona de destino de dados trabalharão com a equipe de aplicativo de dados para corrigir as alterações.

Responder a novas solicitações de produtos de dados

As operações da zona de destino de dados dão suporte às equipes de aplicativo de dados para criar produtos de dados. Quando uma equipe de aplicativo de dados solicita assistência, uma solução de gerenciamento de serviços de TI, por exemplo, um aplicativo lógico de automação, orquestra a aprovação ou a implantação de um novo repositório de aplicativos de dados. As operações da zona de destino de dados são notificadas sobre as novas solicitações e aprovam ou recusam as implantações. Quando aprovado, um projeto de DevOps é criado, são criados forks do modelo principal e dos artefatos e um novo aplicativo de dados é implantado.

Aderir à Estrutura Bem Projetada do Microsoft Azure

As operações da zona de destino de dados são responsáveis pela zona de destino de dados e é recomendável que a equipe seja proficiente em Estrutura Bem Projetada do Azure, que fornece as diretrizes sobre a otimização de custos, confiabilidade e segurança.

Negócios como de costume

As operações da zona de destino de dados são responsáveis por tarefas comerciais que incluem a coleta de comentários e as solicitações de aprimoramento. Essas solicitações são priorizadas e compartilhadas com operações de plataforma de dados regularmente. A equipe monitora a zona de destino de dados para incidentes e eventos de integridade. Elas envolverão outras equipes de operações durante os incidentes graves para mitigar, restaurar backups, fazer failover e escalar serviços.

Equipe de aplicativo de dados

A equipe de aplicativo de dados fornece novos produtos de dados para a empresa. Obtidos dos armazenamentos de dados lidos das integrações de dados são transformados em soluções comerciais. Tudo que transforme dados para uso é classificado como um produto de dados. Essa equipe é, muitas vezes, uma combinação de especialistas técnicos e especialistas no assunto que podem ajudar a empresa a obter valor rapidamente. Os produtos de dados podem variar de relatórios simples e novos produtos de dados a configurações personalizadas com aplicativos Web de Kubernetes controlado por dados.

Novos produtos de dados

Proprietários de produtos e representantes comerciais criam solicitações para novos produtos de dados quando são necessários. O escritório de dados avalia os requisitos e monta uma nova equipe de aplicativo de dados com vários conhecimentos. A equipe identifica os produtos de dados necessários para o produto de dados e solicita permissão no ativo de dados. Se um novo produto de dados for necessário, a equipe de aplicativo de dados recebe um tíquete para ingeri-lo. A equipe identifica os serviços necessários para o novo produto de dados e solicita um novo produto de dados por meio do processo de implantação do aplicativo de dados. A equipe de aplicativo de dados recebe um repositório com fork do modelo de aplicativo de dados mestre para implantar o aplicativo de dados.

Certificar produtos de dados

Em uma plataforma de autoatendimento, qualquer pessoa pode criar relatórios, coletar produtos de dados em uma conta de armazenamento de desenvolvedor do Azure Data Lake e liberar produtos de dados para uso da empresa. As solicitações de revisão do produto de dados ocorrem quando:

• Os responsáveis pela empresa registram tíquetes para certificar produtos de dados.
• As operações da plataforma de dados nomeiam produtos de dados com base na popularidade.

Uma equipe de aplicativo de dados pode conduzir um processo de certificação, a ser definido como operações de plataforma de dados e segurança digital, que pode incluir:

• Testes feitos para validar as transformações de dados e a lógica de negócios
• Avaliações para: segurança, conformidade ou impacto no desempenho

Após a certificação, os artefatos são organizados e carregados em um repositório de produtos de dados, a documentação é publicada e a equipe de aplicativo de dados é notificada.

Suporte ao produto

Os usuários podem enviar comentários com uma solução de gerenciamento de serviços de TI ou diretamente no produto, à medida que um ticket é roteado para o proprietário do produto de dados. Esse usuário faz a triagem da solicitação e determina se deverá encaminhá-la para a equipe de aplicativo de dados para correção ou inserção de comentários em uma lista de pendências do produto e revisão dela durante os ciclos de planejamento do produto.

Equipe de aplicativos de ciência de dados

Embora a equipe de produtos de ciência de dados crie produtos de dados, ela é distinta porque as funções dela levam a produtos de dados. Isso resulta em modelos publicados tornando-se produtos de dados para outros usarem, e o padrão segue um modelo de operações de Machine Learning associado à zona de destino de dados.

A equipe de produtos de ciência de dados começa pesquisando e encontrando produtos de dados relevantes para o caso de uso. As soluções de governança de dados podem revelar mais detalhes, como qualidade de dados, linhagem ou um perfil ou um grupo de dados semelhante. Ela pesquisa se um exemplo de conjuntos de dados está disponível e se os dados são relevantes para o projeto. Depois que o acesso aos dados é concedido por meio de um catálogo de dados ou um pacote de acesso do Microsoft Entra, a equipe usa os serviços na zona de destino de dados para explorar e analisar os dados.

Antes de processar todos os dados, a equipe usa a computação local ou remota para processar e analisar os produtos de dados de exemplo. Ela pode otimizar os destinos de computação remotos com produtos de dados maiores para treinar e desenvolver modelos de machine learning com execuções, saídas e modelos acompanhados no Azure Machine Learning.

Quando a equipe desenvolve modelos de machine learning, ela começa a operacionalizar os modelos. Para isso, ela expande a equipe para incluir DataOps e engenheiros de machine learning que possam ajudar a mover os modelos para um novo produto de dados, conforme descrito em uma função da equipe de aplicativo de dados.

A equipe de ciência de dados continuará trabalhando com os proprietários do produto de dados associados para capturar comentários, suporte e modelos resolvidos e atualizados em produção usando uma metodologia de metodologia de operações de machine learning.

Analista

Os analistas representam um grande grupo que inclui os analistas de negócios, os usuários avançados e, geralmente, qualquer pessoa na organização com interesse em otimizar dados para criar novas informações de negócios. A habilitação de autoatendimento é um princípio fundamental que dá suporte aos analistas para acessar análises e dados sem precisar proteger recursos e orçamentos formais de TI.

Dica

As empresas devem exibir as informações criadas pelos analistas, como o próximo conjunto de produtos de dados em potencial a ser certificado para que outros usem dentro da empresa.

Localizar e solicitar dados

Os analistas consultam marketplaces/catálogos de dados para descobrir produtos de dados relevantes.

• Se o ativo de dados não puder ser localizado ou não existir, os analistas abrirão um tíquete de suporte com a equipe de aplicativo de dados. A equipe de aplicativo de dados ajuda a localizar o conjunto de dados ou adiciona a solicitação à lista de pendências para avaliá-la em outro ciclo de desenvolvimento.

• Se o conjunto de dados existir, a análise poderá identificar a associação ao grupo Microsoft Entra para ativos listados no catálogo e usar o portal de pacote de acesso do Azure para solicitar acesso ao grupo Microsoft Entra.

Compilar novos relatórios

Os analistas podem usar ferramentas como o Microsoft Power BI para integrar produtos de dados a relatórios. Esses relatórios podem ser para uso individual ou para publicação de um produto de dados certificado. Antes de publicar o relatório em toda a organização, ele precisa ser certificado com um processo de certificação de produto de dados para segurança, conformidade e desempenho.

Executar consultas conforme necessário

A análise em escala de nuvem tem workspaces compartilhados nos quais os analistas podem consultar dados, sujeitos a permissões. É comum que os produtos de dados forneçam computação dedicada para executar consultas conforme necessário. Em ambos os casos, o analista pode executar consultas em produtos de dados nas zonas de destino de dados. Também está sujeito a permissões. Os resultados das consultas podem ser armazenados em workspaces do Azure Data Lake para serem usados novamente.

Feedback do usuário

Como os analistas podem servir como uma fonte inexplorada de informações e melhorias, as empresas são altamente incentivadas a criar grupos de feedback de usuários para cada zona de destino de dados.

Além de participar desses grupos de usuários, os analistas devem enviar comentários sobre os ativos de dados para a equipe de aplicativo de dados e os problemas do catálogo de dados no catálogo de dados ou na solução de gerenciamento de serviços de TI. Eles podem enviar os problemas de processo de dados à equipe de aplicativo de dados ou em uma solução de gerenciamento de serviços de TI.

Observação

Um gerenciamento de serviços de TI deve servir como um local central para enviar feedback e escalonar problemas. Enviar feedback direto às equipes individuais pode parecer uma solução mais rápida, mas essa abordagem não dá visibilidade aos negócios dos desafios da plataforma. Uma solução de gerenciamento de serviços de TI com roteamento correto para as equipes de aplicativo de dados pode dar à organização uma visão unificada de toda a empresa.

Matriz de atribuição de responsabilidade

• Responsável: quem está completando a tarefa?
• Aprovador: quem está tomando as decisões e realizando as ações na tarefa?
• Consultado: quem recebe as comunicações sobre decisões e tarefas?
• Informado: quem é atualizado sobre as decisões e as ações durante o projeto?

Função	Ambiente de nuvem	Zona de destino do gerenciamento de dados	Zona de destino dos dados	Integração de dados	Produtos de dados
Proprietário do serviço	Informado	Aprovador	Consultado informado	Consultado informado	Consultado informado
Proprietário do serviço de zona de destino de dados	Informado	Consultado informado	Aprovador	Aprovador	Aprovador
Operações da plataforma de nuvem	Responsável	Consultado	Consultado	Consultado	Consultado
Operações de plataforma de dados	Consultado	Responsável	Responsável	Consultado	Consultado
Operações da zona de destino de dados	Informado	Responsável	Responsável	Responsável	Responsável
Equipe de aplicativo de dados		Informado	Informado	Informado	Responsável

Próximas etapas

A Estrutura Bem Projetada do Azure para cargas de trabalho de dados