Compreender equipas e funções para análise à escala da nuvem no Azure

Para análises em escala de nuvem, recomendamos mover equipes como ingestão, processamento, análise, consumo e visualização do trabalho em equipes isoladas horizontalmente para equipes ágeis verticais entre domínios em cada camada. As equipes de plataforma, como operações de plataforma de dados e operações de plataforma, são agrupadas em um grupo de plataforma comum.

Grupo da plataforma

O grupo da plataforma é composto por duas equipas:

• Operações da plataforma: As operações da plataforma fazem parte do grupo da plataforma. Ela opera e é proprietária da plataforma em nuvem. Essa equipe é responsável por instanciar a zona de aterrissagem de gerenciamento de dados e o andaime da zona de aterrissagem de dados, como rede, emparelhamento, serviço principal e monitoramento em análises em escala de nuvem.

Eles geralmente ajudam as operações da plataforma de dados a desenvolver interfaces de gerenciamento de serviços de TI para personas na zona de aterrissagem de dados no início da implantação de análises em escala de nuvem. Essas interfaces tendem a ser chamadas de API REST para um serviço para integrar produtos de dados, definir segurança e adicionar serviços a zonas de aterrissagem de dados.

• Operações da plataforma de dados: O grupo de operações da plataforma de dados está alojado dentro do grupo da plataforma. As operações da plataforma de dados fornecem serviços como monitoramento central, catalogação e políticas reutilizáveis para produtos e zonas de aterrissagem de dados. As operações da plataforma de dados são proprietárias da zona de aterrissagem de gerenciamento de dados, e as outras responsabilidades da equipe são:

Desenvolver infraestruturas

• Desenvolver modelos de infraestrutura como código para zona de aterrissagem de dados; Os modelos devem ser atualizados e mantidos ao longo do tempo, e podem abranger vários cenários.
• Priorize modelos e adicione novas funcionalidades com base em um ciclo de feedback de outras equipes.
• Trabalhe em uma estrutura ágil com o objetivo comum de produzir modelos de infraestrutura padrão.

Responder a novas solicitações de zona de aterrissagem de dados

A equipe de operações da plataforma de dados deve fornecer as ferramentas e os serviços para dar suporte aos modelos que eles criaram. Ferramentas de gerenciamento de serviços de TI como o ServiceNow podem lidar com solicitações de tíquetes aprovadas pela equipe de operações da plataforma de dados para criar novas zonas de aterrissagem de dados. Uma vez aprovada, uma nova zona de aterrissagem seria bifurcada do modelo base para criar um novo projeto de DevOps e os pipelines implantariam modelos em um novo ambiente.

A plataforma de dados ops feedback e loop de aprimoramento

Duas opções estão disponíveis para aprimorar os modelos:

• As equipes responsáveis pelas instâncias de modelo de infraestrutura aprimorariam seus modelos e implantações de DevOps. Se as equipes descobrirem problemas nos modelos, as operações da plataforma de dados poderão dar suporte às equipes e mesclar as alterações de volta de sua bifurcação no modelo.

• Outras equipes de zona de aterrissagem de dados devem ser capazes de criar tíquetes de melhoria e backlog que melhorariam os modelos com base em como os tíquetes são priorizados.

Políticas do Azure para análise em escala de nuvem

Os princípios de análise em escala de nuvem enfatizam a agilidade de autoatendimento e as proteções para proteger dados, custos e padrões. As operações da plataforma de dados trabalham com as operações da plataforma para definir a qualidade, e essas equipes colaboram para implementar políticas de dados específicas. As operações da plataforma de dados devem seguir um processo de revisão para atualizar e manter novos recursos que são adicionados aos produtos.

Implantar e operar zonas de aterrissagem de gerenciamento de dados

As operações da plataforma de dados e as operações da plataforma trabalham juntas para implantar e operar zonas de aterrissagem de gerenciamento de dados. Uma zona de aterrissagem de gerenciamento de dados fornece serviços compartilhados para zonas de aterrissagem de dados, tornando-se uma peça central da análise em escala de nuvem.

Operações da zona de aterrissagem de dados

As operações da zona de aterrissagem de dados operam e mantêm sua instância da zona de aterrissagem de dados enquanto respondem às solicitações da equipe de aplicativos de dados. Eles fornecem muitos dos mesmos serviços que as operações da plataforma de dados, mas estão limitados à sua zona de aterrissagem de dados.

Eles funcionam a partir do repositório bifurcado que é criado quando uma zona de aterrissagem de dados é criada. Para solicitar mudanças na política, eles precisam levantar tíquetes para operações da plataforma de dados para permitir essas exceções.

Suporte à equipe de aplicativos de dados para personalizar produtos de dados

A equipe de operações da zona de aterrissagem de dados dá suporte à equipe de aplicativos de dados usando solicitações pull para enviar novos modelos de produto para seus respetivos repositórios de produtos de dados.

Como proprietário da zona de aterrissagem, o Azure DevOps encaminharia a aprovação para alterações nas operações da zona de aterrissagem de dados:

• Se aprovadas, as alterações de modelo seriam movidas para a filial principal e implantadas na produção por meio de integração contínua/desenvolvimento contínuo, fazendo com que a plataforma/infraestrutura do produto de dados fosse atualizada.

• Se negado, as operações da zona de aterrissagem de dados trabalharão com a equipe do aplicativo de dados para corrigir as alterações.

Responder a novas solicitações de produtos de dados

As operações de zona de aterrissagem de dados suportam equipes de aplicativos de dados para criar novos produtos de dados. Quando uma equipe de aplicativos de dados solicita assistência, uma solução de gerenciamento de serviços de TI, por exemplo, um aplicativo lógico de automação, orquestra a aprovação ou a implantação de um novo repositório de aplicativos de dados. As operações da zona de aterrissagem de dados seriam notificadas de novas solicitações e aprovariam ou recusariam implantações. Uma vez aprovado, um novo projeto de DevOps é criado, o modelo principal e os artefatos são bifurcados e um novo aplicativo de dados é implantado.

Aderir à estrutura bem arquitetada do Azure

As operações da zona de aterrissagem de dados são responsáveis pela zona de aterrissagem de dados e é recomendável que a equipe seja proficiente no Azure Well-Architected Framework, que fornece orientação sobre otimização de custos, confiabilidade e segurança.

Tudo como dantes

As operações da zona de aterrissagem de dados são responsáveis por tarefas de negócios que incluem a coleta de feedback e solicitações de aprimoramento. Essas solicitações são priorizadas e compartilhadas com as operações da plataforma de dados regularmente. A equipe monitora a zona de pouso de dados em busca de incidentes e eventos de saúde. Eles envolverão outras equipes operacionais durante incidentes graves para mitigar, restaurar backups, failover e dimensionar serviços.

Equipa de aplicação de dados

A equipe de aplicativos de dados fornece novos produtos de dados para a empresa. Eles se originam de armazenamentos de dados lidos de integrações de dados e os transformam em soluções de negócios. Qualquer coisa que transforme dados para uso é classificada como um produto de dados. Esta equipa é muitas vezes uma mistura de especialistas técnicos e especialistas no assunto que podem ajudar a empresa a alcançar valor rapidamente. Os produtos de dados podem variar de relatórios simples e novos produtos de dados a configurações personalizadas com aplicativos Web Kubernetes orientados por dados.

Novos produtos de dados

Proprietários de produtos e representantes de empresas criam solicitações para novos produtos de dados quando são necessários. O escritório de dados avalia os requisitos e monta uma nova equipe de aplicação de dados com uma gama de conhecimentos. A equipe identifica os produtos de dados necessários para o produto de dados e solicita permissão para o ativo de dados. Se um novo produto de dados for necessário, a equipe de aplicativos de dados receberá um tíquete para ingeri-lo. A equipe identifica os serviços necessários para o novo produto de dados e solicita um novo produto de dados por meio do processo de implantação do aplicativo de dados. A equipe de aplicativo de dados recebe um repositório bifurcado do modelo de aplicativo de dados mestre para implantar o aplicativo de dados.

Certificar produtos de dados

Em uma plataforma de autoatendimento, qualquer pessoa pode criar relatórios, selecionar produtos de dados em uma conta de armazenamento de desenvolvedor do Azure Data Lake e liberar produtos de dados para a empresa usar. As solicitações de revisão de produtos de dados ocorrem quando:

• Os patrocinadores empresariais registram tíquetes para certificar produtos de dados.
• As operações da plataforma de dados nomeiam produtos de dados com base na popularidade.

Uma equipe de aplicativos de dados pode conduzir um processo de certificação, para ser definido operações de plataforma de dados e segurança digital, que pode incluir:

• Testes criados para validar transformações de dados e lógica de negócios
• Avaliações de: segurança, conformidade ou impacto no desempenho

Após a certificação, os artefatos são agrupados e carregados em um repositório de produtos de dados, a documentação é publicada e a equipe de aplicação de dados é notificada.

Suporte ao produto

Os usuários podem enviar comentários com uma solução de gerenciamento de serviços de TI ou diretamente no produto à medida que um tíquete é encaminhado para o proprietário do produto de dados. Esse indivíduo faz a triagem da solicitação e determina se deve encaminhá-la para a equipe de aplicativos de dados para corrigir ou inserir comentários em uma lista de pendências de produtos e revisá-la durante os ciclos de planejamento do produto.

Equipa de aplicações de ciência de dados

Embora a equipe de produtos de ciência de dados crie produtos de dados, ela é distinta porque suas funções levam a produtos de dados. Isso faz com que os modelos publicados se tornem produtos de dados para outros usarem, e o padrão segue um modelo de operações de Machine Learning associado à zona de aterrissagem de dados.

A equipe de produtos de ciência de dados começa pesquisando e encontrando produtos de dados relevantes para seu caso de uso. As soluções de governança de dados podem revelar mais detalhes, como qualidade de dados, linhagem ou um conjunto de dados ou perfil semelhante. Eles pesquisam se um conjunto de dados de amostra está disponível e se os dados são relevantes para o projeto. Depois que o acesso aos dados é concedido por meio de um catálogo de dados ou de um pacote de acesso do Microsoft Entra, a equipe usa os serviços na zona de aterrissagem de dados para explorar e analisar os dados.

Antes de processar todos os dados, a equipe usa computação local ou remota para processar e analisar produtos de dados de amostra. Eles podem otimizar destinos de computação remota com produtos de dados maiores para treinar e desenvolver modelos de aprendizado de máquina com execuções, saídas e modelos que são rastreados dentro do Azure Machine Learning.

Quando a equipa desenvolve modelos de aprendizagem automática, começa a operacionalizá-los. Para isso, eles expandem a equipe para incluir DataOps e engenheiros de aprendizado de máquina que podem ajudar a mover os modelos para um novo produto de dados, conforme descrito em uma função de equipe de aplicativo de dados.

A equipe de ciência de dados continuará a trabalhar com os proprietários de produtos de dados associados para capturar feedback, suporte e modelos resolvidos e atualizados em produção usando uma metodologia de operações de aprendizado de máquina.

Analista

Os analistas representam um grande grupo que inclui analistas de negócios, usuários avançados e, geralmente, qualquer pessoa na organização com interesse em otimizar dados para criar novos insights de negócios. A habilitação de autosserviço é um princípio fundamental que oferece suporte aos analistas para acessar análises e dados sem ter que proteger o orçamento e os recursos formais de TI.

Gorjeta

As empresas devem ver os insights criados pelos analistas como o próximo conjunto de potenciais produtos de dados a serem certificados para outros usarem dentro do negócio.

Localizar e solicitar dados

Os analistas consultam mercados/catálogos de dados para descobrir produtos de dados relevantes.

• Se o ativo de dados não puder ser encontrado ou não existir, os analistas abrirão um tíquete de suporte com a equipe de aplicativos de dados. A equipe do aplicativo de dados ajuda a encontrar o conjunto de dados ou adiciona a solicitação à lista de pendências para avaliá-la em outro ciclo de desenvolvimento.

• Se o conjunto de dados existir, a análise poderá identificar a associação ao grupo Microsoft Entra para ativos listados no catálogo e usar o portal do pacote de acesso do Azure para solicitar acesso ao grupo Microsoft Entra.

Crie novos relatórios

Os analistas podem usar ferramentas como o Microsoft Power BI para integrar produtos de dados em relatórios. Esses relatórios podem ser para uso individual ou publicar um produto de dados certificado. Antes de publicar o relatório em toda a organização, ele precisaria ser certificado com um processo de certificação de produto de dados para segurança, conformidade e desempenho.

Executar consultas conforme necessário

A análise em escala de nuvem tem espaços de trabalho compartilhados onde os analistas podem consultar dados, sujeitos a permissões. É comum que os produtos de dados forneçam computação dedicada para executar consultas conforme necessário. Em ambos os casos, o analista pode executar consultas em produtos de dados nas zonas de aterrissagem de dados. Também está sujeito a permissões. Os resultados das consultas podem ser armazenados nos espaços de trabalho do Azure Data Lake para serem usados novamente.

Feedback do utilizador

Como os analistas podem servir como uma fonte inexplorada de informações e melhorias, as empresas são altamente incentivadas a criar grupos de feedback de usuários para cada zona de aterrissagem de dados.

Além de participar desses grupos de usuários, os analistas devem enviar comentários sobre ativos de dados para a equipe de aplicativos de dados e problemas de catálogo de dados dentro do catálogo de dados ou da solução de gerenciamento de serviços de TI. Eles podem enviar problemas de processo de dados para a equipe de aplicativos de dados ou dentro de uma solução de gerenciamento de serviços de TI.

Nota

Um gerenciamento de serviços de TI deve servir como um local central para enviar comentários e escalar problemas. Enviar feedback direto para equipes individuais pode parecer uma solução mais rápida, mas essa abordagem não dá à empresa visibilidade dos desafios na plataforma. Uma solução de gerenciamento de serviços de TI com roteamento correto para as equipes de aplicativos de dados pode dar aos negócios uma visão única em toda a empresa.

Matriz de atribuição de responsabilidades

• Responsável: Quem está a concluir a tarefa?
• Responsável: Quem está tomando decisões e tomando ações sobre a tarefa?
• Consultado: Quem recebe comunicações sobre decisões e tarefas?
• Informado: Quem está atualizado sobre as decisões e ações durante o projeto?

Função	Ambiente na nuvem	Zona de aterrissagem de gerenciamento de dados	Zona de aterragem de dados	Integração de dados	Produtos de dados
Proprietário do serviço	Informado	Prestação de contas	Consultado informado	Consultado informado	Consultado informado
Proprietário do serviço da zona de aterrissagem de dados	Informado	Consultado informado	Prestação de contas	Prestação de contas	Prestação de contas
Operações da plataforma na nuvem	Responsável	Consultado	Consultado	Consultado	Consultado
Operações da plataforma de dados	Consultado	Responsável	Responsável	Consultado	Consultado
Operações da zona de aterrissagem de dados	Informado	Responsável	Responsável	Responsável	Responsável
Equipa de aplicação de dados		Informado	Informado	Informado	Responsável

Próximos passos

A estrutura bem arquitetada do Azure para cargas de trabalho de dados