Análise à escala da cloud
Com formas maiores e mais sofisticadas de adoção da cloud, o seu percurso para a cloud torna-se mais complexo. A análise à escala da cloud do Azure é uma arquitetura dimensionável e repetível que satisfaz as necessidades únicas da sua organização para criar plataformas de dados modernas.
A análise à escala da cloud abrange considerações técnicas e não técnicas para análise e governação na cloud. Esta documentação de orientação procura suportar a adoção híbrida e multicloud ao ser agnóstico na cloud, mas os exemplos de implementação técnica incluídos focam-se nos produtos do Azure.
A análise à escala da cloud tem os seguintes objetivos:
- Servir dados como um produto, em vez de um subproduto
- Fornecer um ecossistema de produtos de dados, em vez de um armazém de dados singular que possa não se adequar melhor ao seu cenário de dados
- Impulsionar uma abordagem predefinida para impor a governação e a segurança dos dados
- Levar as equipas a atribuir prioridades consistentes aos resultados empresariais em vez de se concentrarem apenas na tecnologia subjacente.
A análise à escala da cloud baseia-se na arquitetura de adoção da cloud da Microsoft e requer a compreensão das zonas de destino. Se ainda não tiver uma implementação das zonas de destino do Azure, consulte as suas equipas de cloud sobre como cumprir os pré-requisitos. Para obter mais informações, veja Garantir que o ambiente está preparado para o plano de adoção da cloud.
As arquiteturas de referência permitem-lhe começar com uma pequena quantidade de espaço e crescer ao longo do tempo, adaptando o cenário aos seus casos de utilização.
A análise à escala da cloud inclui modelos repetíveis que aceleram cinco implementações de recursos e infraestruturas principais. Também é adaptável para diferentes tamanhos de organização. Se for uma pequena empresa com recursos limitados, um modelo de operações centralizado misturado com alguns especialistas em assuntos empresariais poderá corresponder à sua situação. Se for uma empresa maior com unidades de negócio autónomas (cada uma com os seus próprios engenheiros de dados e analistas) como objetivo, então um modelo operacional distribuído, como a malha de dados ou os recursos de infraestrutura de dados, poderá responder melhor às suas necessidades.
Objetivos
A análise à escala da cloud fornece uma arquitetura baseada nos seguintes princípios. Estes princípios abordam desafios com arquiteturas de dados complexas que não se dimensionam de acordo com as necessidades das organizações.
| Princípio | Descrição |
|---|---|
| Permitir |
|
| Seguir |
|
| Suporte |
|
| Adotar |
|
| Consolidação |
|
| Ativar |
|
Orientações de implementação
As orientações de implementação podem ser divididas em duas secções:
- Orientação global que se aplica a todas as cargas de trabalho.
- Orientações específicas à escala da cloud
Orientação global
| Documentação | Descrição |
|---|---|
| Cloud Adoption Framework | A gestão e governação de dados é um processo de ciclo de vida, que começa por basear-se na sua estratégia de cloud existente e passa até às suas operações em curso. O Cloud Adoption Framework ajuda a orientar o ciclo de vida completo do seu património de dados. |
| Well-Architected Framework do Azure | A arquitetura e as operações da carga de trabalho têm um efeito direto nos dados. Compreenda como a sua arquitetura pode melhorar a gestão e a governação dos dados da carga de trabalho. |
Orientações específicas à escala da cloud
| Section | Description |
|---|---|
| Criar uma Estratégia Inicial | Como criar a sua estratégia de dados e dinamizar para se tornar uma organização condicionada por dados. |
| Definir o seu plano | Como desenvolver um plano de análise à escala da cloud. |
| Preparar o património da análise | Descrição geral da gestão de dados e zonas de destino de dados com considerações importantes sobre a área de design, como inscrição empresarial, rede, gestão de identidades e acessos, políticas, continuidade de negócio e recuperação após desastre. |
| Governar a sua análise | Requisitos para governar dados, catálogo de dados, linhagem, gestão de dados principais, qualidade de dados, contratos de partilha de dados e metadados. |
| Proteger o seu património analítico | Como proteger o património da análise com autenticação e autorização, privacidade de dados e gestão do acesso a dados. |
| Organizar pessoas e equipas | Como organizar operações, funções, equipas e funções de equipa eficazes. |
| Gerir o seu património analítico | Como aprovisionar a plataforma e a observabilidade para um cenário. |
Arquiteturas
Esta secção aborda os detalhes das implementações físicas da análise à escala da cloud. Mapeia as arquiteturas físicas das zonas de destino de gestão de dados e das zonas de destino de dados.
A análise à escala da cloud tem dois conceitos de arquitetura fundamentais:
- A zona de destino de dados
- A zona de destino da gestão de dados
Estas arquiteturas uniformizam as melhores práticas e minimizam os estrangulamentos de implementação das suas equipas de desenvolvimento e podem acelerar a implementação de soluções de análise comuns à escala da cloud. Pode adotar as respetivas orientações para arquiteturas de lakehouse e de malha de dados. Essa documentação de orientação realça as capacidades necessárias para uma plataforma de análise bem governada que se dimensione de acordo com as suas necessidades.
O diagrama seguinte fornece uma descrição geral de uma plataforma de dados que contém uma zona de destino de gestão de dados central e várias zonas de destino de dados.
Pode começar com uma única zona de destino e dimensionar para várias zonas de destino e governá-las todas a partir da zona de destino de gestão de dados.
Para obter mais informações, consulte: Descrição Geral das Arquiteturas
Modelos de implementação
Esta secção inclui muitos modelos de referência que podem ser implementados.
| Repositório | Conteúdo | Necessário | Modelo de implementação |
|---|---|---|---|
| Modelo de gestão de dados | Serviços de gestão de dados centrais e serviços de dados partilhados, como o catálogo de dados e o runtime de integração autoalojado | Yes | Uma por análise à escala da cloud |
| Modelo de zona de destino de dados | Serviços partilhados da zona de destino de dados, incluindo serviços de ingestão, gestão e armazenamento de dados | Yes | Uma por zona de destino de dados |
| Modelo de integração de dados – processamento em lotes | Serviços adicionais necessários para o processamento de dados em lote | No | Uma ou mais por zona de destino de dados |
| Modelo de integração de dados – processamento de fluxos | Serviços adicionais necessários para o processamento do fluxo de dados | No | Uma ou mais por zona de destino de dados |
| Modelo de produto de dados – análise e ciência de dados | Serviços adicionais necessários para a análise de dados e IA | No | Uma ou mais por zona de destino de dados |
Estes modelos contêm modelos de Resource Manager do Azure, ficheiros de parâmetros dos modelos e definições de pipeline ci/CD para implementação de recursos.
Os modelos podem mudar ao longo do tempo devido a novos serviços e requisitos do Azure. Proteja o ramo principal de cada repositório para que permaneça livre de erros e pronto para consumo e implementação. Utilize uma subscrição de desenvolvimento para testar as alterações de configuração do modelo antes de intercalar as melhorias de funcionalidades novamente no ramo principal.
Para obter mais informações, veja Modelos de implementação.
Aceleradores de soluções
Os Aceleradores de Soluções são projetos open source no GitHub. Estes repositórios contêm recursos e informações que simplificam e aceleram a sua capacidade de resolver problemas com a tecnologia.
Para obter mais informações, veja Aceleradores de soluções.
Melhores práticas
Os seguintes artigos avançados de nível 300+ no índice de análise à escala da cloud podem ajudar as equipas de TI centrais a implementar ferramentas e a gerir processos de gestão e governação de dados:
- Ingestão de dados para análise à escala da cloud
- Data lake Storage para análise à escala da cloud
- Utilizar o Azure Databricks na análise à escala da cloud
- Utilizar o Azure Synapse Analytics para análise à escala da cloud
- Lista de verificação de preparação do Azure Purview para análise à escala da cloud
- Azure Machine Learning como um produto de dados para análise à escala da cloud
Produtos do Azure em destaque
Expanda a secção Produtos do Azure em destaque no índice de análise à escala da cloud para saber mais sobre os produtos do Azure que suportam a análise à escala da cloud.
Percursos comuns do cliente
Os seguintes percursos comuns do cliente suportam a análise à escala da cloud:
Prepare o seu ambiente. Utilize os artigos Preparar o seu ambiente como recursos. Estabeleça processos e abordagens que suportem todo o portefólio de cargas de trabalho no seu património de dados.
Melhore os controlos em todo o seu património de dados. Concentre-se nos artigos Governar o seu património de dados e Proteger o seu património de dados para integrar a análise à escala da cloud nas suas operações existentes.
Influencie as alterações a cargas de trabalho individuais. À medida que os seus processos de análise à escala da cloud melhoram, as suas equipas de governação de dados centrais encontrarão requisitos que dependem do conhecimento da arquitetura por trás de cargas de trabalho individuais. Utilize os artigos de Arquitetura para compreender como pode utilizar os cenários no seu caso de utilização.
Otimizar cargas de trabalho individuais e equipas de cargas de trabalho. Comece com a documentação de orientação do Azure Well-Architected Framework para integrar estratégias de análise à escala da cloud em cargas de trabalho individuais. Esta documentação de orientação descreve as melhores práticas e arquiteturas que as equipas centrais de TI e de governação devem utilizar para acelerar o desenvolvimento de cargas de trabalho individuais.
Utilize as melhores práticas para integrar recursos individuais. Expanda a secção Melhores práticas no índice de análise à escala da cloud para encontrar artigos sobre processos para integrar todo o seu património de dados num plano de controlo de análise à escala da cloud.
Utilize produtos específicos do Azure. Acelere e melhore as suas capacidades de análise à escala da cloud com os produtos do Azure na secção Produtos do Azure em destaque do índice de análise à escala da cloud .
Tome medidas
Para obter mais informações sobre o planeamento da implementação da análise à escala da cloud, veja:
Passos seguintes
Inicie o seu percurso de análise à escala da cloud: