Análise em escala de nuvem
Com formas maiores e mais sofisticadas de adoção da nuvem, seu percurso para a nuvem se torna mais complexa. A análise em escala de nuvem do Azure é uma estrutura escalonável e repetível que atende às necessidades exclusivas da sua organização para a criação de plataformas de dados modernas.
A análise em escala de nuvem aborda considerações técnicas e não técnicas para análise e governança na nuvem. Estas diretrizes procuram dar suporte à adoção híbrida e multicloud por ser independente da nuvem, mas os exemplos de implementação técnica incluídos se concentram nos produtos do Azure.
A análise em escala de nuvem tem as seguintes metas:
- Servir dados como um produto, em vez de como um subproduto
- Fornecer um ecossistema de produtos de dados em vez de um único data warehouse, que talvez não se ajuste bem ao cenário de dados
- Conduzir uma abordagem padrão para impor a governança e a segurança de dados
- Incentive as equipes a priorizar consistentemente os resultados de negócios em vez de se concentrar apenas na tecnologia subjacente.
A análise em escala de nuvem se baseia na estrutura de adoção de nuvem da Microsoft e requer a compreensão das zonas de destino. Se você não tiver uma implementação de zonas de destino do Azure, consulte suas equipes de nuvem sobre como atender aos pré-requisitos. Para saber mais, confira Verificar se o ambiente está preparado para o plano de adoção da nuvem.
As arquiteturas de referência permitem que você comece com um pequeno volume e cresça ao longo do tempo, adaptando o cenário aos casos de uso.
A análise em escala de nuvem inclui modelos repetíveis que aceleram cinco implantações principais de infraestrutura e recursos. Também é adaptável para diferentes tamanhos de organização. Se você é uma pequena empresa com recursos limitados, um modelo de operações centralizado combinado com alguns especialistas no assunto de negócios pode se adequar à sua situação. Se você é uma empresa maior com unidades de negócios autônomas (cada uma com seus próprios engenheiros e analistas de dados) como seu objetivo, um modelo operacional distribuído, como malha de dados ou estrutura de dados, pode atender melhor às suas necessidades.
Objetivos
A análise em escala de nuvem fornece uma estrutura baseada nos princípios a seguir. Esses princípios abordam desafios com arquiteturas de dados complexas que não são escaladas para as necessidades das organizações.
| Princípio | DESCRIÇÃO |
|---|---|
| Permitir |
|
| Seguir |
|
| Suporte |
|
| Adotar |
|
| Confirmar |
|
| Habilitar |
|
Diretrizes de implementação
As diretrizes de implementação podem ser divididas em duas seções:
- Diretrizes globais que se aplicam a todas as cargas de trabalho.
- Diretrizes específicas de escala de nuvem
Diretrizes globais
| Documentação | Descrição |
|---|---|
| Cloud Adoption Framework | Gerenciar e governar dados é um processo de ciclo de vida, que começa com base em sua estratégia de nuvem existente e se estende até suas operações em andamento. O Cloud Adoption Framework ajuda a orientar o ciclo de vida completo do seu patrimônio de dados. |
| Estrutura bem arquitetada do Azure | A arquitetura de carga de trabalho e as operações têm um impacto direto nos dados. Entenda como a arquitetura pode melhorar o gerenciamento e a governança dos dados da carga de trabalho. |
Diretrizes específicas de escala de nuvem
| Seção | Descrição |
|---|---|
| Criar uma estratégia inicial | Como construir sua estratégia de dados e dinamizar para se tornar uma organização orientada por dados. |
| Definir seu plano | Como desenvolver um plano para análise de escala de nuvem. |
| Preparar o patrimônio de análise | Visão geral do gerenciamento de dados e zonas de destino de dados com as principais considerações da área de design, como registro enterprise, rede, gerenciamento de identidade e acesso, políticas, continuidade dos negócios e recuperação de desastres. |
| Administrar sua análise | Requisitos para administrar dados, catálogo de dados, linhagem, gerenciamento de dados mestre, qualidade de dados, contratos de compartilhamento de dados e metadados. |
| Proteger o patrimônio de análise | Como proteger o patrimônio de análise com autenticação e autorização, privacidade de dados e gerenciamento de acesso a dados. |
| Organizar pessoas e equipes | Como organizar operações, funções, equipes e funções de equipe eficazes. |
| Gerenciar o patrimônio de análise | Como provisionar a plataforma e a observabilidade de um cenário. |
Arquiteturas
Esta seção aborda os detalhes das implementações físicas da análise em escala de nuvem. Ela mapeia as arquiteturas físicas de zonas de destino de gerenciamento de dados e zonas de destino de dados.
A análise em escala de nuvem tem dois conceitos principais de arquitetura:
- A zona de destino de dados
- A zona de destino de gerenciamento de dados
Essas arquiteturas padronizam as melhores práticas e minimizam os gargalos de implantação para suas equipes de desenvolvimento e podem acelerar a implantação de soluções comuns de análise em escala de nuvem. Você pode adotar suas diretrizes para arquiteturas de malha de dados e lakehouse. Essas diretrizes destacam os recursos necessários para uma plataforma de análise bem governada que se adapta às suas necessidades.
O diagrama a seguir fornece uma visão geral de uma plataforma dados que contém uma zona de destino de gerenciamento de dados central e várias zonas de destino de dados.
Você pode começar com uma única zona de destino e dimensionar para várias zonas de destino e controlar todas elas na zona de destino do gerenciamento de dados.
Para obter mais informações, veja: Visão geral de Arquiteturas
Modelos de implantação
Esta seção inclui muitos modelos de referência que podem ser implantados.
| Repositório | Conteúdo | Obrigatório | Modelo de implantação |
|---|---|---|---|
| Modelo de gerenciamento de dados | Serviços centrais de gerenciamento de dados e serviços de dados compartilhados, como catálogo de dados e runtime de integração auto-hospedada | Sim | Uma por análise de escala de nuvem |
| Modelo de zona de destino de dados | Serviços compartilhados da zona de destino de dados, incluindo serviços de ingestão, gerenciamento e armazenamento de dados | Sim | Um por zona de destino de dados |
| Modelo de integração de dados – processamento em lote | Serviços adicionais necessários para processamento de dados em lote | Não | Um ou mais por zona de destino de dados |
| Modelo de integração de dados – processamento de fluxo | Serviços adicionais necessários para processamento de fluxo de dados | Não | Um ou mais por zona de destino de dados |
| Modelo de produtos de dados - análise e ciência de dados | Serviços adicionais necessários para análise de dados e IA | Não | Um ou mais por zona de destino de dados |
Esses modelos contêm modelos do Azure Resource Manager, os arquivos de parâmetro dos modelos e as definições de pipeline de CI/CD para implantação de recursos.
Os modelos podem mudar ao longo do tempo devido a novos serviços e requisitos do Azure. Proteja a ramificação principal de cada repositório para que permaneça livre de erros e pronto para consumo e implantação. Use uma assinatura de desenvolvimento para testar as alterações de configuração do modelo antes de mesclar os aprimoramentos de recursos de volta à sua ramificação principal.
Para obter mais informações, veja Modelos de implantação.
Aceleradores de solução
Aceleradores de solução são projetos de código aberto no GitHub. Esses repositórios contêm recursos e informações que simplificam e aceleram sua capacidade de resolver problemas usando a tecnologia.
Para obter mais informações, veja Aceleradores de soluções.
Práticas recomendadas
Os seguintes artigos avançados de nível 300+ no sumário de análise em escala de nuvem podem ajudar as equipes centrais de TI a implantar ferramentas e gerenciar processos para gerenciamento e governança de dados:
- Ingestão de dados para análise em escala de nuvem
- Armazenamento de data lake para análises em escala de nuvem
- Usar o Azure Databricks na análise em escala de nuvem
- Use o Azure Synapse Analytics para análise em escala de nuvem
- Lista de verificação de prontidão do Azure Purview para análise em escala de nuvem
- Azure Machine Learning como produto de dados para análise em escala de nuvem
Produtos do Azure em destaque
Expanda a seção Produtos do Azure em destaque no sumário de análise em escala de nuvem para saber mais sobre os produtos do Azure que dão suporte à análise em escala de nuvem.
Percursos comuns do cliente
As seguintes jornadas comuns do cliente oferecem suporte à análise em escala de nuvem:
Prepare seu ambiente. Use os artigos Preparar seu ambiente como recursos. Estabeleça processos e abordagens que ofereçam suporte a todo o portfólio de cargas de trabalho em seu patrimônio de dados.
Aprimore os controles em todo o seu estado de dados. Concentre-se nos artigos Administrar seu patrimônio de dados e Proteger seu patrimônio de dados para integrar análises em escala de nuvem em suas operações existentes.
Influencie as alterações em cargas de trabalho individuais. À medida que seus processos de análise em escala de nuvem melhoram, suas equipes centrais de governança de dados encontrarão requisitos que dependem do conhecimento da arquitetura por trás de cargas de trabalho individuais. Use os artigos de Arquitetura para entender como você pode usar os cenários para o seu caso de uso.
Otimize cargas de trabalho individuais e equipes de carga de trabalho. Comece com as diretrizes do Azure Well-Architected Framework para integrar estratégias de análise em escala de nuvem em cargas de trabalho individuais. As diretrizes descrevem as melhores práticas e as arquiteturas que as equipes centrais de TI e governança geralmente oferecem para acelerar o desenvolvimento da carga de trabalho individual.
Use as melhores práticas para integrar ativos individuais. Expanda a seção Melhores práticas no sumário de análise em escala de nuvem para encontrar artigos sobre processos para integrar todo o seu patrimônio de dados em um plano de controle de análise em escala de nuvem.
Use produtos específicos do Azure. Acelere e melhore seus recursos de análise em escala de nuvem usando os produtos do Azure na seção Produtos do Azure em destaque do sumário de análise em escala de nuvem.
Executar ação
Para obter mais informações sobre como planejar a implementação da análise em escala de nuvem, veja:
Próximas etapas
Inicie seu percurso de análise em escala de nuvem: