Compartilhar via

Criar um medallion lakehouse com o Azure Data Factory

Fábrica de dados do Azure

A arquitetura medallion lakehouse é um padrão de design de dados corporativos usado com frequência. Você pode usar esse padrão de design para organizar logicamente os dados brutos no formato nativo em um repositório grande e centralizado. Enriqueça os dados de forma incremental conforme eles fluem por cada camada da arquitetura. Esse processo melhora a estrutura, a qualidade e o insight que você pode obter dos dados.

O Azure Data Factory é uma solução de plataforma como serviço do Azure para expansão de integração e transformação de dados sem servidor. O Data Factory executa os processos de extração, transformação e carregamento no medallion lakehouse que são necessários nos vários componentes para gerar valor a partir da fonte de dados brutos.

Este artigo fornece uma série de designs que normalmente progridem de uma implementação inicial para adoção em toda a empresa e, por fim, para a expansão de missão crítica para soluções específicas. Essas diretrizes oferecem suporte aos clientes em uma jornada semelhante de adoção da nuvem.

Introdução

Se você estiver embarcando na jornada de adoção da nuvem com a arquitetura medallion lakehouse, comece com estes módulos de treinamento na plataforma Learn. Você pode usar:

Saiba como projetar e criar soluções seguras, escalonáveis e de alto desempenho no Azure usando os pilares do Azure Well-Architected Framework. Este recurso online gratuito oferece treinamento interativo que inclui verificações de conhecimento para avaliar sua aprendizagem.

Para obter a documentação do produto, consulte os seguintes recursos:

Implementação de base

Depois de aprender a implantar o Data Factory para ingestão de dados, desenvolva sua arquitetura medallion lakehouse para processamento de dados usando o Azure Databricks e, em seguida, forneça esses dados ao Power BI usando o SQL do Azure como o repositório persistente. Você pode aplicar suas habilidades para projetar e estabelecer uma solução simples usando uma fonte de dados local.

Consulte a arquitetura de linha de base que implanta instâncias do Data Factory para ingestão de dados, Azure Databricks para processamento de dados e SQL do Azure para armazenar os dados processados, tudo em uma única região com redundância de zona.

Arquitetura de referência: medallion lakehouse com implementação de linha de base do Data Factory

Adoção e fortalecimento corporativos

Para cumprir os requisitos não funcionais (NFRs) comuns de segurança e governança corporativa para cargas de trabalho de produção, você deve adicionar padrões de proteção corporativa à arquitetura de linha de base. Por exemplo, um NFR pode exigir que a solução use recursos federados que as equipes centrais gerenciam. Para evitar interrupções no serviço, é crucial comunicar seus requisitos de forma eficaz a essas equipes.

Consulte essa arquitetura que faz uma implementação reforçada pela empresa. Essa implementação estende a topologia hub-and-spoke de acordo com os princípios da zona de destino do Azure.

Arquitetura de referência: carga de trabalho reforçada pela empresa com o Data Factory

Elevação de missão crítica

A última etapa desse caminho é expandir a infraestrutura e os processos de uma infraestrutura de solução individual para dar suporte a um contrato de nível de serviço de missão crítica. Missão crítica refere-se a soluções que causam problemas críticos para os negócios ou para a segurança quando têm desempenho inferior ou não estão disponíveis.

A solução deve garantir alta disponibilidade, capacidade de resposta rápida a problemas operacionais, desempenho consistente e segurança robusta. As arquiteturas de missão crítica devem equilibrar requisitos e metas de desempenho e resiliência com otimização de custos.

Arquitetura de referência: carga de trabalho de missão crítica com o Data Factory

Colaboradores

Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.

Principais autores:

Outros colaboradores:

Para ver perfis não públicos do LinkedIn, entre no LinkedIn.

Próximas etapas