O que significa compilar uma única fonte de verdade?

O Databricks lakehouse elimina a necessidade de criar e sincronizar cópias de dados em vários sistemas unificando o acesso e o armazenamento de dados em um único sistema, estabelecendo o lakehouse como a única fonte de verdade (SSOT). A duplicação de dados geralmente resulta em silos de dados, o que significa que diferentes equipes dentro de uma organização podem estar trabalhando com versões dos mesmos dados que diferem na qualidade e em atualização.

Como o lakehouse controla transações e acesso a dados?

As transações do Delta Lake usam arquivos de log armazenados junto com arquivos de dados para fornecer garantias ACID em um nível de tabela. Como os arquivos de dados e de log que dão suporte às tabelas do Delta Lake vivem juntos no armazenamento de objetos de nuvem, a leitura e a gravação de dados podem ocorrer simultaneamente sem o risco de muitas consultas, resultando em degradação de desempenho ou deadlock para cargas de trabalho críticas para os negócios. Isso significa que usuários e aplicativos em todo o ambiente empresarial podem se conectar à mesma cópia única dos dados para gerar cargas de trabalho diversas, com todos os visualizadores garantidos para receber a versão mais atual dos dados no momento em que sua consulta for executada.

Gerenciar o acesso aos dados de produção

O Catálogo do Unity fornece uma solução de governança de dados centralizada que permite que os administradores de dados forneçam controle de acesso refinado a usuários, grupos e entidades de serviço. O Catálogo do Unity rege as permissões usando listas de controle de acesso (ACLs) que fornecem flexibilidade e especificidade na configuração de recursos. Algumas permissões configuráveis incluem:

• Acesso somente leitura a um punhado de tabelas.
• Permissões de criação e modificação de tabela para um banco de dados.
• Capacidade de ler ou modificar dados em um local de armazenamento em nuvem específico.
• Acesso a muitos recursos de nuvem por meio de credenciais de armazenamento gerenciado do Catálogo do Unity.

Para obter mais informações, consulte O que é um Catálogo do Unity?.

Aproveitar as exibições no lakehouse

As exibições no Azure Databricks representam consultas salvas em relação aos dados armazenados em tabelas em algum lugar do lakehouse. Enquanto as consultas que resultam em tabelas são executadas no tempo de gravação, as exibições executam a definição de lógica sempre que uma consulta em uma exibição é executada. Isso significa que os modos de exibição podem fornecer acesso atualizado aos dados de uma variedade de fontes e que a computação só é gasta para atualizar os resultados conforme necessário.

Você pode usar o Catálogo do Unity para proteger e compartilhar exibições ao lado de outros objetos de dados, permitindo que indivíduos e equipes compartilhem a lógica que impulsiona as principais decisões de negócios em toda a organização.

Para obter mais informações, consulte O que é um modo de exibição?.

Compartilhar dados com colaboradores

Embora as ACLs no Catálogo do Unity cobrem uma ampla variedade de casos de uso para compartilhar dados em uma organização empresarial, o Compartilhamento Delta expande ainda mais isso gerenciando o acesso somente leitura a conjuntos de dados que podem ser compartilhados com colaboradores em qualquer lugar. Os casos de uso compatíveis com o Catálogo do Unity incluem:

• Fornecer acesso em tempo real à análise regional para regiões isoladas de corporações multinacionais.
• Compartilhar conjuntos de dados entre empresas isoladas que existem sob o mesmo guarda-chuva corporativo.
• Fornecer acesso seguro a conjuntos de dados coletados pelo cliente para consumidores de terceiros.

No Azure Databricks, o Delta Sharing vem integrado com o Catálogo do Unity, mas também faz parte do código aberto Delta Lake. Para obter mais informações, confira O que é o Compartilhamento Delta?.