Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Esta página apresenta o Compartilhamento Delta no Azure Databricks, a plataforma de compartilhamento de dados seguro que permite compartilhar dados e ativos de IA no Azure Databricks com usuários de fora da sua organização, independentemente de usarem o Azure Databricks. O Compartilhamento Delta também é a base para o Databricks Marketplace, um fórum aberto para troca de produtos de dados e Salas Limpas, um ambiente seguro e de proteção de privacidade em que várias partes podem trabalhar juntas em dados corporativos confidenciais.
O Delta Sharing também está disponível como um projeto de software livre que você pode usar para compartilhar tabelas Delta de outras plataformas.
Como funciona o Compartilhamento Delta?
O Delta Sharing é um protocolo aberto desenvolvido pelo Databricks para compartilhamento seguro de dados com outras organizações, independentemente das plataformas de computação que eles usam.
Existem três maneiras de compartilhar dados usando o Compartilhamento Delta:
O protocolo de compartilhamento de Databricks para Databricks, que permite que você compartilhe dados e ativos de IA do seu workspace habilitado para o Catálogo do Unity com usuários que também tenham acesso a um workspace do Databricks habilitado para o Catálogo do Unity.
Essa abordagem usa o servidor Delta Sharing, que é integrado ao Azure Databricks. Ele dá suporte a alguns recursos de compartilhamento Delta que não são suportados nos outros protocolos, incluindo compartilhamento de notebook, compartilhamento de volume do Catálogo do Unity, compartilhamento de modelo de IA do Catálogo do Unity, governança de dados do Catálogo do Unity, auditoria e acompanhamento de uso para provedores e destinatários. A integração com o Catálogo do Unity simplifica a configuração e a governança para provedores e destinatários e melhora o desempenho.
O protocolo de compartilhamento aberto do Databricks, que permite compartilhar dados tabulares que você gerencia em um workspace do Databricks habilitado para o Catálogo Unity com usuários de qualquer plataforma de computação.
Essa abordagem usa o servidor Delta Sharing que é integrado ao Azure Databricks e é útil quando você gerencia dados usando o Catálogo do Unity e deseja compartilhá-los com usuários que não usam o Databricks ou não têm acesso a um workspace do Databricks habilitado para catálogo do Unity. A integração com o Catálogo do Unity no lado do provedor simplifica a configuração e a governança para provedores.
Consulte Compartilhar dados usando o protocolo de compartilhamento aberto Delta Sharing (para provedores).
Uma implementação gerenciada pelo cliente do servidor de compartilhamento Delta de software livre, que permite compartilhar de qualquer plataforma para qualquer plataforma, independentemente do Databricks ou não.
A documentação do Azure Databricks não aborda instruções para configurar seu próprio servidor de Compartilhamento Delta. Veja github.com/delta-io/delta-sharing.
Arquitetura de acesso a dados do Delta Sharing.
Compartilhamentos, provedores e destinatários
Os principais conceitos subjacentes ao compartilhamento Delta no Azure Databricks são compartilhamentos, provedores e destinatários.
O que é um compartilhamento?
No Compartilhamento Delta, um compartilhamento é uma coleção de tabelas e partições de tabela somente leitura que um provedor deseja compartilhar com um ou mais destinatários. Se o destinatário usar um workspace do Databricks habilitado para o Catálogo do Unity, você também poderá incluir arquivos de notebook, exibições (incluindo exibições dinâmicas que restringem o acesso no nível da linha e da coluna), volumes do Catálogo do Unity e modelos do Catálogo do Unity em um compartilhamento.
Você pode adicionar ou remover tabelas, tabelas de streaming, tabelas de Iceberg gerenciadas, exibições, exibições materializadas, volumes, modelos e arquivos de bloco de anotações de um compartilhamento a qualquer momento e você pode atribuir ou revogar o acesso de destinatário de dados a um compartilhamento a qualquer momento.
Em um workspace do Azure Databricks habilitado para catálogo do Unity, um compartilhamento é um objeto protegível registrado no Catálogo do Unity. Se você remover um compartilhamento do metastore do Catálogo do Unity, todos os destinatários desse compartilhamento perderão a capacidade de acessá-lo.
Consulte Criar e gerenciar compartilhamentos para Delta Sharing.
O que é um provedor?
Um provedor é uma entidade que compartilha dados com um destinatário. Se você for um provedor e quiser aproveitar o servidor interno do Databricks Delta Sharing e gerenciar compartilhamentos e destinatários usando o Catálogo do Unity, precisará de pelo menos um workspace do Azure Databricks habilitado para o Catálogo do Unity. Você não precisa migrar todos os workspaces existentes para o Catálogo do Unity. Você pode simplesmente criar um novo workspace habilitado para Catálogo do Unity para suas necessidades de compartilhamento Delta.
Se um destinatário estiver em um workspace do Databricks habilitado para Catálogo do Unity, o provedor também será um objeto protegível do Catálogo do Unity que representa a organização do provedor e associa essa organização a um conjunto de compartilhamentos.
O que é um destinatário?
Um destinatário é uma entidade que recebe compartilhamentos de um provedor. No Catálogo do Unity, um compartilhamento é um objeto protegível que representa uma organização e o associa a uma credencial ou identificador de compartilhamento seguro que permite que essa organização acesse um ou mais compartilhamentos.
Como um provedor de dados (compartilhamento), você pode definir vários destinatários para uma determinada metastore do Catálogo do Unity, mas se desejar compartilhar dados de vários metastores com um usuário ou grupo de usuários único, você deve definir o destinatário separadamente para cada metastore. Um destinatário pode ter acesso a vários compartilhamentos.
Se um provedor excluir um destinatário do metastore do Catálogo do Unity, esse destinatário perderá o acesso a todos os compartilhamentos que poderia acessar anteriormente.
Compartilhamento aberto versus compartilhamento do Databricks para Databricks
Esta seção descreve os dois protocolos de compartilhamento em um workspace do Databricks que está habilitado para o Unity Catalog.
Observação
Essa seção pressupõe que o provedor esteja em um workspace do Azure Databricks habilitado para Catálogo do Unity. Para saber mais sobre como configurar um servidor de compartilhamento Delta de código aberto para compartilhar de uma plataforma que não seja Databricks ou de um espaço de trabalho que não use o Unity Catalog, acesse github.com/delta-io/delta-sharing.
A forma como um provedor utiliza o Compartilhamento Delta no Azure Databricks depende de com quem ele está compartilhando dados:
- O compartilhamento aberto permite compartilhar dados com qualquer usuário, independentemente de ele ter ou não acesso ao Azure Databricks.
- O compartilhamento Databricks-to-Databricks permite que você compartilhe dados com usuários do Azure Databricks cujo workspace está anexado a um metastore do Unity Catalog diferente do seu. O compartilhamento de Databricks para Databricks também dá suporte a notebooks, volumes e modelos, que não estão disponíveis no compartilhamento aberto.
O que é o Compartilhamento Delta aberto?
Se você deseja compartilhar dados com usuários fora do workspace do Azure Databricks, independentemente de eles usarem o Databricks, você poder usar o Compartilhamento Delta aberto para compartilhar seus dados com segurança. Como provedor de dados, você gerencia a autenticação com o destinatário de compartilhamento usando um dos seguintes métodos:
- Você gera um token do tipo bearer de longa duração e o compartilha com segurança com o destinatário. Eles usam o token para autenticar e obter acesso de leitura às tabelas que você incluiu nos compartilhamentos aos quais você lhes deu acesso.
- Você usa a federação Open ID Connect (OIDC), concedendo tokens OAuth do Databricks de curta duração ao destinatário em troca de tokens JWT que o IdP do destinatário passa para o Databricks.
Os destinatários podem acessar os dados compartilhados usando muitas ferramentas e plataformas de computação, incluindo:
- Azure Databricks
- Apache Spark
- Pandas
- Power BI
Para obter uma lista completa de conectores do Delta Sharing e informações sobre como usá-los, consulte a documentação Delta Sharing.
Consulte também Compartilhar dados usando o protocolo de compartilhamento aberto delta (para provedores).
O que é o Compartilhamento Delta de Databricks para Databricks?
Se quiser compartilhar dados com usuários que tenham um workspace do Databricks habilitado para o Catálogo do Unity, você pode usar o Compartilhamento Delta do Databricks para o Databricks. O compartilhamento Databricks-to-Databricks permite compartilhar dados com usuários em outras contas do Databricks, estejam eles no AWS, no Azure ou no GCP. Também é uma ótima maneira de compartilhar dados com segurança em diferentes metastores do Catálogo do Unity em sua própria conta do Databricks. Observe que não é necessário usar o Compartilhamento Delta para compartilhar dados entre workspaces anexados ao mesmo metastore do Catálogo do Unity, pois nesse cenário você pode usar o próprio Catálogo do Unity para gerenciar o acesso aos dados em workspaces.
Uma vantagem do compartilhamento do Databricks para o Databricks é que o destinatário do compartilhamento não precisa de um token para acessar o compartilhamento e o provedor não precisa gerenciar os tokens do destinatário. A segurança da conexão de compartilhamento, incluindo toda a verificação de identidade, autenticação e auditoria, é gerenciada inteiramente por meio da plataforma do Compartilhamento Delta e do Databricks. Outra vantagem é a capacidade de compartilhar arquivos de notebook do Databricks, visualizações, volumes do Unity Catalog e modelos do Unity Catalog.
Confira também Compartilhar dados usando o protocolo de Compartilhamento Delta de Databricks para Databricks (para provedores).
Como os administradores de provedor configuram o Compartilhamento Delta?
Essa seção fornece uma visão geral de como os provedores podem habilitar o Compartilhamento Delta e iniciar o compartilhamento de um workspace do Azure Databricks habilitado para Catálogo do Unity. Para o compartilhamento Delta de software livre, consulte github.com/delta-io/delta-sharing.
O compartilhamento do Databricks para o Databricks entre metastores do Catálogo do Unity na mesma conta sempre está habilitado. Se você for um provedor que deseja habilitar o Compartilhamento Delta para compartilhar dados com workspaces do Azure Databricks em outras contas ou clientes que não sejam do Databricks, um administrador da conta do Azure Databricks ou administrador do metastore executará as seguintes etapas de configuração (em um nível alto):
Habilite o Delta Sharing para o metastore do Unity Catalog que gerencia os dados que você deseja compartilhar.
Observação
Você não precisará habilitar o compartilhamento Delta em seu metastore se pretende usar o Compartilhamento Delta para compartilhar dados somente com usuários em outros metastores do Catálogo do Unity em sua conta. O compartilhamento de metastore para metastore em uma única conta do Azure Databricks está habilitado por padrão.
Crie um compartilhamento que inclua ativos de dados registrados no metastore do Catálogo do Unity.
Se você estiver compartilhando com um destinatário não Databricks (conhecido como compartilhamento aberto), poderá incluir tabelas no formato Delta ou Parquet. Se você planeja usar o compartilhamento de Databricks para Databricks, também poderá adicionar exibições, volumes do Catálogo do Unity, modelos do Catálogo do Unity e arquivos de notebook a um compartilhamento.
Consulte Criar e gerenciar compartilhamentos para Delta Sharing.
Criar um destinatário.
Se o destinatário não for um usuário do Databricks ou não tiver acesso a um workspace do Databricks habilitado para o Catálogo do Unity, você deverá usar o compartilhamento aberto. Você pode gerar credenciais baseadas em token de portador para esse destinatário ou usar a federação OIDC.
Se o destinatário tiver acesso a um workspace do Databricks habilitado para o Catálogo do Unity, você poderá usar compartilhamento de Databricks para Databricks e não será necessário usar credenciais baseadas em token. Você solicita um identificador de compartilhamento do destinatário e o usa para estabelecer a conexão segura.
Dica
Use a si mesmo como um destinatário de teste para experimentar o processo de instalação.
Conceda ao destinatário acesso a um ou mais compartilhamentos.
Consulte Gerenciar o acesso aos compartilhamentos de dados do Delta Sharing (para provedores).
Observação
Essa etapa também pode ser executada por um usuário não administrador com os privilégios
USE SHARE,USE RECIPIENTeSET SHARE PERMISSION. Consulte privilégios do Catálogo do Unity e objetos protegíveis.Envie ao destinatário as informações necessárias para se conectar ao compartilhamento (somente compartilhamento aberto).
Para abrir o compartilhamento usando tokens de portador, use um canal seguro para enviar ao destinatário um link de ativação que permita que eles baixem suas credenciais baseadas em token. Consulte Enviar ao destinatário suas informações de conexão.
Para abrir o compartilhamento usando a federação de token OIDC, envie a URL do portal gerada. Veja Usar a federação OIDC (Open ID Connect) para habilitar a autenticação nos compartilhamentos do Delta Sharing (compartilhamento aberto).
Para o compartilhamento de Databricks para Databricks, os dados incluídos no compartilhamento ficam disponíveis no workspace do Databricks do destinatário assim que você conceder acesso ao compartilhamento.
O destinatário agora pode acessar os dados compartilhados.
Como os destinatários acessam os dados compartilhados?
Os destinatários acessam ativos de dados compartilhados no formato somente leitura. Os arquivos de notebook compartilhados são somente leitura, mas podem ser clonados e depois modificados e executados no workspace do destinatário, assim como qualquer outro notebook.
O acesso seguro depende do modelo de compartilhamento:
O compartilhamento aberto (o destinatário não tem um workspace do Databricks habilitado para o Catálogo do Unity) tem duas opções:
- No fluxo de token do portador, o destinatário fornece a credencial sempre que acessa os dados em sua ferramenta preferida, incluindo Apache Spark, pandas, Power BI, Databricks e muito mais. Veja Ler dados compartilhados usando o compartilhamento aberto do Compartilhamento Delta com tokens de portador (para destinatários).
- No fluxo de federação de token OIDC, o destinatário ou o aplicativo cliente do destinatário acessa os dados usando seu próprio IdP. Consulte Receber compartilhamentos Delta usando a federação OIDC (Open ID Connect) em um fluxo de usuário-para-máquina (compartilhamento aberto) e Receber compartilhamentos Delta usando um cliente Python e federação OIDC (Open ID Connect) em um fluxo de máquina-para-máquina (compartilhamento aberto).
Databricks para Databricks (o workspace do destinatário está habilitado para o Catálogo do Unity): o destinatário acessa os dados usando o Databricks. Eles podem usar o Catálogo do Unity para conceder e negar acesso a outros usuários em sua conta do Databricks. Veja Ler dados compartilhados usando o Compartilhamento Delta de Databricks para Databricks (para destinatários).
Sempre que o provedor de dados atualiza tabelas de dados ou volumes em sua própria conta do Databricks, as atualizações aparecem quase em tempo real no sistema do destinatário. Para saber como acessar os dados que foram compartilhados com você usando Delta Sharing, consulte Acessar dados compartilhados com você usando Delta Sharing (para destinatários).
Como você controla quem está compartilhando e acessando dados compartilhados?
Os provedores de dados nos workspaces do Azure Databricks habilitados para o Unity Catalog podem usar o log de auditoria do Azure Databricks e as tabelas do sistema para monitorar a criação e a modificação de compartilhamentos e destinatários, além de observar a atividade dos destinatários nesses compartilhamentos. Consulte Auditar e monitorar o compartilhamento de dados.
Os destinatários de dados que usam dados compartilhados em um workspace do Databricks podem usar o log de auditoria do Databricks e as tabelas do sistema para entender quem está acessando quais dados. Consulte Auditar e monitorar o compartilhamento de dados.
Compartilhamento de volumes
Você pode compartilhar volumes usando o fluxo de compartilhamento Databricks para Databricks. Consulte Adicionar volumes a um compartilhamento (para provedores) e Ler dados compartilhados usando o Databricks-to-Databricks Delta Sharing (para destinatários).
Compartilhamento de modelos
Você pode compartilhar modelos usando o fluxo de compartilhamento Databricks-to-Databricks. Consulte Adicionar modelos a um compartilhamento (para provedores) e ler dados compartilhados usando o Databricks-to-Databricks Delta Sharing (para destinatários) (para destinatários).
Compartilhar notebooks
Você pode usar o Compartilhamento Delta para compartilhar arquivos de notebook usando o fluxo de compartilhamento do Databricks para Databricks. Consulte Adicionar arquivos de bloco de anotações a um compartilhamento (para provedores) e ler blocos de anotações compartilhados (para destinatários).
Restringindo o acesso no nível de linha e coluna
Você pode compartilhar exibições dinâmicas que restringem o acesso a determinados dados de tabela com base nas propriedades do destinatário. O compartilhamento de exibição dinâmica requer o fluxo de compartilhamento do Databricks para Databricks. Consulte Adicionar exibições dinâmicas a um compartilhamento para filtrar linhas e colunas.
Compartilhamento Delta e streaming
O Compartilhamento Delta dá suporte ao Streaming Estruturado do Apache Spark. Um provedor pode compartilhar uma tabela com histórico ou uma tabela de streaming para que um destinatário possa usá-la como uma fonte de Streaming Estruturado, processando dados compartilhados incrementalmente com baixa latência. Os destinatários também podem executar consultas de viagem no tempo do Delta Lake em tabelas compartilhadas com o histórico.
Para saber como compartilhar tabelas com o histórico, consulte Adicionar tabelas a um compartilhamento. Para saber como usar tabelas compartilhadas como fontes de streaming, consulte Consultar uma tabela usando o Streaming Estruturado do Apache Spark (para destinatários do compartilhamento Databricks-to-Databricks) ou Acesse uma tabela compartilhada usando o Streaming Estruturado do Spark (para destinatários de dados de compartilhamento aberto).
Para saber como compartilhar tabelas de streaming, consulte Adicionar tabelas de streaming a um compartilhamento.
Veja também os conceitos de Streaming Estruturado.
Matriz de suporte a recursos do Delta Lake
O Delta Sharing dá suporte à maioria dos recursos do Delta Lake quando você compartilha uma tabela. Esta matriz de suporte lista:
- Recursos do Delta que exigem versões específicas do Databricks Runtime, além do conector Delta Sharing para Spark ou do conector Delta Sharing para Python, ambos de código aberto.
- Recursos com suporte parcial.
| Recurso | Provedor | Destinatário do Databricks | Destinatário de software livre |
|---|---|---|---|
| Vetores de exclusão |
|
|
|
| Mapeamento de coluna |
|
|
|
| Formato uniforme |
|
|
|
| ponto de verificação V2 | Suportado com limitações | Suportado com limitações | Suportado com limitações |
| TimestampNTZ | Suportado | Databricks Runtime 14.1+ | Conector Delta Sharing Spark 3.3+ |
| Clustering líquido | Suportado com limitações | Suportado com limitações | Suportado com limitações |
Perguntas frequentes sobre o Compartilhamento Delta
A seguir estão as perguntas frequentes sobre o Compartilhamento Delta
Preciso do Unity Catalog para usar o Delta Sharing?
Não, você não precisa do Catálogo do Unity para compartilhar (como provedor) ou consumir dados compartilhados (como destinatário). No entanto, o Catálogo do Unity oferece benefícios como suporte ao compartilhamento de ativos não tabulares e de IA, governança pronta para uso, simplicidade e desempenho de consulta.
Os provedores podem compartilhar dados de duas maneiras:
Coloque os ativos a serem compartilhados no gerenciamento do Catálogo do Unity e compartilhe-os usando o servidor interno do Compartilhamento Delta do Azure Databricks.
Você não precisa migrar todos os ativos para o Catálogo do Unity. Você precisa apenas de um workspace do Azure Databricks habilitado para que o Catálogo do Unity gerencie ativos que você deseja compartilhar. Em algumas contas, novos espaços de trabalho são habilitados automaticamente para o Unity Catalog. Consulte Habilitação Automática do Unity Catalog.
Implemente o servidor de compartilhamento Delta aberto para compartilhar dados, sem necessariamente usar sua conta do Azure Databricks.
Os destinatários podem consumir dados de duas maneiras:
Sem workspace do Databricks. Use conectores de Compartilhamento Delta de software livre disponíveis para muitas plataformas de dados, incluindo Power BI, pandas e Apache Spark de software livre. Veja Ler dados compartilhados usando o compartilhamento aberto do Compartilhamento Delta com tokens de portador (para destinatários) e o projeto de código aberto do Compartilhamento Delta.
Em um espaço de trabalho do Databricks. Os espaços de trabalho dos destinatários não precisam estar habilitados para o Catálogo do Unity, mas há vantagens de governança, simplicidade e desempenho se estiverem.
As organizações de destinatários que desejam essas vantagens não precisam migrar todos os ativos para o Catálogo do Unity. Você precisa apenas de um workspace do Azure Databricks habilitado para o Unity Catalog para gerenciar ativos que são compartilhados com você. Em algumas contas, novos espaços de trabalho são habilitados automaticamente para o Unity Catalog. Consulte Habilitação Automática do Unity Catalog.
Veja Ler dados compartilhados usando compartilhamento aberto do Compartilhamento Delta com tokens de portador (para destinatários) e Ler dados compartilhados usando o de Compartilhamento Delta de Databricks para Databricks (para destinatários).
Preciso ser um cliente do Databricks para usar o Compartilhamento Delta?
Não, o Compartilhamento Delta é um protocolo aberto. Você pode compartilhar dados que não sejam do Databricks com destinatários em qualquer plataforma de dados. Os provedores podem configurar um servidor do Compartilhamento Delta aberto para compartilhar de qualquer plataforma de computação. Os destinatários podem consumir dados compartilhados usando conectores do Compartilhamento Delta de software livre para muitos produtos de dados, incluindo Power BI, pandas e Spark de software livre.
No entanto, o uso do Compartilhamento Delta no Azure Databricks, especialmente o compartilhamento de um espaço de trabalho habilitado para o Catálogo do Unity, tem muitas vantagens.
Para obter detalhes, consulte a primeira pergunta nessas perguntas frequentes.
Como faço para incorrer e verificar os custos do Delta Sharing?
O custo do Compartilhamento Delta é gerado ao compartilhar e acessar visões, visões materializadas e tabelas de streaming. Há duas fontes potenciais de custo para compartilhamento:
- Custo de computação, cobrado pelo Azure Databricks.
- Custo de armazenamento e transferência de rede (saída), cobrado pelo provedor de armazenamento.
O método pelo qual a computação é executada e quem paga por ela depende de vários fatores:
- O tipo de computação do destinatário
- Se o compartilhamento ocorre na mesma conta do Azure Databricks ou entre contas
A tabela a seguir descreve o método de cobrança para compartilhar e acessar exibições usando o Compartilhamento Delta:
| Computação do destinatário | Relacionamento de conta | Quem paga | SKU usado para cobrança | Método de acesso |
|---|---|---|---|---|
| Databricks Serverless | Qualquer | Destinatário | Sem servidor do destinatário | Destinatário recebe acesso direto a dados subjacentes |
| Databricks Clássico | Mesma conta | Destinatário | Clássico do destinatário | Destinatário recebe acesso direto a dados subjacentes |
| Databricks Clássico | Conta diferente | Destinatário | Computação sem servidor interativa do provedor | O provedor executa a filtragem |
| Abrir conectores de Delta Sharing | Qualquer | Provedor | Computação sem servidor interativa do provedor | O provedor executa a filtragem |
A atribuição de faturamento pode ser consultada usando as referências da tabela do sistema de uso faturável e do histórico de materialização do Delta Sharing. Se o destinatário pagar pela atribuição, somente o destinatário poderá ver o registro associado na tabela do sistema. Para consultas de exemplo, consulte Consultas de exemplo.
O Compartilhamento Delta gera custos de saída?
O Compartilhamento Delta dentro de uma região não gera nenhum custo de saída. Diferentemente de outras plataformas de compartilhamento de dados, o Compartilhamento Delta não requer replicação de dados. Esse modelo tem muitas vantagens, mas significa que seu fornecedor de nuvem pode cobrar valores de saída de dados quando você compartilhar dados entre nuvens ou regiões. O Azure Databricks dá suporte ao compartilhamento do Cloudflare R2, que não incorre em taxas de saída, e fornece outras ferramentas e recomendações para monitorar e evitar essas taxas. Veja Monitorar e gerenciar custos de saída do Compartilhamento Delta (para provedores).
Os destinatários têm acesso direto aos dados subjacentes em exibições compartilhadas, exibições materializadas e tabelas de streaming?
O destinatário de dados só terá acesso direto a exibições compartilhadas, exibições materializadas e tabelas de streaming se estiverem na mesma conta do Azure Databricks ou se estiverem usando computação sem servidor de uma conta diferente. Caso contrário, os dados serão materializados e filtrados no lado do provedor. A materialização de dados é armazenada no local de armazenamento pai do ativo de dados compartilhado.
Ao compartilhar ativos materializados, a computação processa a solicitação aplicando os filtros necessários e criando a materialização temporária armazenada em cache no armazenamento do provedor. Esses dados filtrados são entregues aos destinatários usando URLs de curta duração pré-assinadas, garantindo acesso seguro, mantendo o controle de acesso de provedor para destinatário.
Os provedores podem revogar o acesso ao destinatário?
Sim, o acesso ao destinatário pode ser revogado sob demanda e em níveis especificados de granularidade. Você pode negar o acesso do destinatário a compartilhamentos específicos e endereços IP específicos, filtrar dados tabulares para um destinatário, revogar tokens de destinatário e excluir destinatários inteiramente. Consulte Revogar o acesso do destinatário a um compartilhamento e Criar e gerenciar destinatários de dados para o Compartilhamento Delta(compartilhamento de Databricks para Databricks).
Não é inseguro usar URLs pré-assinadas?
O Compartilhamento Delta usa URLs pré-assinadas para fornecer acesso temporário a um arquivo no armazenamento de objetos. Elas são fornecidas somente aos destinatários que já têm acesso aos dados compartilhados. Eles são seguros porque têm curta duração e não expandem o nível de acesso além do que já lhes foi concedido.
Os tokens usados no protocolo de Compartilhamento Delta aberto são seguros?
Como o Compartilhamento Delta permite o compartilhamento entre plataformas, ao contrário de outras plataformas de compartilhamento de dados disponíveis, o protocolo de compartilhamento requer um token aberto. Os provedores podem garantir a segurança do token configurando o tempo de vida do token, definindo controles de rede e revogando o acesso sob demanda. Além disso, o token não expande o nível de acesso além do que já lhes foi concedido. Consulte as considerações de segurança para tokens.
Se preferir não usar tokens para gerenciar o acesso aos compartilhamentos dos destinatários, use o compartilhamento de Databricks para Databricks ou entre em contato com a equipe de contas do Databricks para obter alternativas.
Qual é a diferença entre o Lakeflow Connect e o Delta Sharing?
O Delta Sharing permite que você compartilhe dados dinâmicos com segurança entre plataformas, nuvens e regiões. O Databricks recomenda a ingestão usando conectores gerenciados porque eles são dimensionados para acomodar grandes volumes de dados, consultas de baixa latência e limites de API de terceiros. No entanto, talvez você queira consultar seus dados sem migrá-los.
Quando você tiver uma opção entre conectores gerenciados e o Compartilhamento Delta, escolha o Compartilhamento Delta para os seguintes cenários:
- Limitar a duplicação de dados.
- Consultar os dados mais recentes possíveis.
Limitações
- Os dados tabulares devem estar no formato de tabela Delta. Você pode converter tabelas Parquet em Delta e vice-versa com facilidade e retornar. Consulte CONVERT TO DELTA.
- O Delta Sharing dá suporte a tabelas que usam clusterização líquida e ponto de verificação V2, com as seguintes limitações:
- Os destinatários só podem executar consultas instantâneas. Não é possível executar consultas de feed de dados de alterações (CDF) ou streaming.
- Os provedores não podem compartilhar a tabela com a filtragem de partição.
- Os provedores não podem compartilhar tabelas R2 com clustering líquido e ponto de verificação V2.
- Restrições de tabela (restrições de chave primária e estrangeira) não estão disponíveis em tabelas compartilhadas.
- As visualizações compartilháveis devem ser definidas em tabelas Delta ou outras visualizações compartilháveis. Consulte Adicionar exibições a um compartilhamento (para provedores) e ler exibições compartilhadas (para destinatários).
- O compartilhamento de notebook é suportado apenas no compartilhamento de Databricks para Databricks. Veja Adicionar notebook a um compartilhamento e Leitura de dados compartilhados usando o Compartilhamento Delta do Databricks para o Databricks (para destinatários).
- O compartilhamento de volume só tem suporte no compartilhamento do Databricks para o Databricks. Veja Adicionar volumes a um compartilhamento (para provedores) e Leitura de dados compartilhados usando o Compartilhamento Delta do Databricks para o Databricks (para destinatários).
- O compartilhamento de modelos é suportado apenas no compartilhamento do Databricks para o Databricks. Consulte Adicionar modelos a um compartilhamento (para provedores) e ler dados compartilhados usando o Databricks-to-Databricks Delta Sharing (para destinatários).
- Há limites no número de arquivos em metadados permitidos para uma tabela compartilhada. Para saber mais, confira Erros excedidos no limite de recursos.
- Os esquemas denominados
information_schemanão podem ser importados para um metastore do Catálogo do Unity, pois esse nome de esquema está reservado no Catálogo do Unity. - O compartilhamento de tabelas não é suportado pelo Delta Sharing. O Azure Databricks não dá suporte a URLs de pré-assinatura para logs Delta que fazem referência a caminhos absolutos.
- Não há suporte para o compartilhamento de tabelas com ordenações habilitadas pelo Delta Sharing.
- Delta Sharing só pode ler tabelas UniForm como tabelas Delta.
- O Delta Sharing não dá suporte ao compartilhamento para clientes leitores do Apache Iceberg.
Consulte também a matriz de suporte de recursos do Delta Lake.
Cotas de recursos
O Azure Databricks impõe cotas de recursos em todos os objetos protegíveis de compartilhamento Delta. Essas cotas estão listadas nos limites de recursos. Se você espera exceder esses limites de recursos, entre em contato com sua equipe de conta do Azure Databricks.
Você pode monitorar o uso da cota usando as APIs de cotas de recursos do Catálogo do Unity. Veja Monitorar o uso de cotas de recursos do Catálogo do Unity.
Próximas etapas
- Habilitar sua conta do Databricks para Delta Sharing
- Criar compartilhamentos
- Criar destinatários
- Saiba mais sobre o compartilhamento aberto e os modelos de compartilhamento do Databricks para o Databricks
- Saiba como os destinatários acessam dados compartilhados