Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Esta página apresenta o Compartilhamento Delta no Azure Databricks, a plataforma segura de compartilhamento de dados que permite compartilhar dados e ativos de IA no Azure Databricks com usuários fora da sua organização, independentemente de eles usarem o Azure Databricks. O Delta Sharing também é a base do Databricks Marketplace, um fórum aberto para troca de produtos de dados, e do Clean Rooms, um ambiente seguro e que protege a privacidade onde várias partes podem trabalhar juntas em dados corporativos confidenciais.
O Delta Sharing também está disponível como um projeto de código aberto que você pode usar para compartilhar tabelas Delta de outras plataformas.
Como funciona o Delta Sharing?
Delta Sharing é um protocolo aberto desenvolvido pela Databricks para compartilhamento seguro de dados com outras organizações, independentemente das plataformas de computação que usam.
Há três maneiras de compartilhar dados usando o Delta Sharing:
O protocolo de compartilhamento Databricks-to-Databricks, que permite compartilhar dados e ativos de IA do seu espaço de trabalho habilitado para Unity Catalog, com usuários que também têm acesso a um espaço de trabalho Databricks habilitado para Unity Catalog.
Esta abordagem utiliza o servidor de Partilha Delta incorporado no Azure Databricks. Ele suporta alguns recursos do Delta Sharing que não são suportados nos outros protocolos, incluindo compartilhamento de notebook, compartilhamento de volume do Unity Catalog, compartilhamento de modelo Unity Catalog AI, governança de dados do Unity Catalog, auditoria e rastreamento de uso para provedores e destinatários. A integração com o Unity Catalog simplifica a configuração e a governança para provedores e destinatários e melhora o desempenho.
Consulte Compartilhar dados usando o protocolo Delta Sharing Databricks-to-Databricks (para provedores).
O protocolo de compartilhamento aberto Databricks, que permite compartilhar dados tabulares gerenciados em um espaço de trabalho Databricks habilitado para Unity Catalog com usuários em qualquer plataforma de computação.
Essa abordagem usa o servidor de Compartilhamento Delta que é incorporado ao Azure Databricks e é útil quando você gerencia dados usando o Catálogo Unity e deseja compartilhá-los com usuários que não usam Databricks ou não têm acesso a um espaço de trabalho Databricks habilitado para Catálogo Unity. A integração com o Unity Catalog no lado do provedor simplifica a configuração e a governança para provedores.
Consulte Compartilhar dados usando o protocolo de compartilhamento aberto Delta Sharing (para provedores).
Uma implementação gerenciada pelo cliente do servidor de código aberto Delta Sharing, que permite compartilhar de qualquer plataforma para qualquer plataforma, seja Databricks ou não.
A documentação do Azure Databricks não abrange instruções para configurar seu próprio servidor de Compartilhamento Delta. Ver github.com/delta-io/delta-sharing.
Partilhas, fornecedores e destinatários
Os principais conceitos subjacentes ao Compartilhamento Delta no Azure Databricks são as partilhas , os provedores e os destinatários .
O que é uma ação?
No Compartilhamento Delta, um compartilhamento é uma coleção somente leitura de tabelas e partições de tabela que um provedor deseja compartilhar com um ou mais destinatários. Se o destinatário usar um espaço de trabalho Databricks habilitado para Catálogo Unity, você também poderá incluir arquivos de bloco de anotações, exibições (incluindo exibições dinâmicas que restringem o acesso no nível de linha e coluna), volumes do Catálogo Unity e modelos do Catálogo Unity em um compartilhamento.
Você pode adicionar ou remover tabelas, tabelas de streaming, tabelas Iceberg gerenciadas, exibições, exibições materializadas, volumes, modelos e arquivos de bloco de anotações de um compartilhamento a qualquer momento, e pode atribuir ou revogar o acesso do destinatário de dados a um compartilhamento a qualquer momento.
Em um espaço de trabalho do Azure Databricks habilitado para Unity Catalog, uma partilha é um objeto seguro registrado no Unity Catalog. Se você remover um compartilhamento do metastore do Unity Catalog, todos os destinatários desse compartilhamento perderão a capacidade de acessá-lo.
Consulte Criar e gerenciar compartilhamentos para o Delta Sharing.
O que é um fornecedor?
Um provedor de é uma entidade que compartilha dados com um destinatário. Se você for um provedor e quiser aproveitar o servidor interno do Databricks Delta Sharing e gerenciar compartilhamentos e destinatários usando o Unity Catalog, precisará de pelo menos um espaço de trabalho do Azure Databricks habilitado para o Unity Catalog. Não é necessário migrar todos os espaços de trabalho existentes para o Unity Catalog. Você pode simplesmente criar um novo espaço de trabalho com suporte de Unity Catalog para as suas necessidades de Delta Sharing.
Se um destinatário estiver em um espaço de trabalho Databricks habilitado para Unity Catalog, o provedor também será um objeto protegível do Unity Catalog que representa a organização do provedor e associa essa organização a um conjunto de compartilhamentos.
O que é um destinatário?
Um destinatário é uma entidade que recebe ações de um provedor. No Unity Catalog, um compartilhamento é um objeto protegível que representa uma organização e a associa a uma credencial ou identificador de compartilhamento seguro que permite que essa organização acesse um ou mais compartilhamentos.
Como um provedor de dados (compartilhador), você pode definir vários destinatários para qualquer metastore do Unity Catalog, mas se quiser compartilhar dados de vários metastores com um usuário ou grupo de usuários específico, deverá definir o destinatário separadamente para cada metastore. Um destinatário pode ter acesso a vários compartilhamentos.
Se um provedor excluir um destinatário de seu metastore do Unity Catalog, esse destinatário perderá o acesso a todos os compartilhamentos que poderia acessar anteriormente.
Partilha aberta versus partilha de Databricks para Databricks
Esta seção descreve os dois protocolos para compartilhamento de um espaço de trabalho Databricks habilitado para o Unity Catalog.
Nota
Esta seção pressupõe que o provedor esteja em um espaço de trabalho do Azure Databricks habilitado para Unity Catalog. Para saber mais sobre como configurar um servidor de compartilhamento delta de código aberto para compartilhar de uma plataforma que não seja Databricks ou espaço de trabalho não Unity Catalog, consulte github.com/delta-io/delta-sharing.
A maneira como um provedor usa o Compartilhamento Delta no Azure Databricks depende de com quem ele está compartilhando dados:
- A partilha aberta permite-lhe partilhar dados com qualquer utilizador, quer tenha ou não acesso ao Azure Databricks.
- A partilha de Databricks para Databricks permite compartilhar dados com utilizadores do Azure Databricks cujo espaço de trabalho está ligado a um metastore do Unity Catalog diferente do seu. O Databricks-to-Databricks também oferece suporte ao compartilhamento de notebook, volume e modelo, que não está disponível no compartilhamento aberto.
O que é o compartilhamento delta aberto?
Se você quiser compartilhar dados com usuários fora do seu espaço de trabalho do Azure Databricks, independentemente de eles usarem Databricks, você pode usar o Compartilhamento Delta aberto para compartilhar seus dados com segurança. Como provedor de dados, você gerencia a autenticação com o destinatário de compartilhamento usando um dos seguintes métodos:
- Você gera um bearer token de longa duração e o compartilha com segurança com o destinatário. Eles usam o token para autenticar e obter acesso de leitura às tabelas que você incluiu nos compartilhamentos aos quais você lhes deu acesso.
- Você utiliza a federação Open ID Connect (OIDC), concedendo tokens OAuth de curta duração do Databricks ao destinatário em troca de tokens JWT passados pelo IdP do destinatário para o Databricks.
Os destinatários podem aceder aos dados partilhados utilizando muitas ferramentas e plataformas informáticas, incluindo:
- Azure Databricks
- Apache Spark
- Pandas
- Power BI
Para obter uma lista completa de conectores Delta Sharing e informações sobre como usá-los, consulte a documentação Delta Sharing .
Consulte também Compartilhar dados usando o protocolo de compartilhamento aberto Delta Sharing (para provedores).
O que é Databricks-to-Databricks Delta Sharing?
Se tu quiseres compartilhar dados com utilizadores que têm um espaço de trabalho Databricks ativado para o Unity Catalog, podes usar o Databricks-to-Databricks Delta Sharing. O compartilhamento entre contas Databricks permite compartilhar dados com usuários de outras contas Databricks, estejam eles na AWS, Azure ou GCP. Também é uma ótima maneira de compartilhar dados com segurança em diferentes metastores do Unity Catalog em sua própria conta Databricks. Observe que não há necessidade de usar o Compartilhamento Delta para compartilhar dados entre espaços de trabalho anexados ao mesmo metastore do Unity Catalog, porque nesse cenário você pode usar o próprio Unity Catalog para gerenciar o acesso aos dados entre espaços de trabalho.
Uma vantagem da partilha entre Databricks é que o destinatário da partilha não precisa de um token para aceder à partilha e o provedor não precisa gerir os tokens do destinatário. A segurança da conexão de compartilhamento, incluindo toda a verificação de identidade, autenticação e auditoria, é gerenciada inteiramente por meio do Delta Sharing e da plataforma Databricks. Outra vantagem é a capacidade de compartilhar arquivos de notebook Databricks, volumes do Catálogo Unity e modelos do Catálogo Unity.
Consulte também Compartilhar dados usando o protocolo Delta Sharing Databricks-to-Databricks (para provedores).
Como os administradores do provedor configuram o Delta Sharing?
Esta secção oferece uma visão geral sobre como os fornecedores podem ativar o Delta Sharing e iniciar o compartilhamento a partir de um espaço de trabalho do Azure Databricks com o Catálogo Unity habilitado. Para compartilhamento delta de código aberto, consulte github.com/delta-io/delta-sharing.
A partilha de Databricks para Databricks entre metastores do Unity Catalog na mesma conta está sempre ativada. Se você for um provedor que deseja habilitar o Compartilhamento Delta para compartilhar dados com espaços de trabalho Databricks em outras contas ou clientes que não sejam Databricks, um administrador de conta ou administrador de metastore do Azure Databricks executa as seguintes etapas de configuração (em alto nível):
Habilite o Compartilhamento Delta para o metastore do Unity Catalog que gerencia os dados que você deseja compartilhar.
Nota
Você não precisa habilitar o Compartilhamento Delta em seu metastore se pretende usar o Compartilhamento Delta para compartilhar dados somente com usuários em outros metastores do Catálogo Unity em sua conta. A partilha entre metastores numa única conta do Azure Databricks está ativada por predefinição.
Crie um compartilhamento que inclua ativos de dados registrados no metastore do Unity Catalog.
Se você estiver compartilhando com um destinatário que não seja Databricks (conhecido como compartilhamento aberto), poderá incluir tabelas no formato Delta ou Parquet. Se planeares usar o compartilhamento de Databricks para Databricks, também podes adicionar vistas, volumes do Catálogo Unity, modelos do Catálogo Unity e ficheiros de cadernos a um compartilhamento.
Consulte Criar e gerenciar compartilhamentos para o Delta Sharing.
Crie um destinatário.
Se o destinatário não for um usuário do Databricks ou não tiver acesso a um espaço de trabalho do Databricks habilitado para o Unity Catalog, você deverá usar de compartilhamento aberto. Você pode gerar credenciais baseadas em token de portador para esse destinatário ou usar a federação OIDC.
Se o destinatário tiver acesso a um espaço de trabalho Databricks habilitado para o Unity Catalog, você poderá usar o compartilhamento de Databricks para Databricks e nenhuma credencial baseada em token será necessária. Você solicita um identificador de compartilhamento do destinatário e utilizá-lo para estabelecer a conexão segura.
Gorjeta
Use-se como um destinatário de teste para experimentar o processo de configuração.
Conceda ao destinatário acesso a um ou mais compartilhamentos.
Consulte Gerenciar o acesso a compartilhamentos de dados do Delta Sharing (para provedores).
Nota
Esta etapa também pode ser executada por um usuário não administrador com os
USE SHARE,USE RECIPIENTeSET SHARE PERMISSIONprivilégios. Consulte Privilégios do catálogo Unity e objetos protegíveis.Envie ao destinatário as informações necessárias para se conectar ao compartilhamento (somente compartilhamento aberto).
Para compartilhamento aberto usando tokens de portador, use um canal seguro para enviar ao destinatário um link de ativação que permita que ele baixe suas credenciais baseadas em tokens. Consulte Enviar informações de conexão ao destinatário.
Para compartilhamento aberto usando a federação de token OIDC, envie a URL do portal gerada. Consulte Usar federação Open ID Connect (OIDC) para habilitar a autenticação em compartilhamentos Delta Sharing (compartilhamento aberto).
Para partilha entre Databricks, os dados incluídos na partilha ficam disponíveis no espaço de trabalho Databricks do destinatário assim que se concede acesso à partilha.
O destinatário agora pode acessar os dados compartilhados.
Como os destinatários acessam os dados compartilhados?
Os destinatários acessam ativos de dados compartilhados em formato somente leitura. Os arquivos de notebook compartilhados são somente leitura, mas podem ser clonados, modificados e executados no espaço de trabalho do destinatário como se fossem qualquer outro notebook.
O acesso seguro depende do modelo de partilha:
O compartilhamento aberto (o destinatário não tem um espaço de trabalho Databricks habilitado para o Unity Catalog) tem duas opções:
- No fluxo de token do portador, o destinatário fornece a credencial sempre que acede aos dados na ferramenta da sua escolha, incluindo Apache Spark, pandas, Power BI, Databricks e muito mais. Consulte Ler dados compartilhados usando o compartilhamento aberto do Delta Sharing com tokens de portador (para destinatários).
- No fluxo de federação de token OIDC, o destinatário ou o aplicativo cliente do destinatário acessa os dados usando seu próprio IdP. Consulte Receber compartilhamentos Delta Sharing usando a federação Open ID Connect (OIDC) em um fluxo de usuário para máquina (compartilhamento aberto) e Receber compartilhamentos Delta Sharing usando um cliente Python e federação Open ID Connect (OIDC) em um fluxo máquina-a-máquina (compartilhamento aberto).
Databricks-to-Databricks (o espaço de trabalho do destinatário está habilitado para o Unity Catalog): o destinatário acede aos dados com o Databricks. Eles podem usar o Unity Catalog para conceder e negar acesso a outros usuários em sua conta Databricks. Consulte Ler dados compartilhados usando o compartilhamento delta de Databricks para Databricks (para destinatários).
Sempre que o provedor de dados atualiza tabelas ou volumes de dados em sua própria conta Databricks, as atualizações aparecem quase em tempo real no sistema do destinatário. Para saber como acessar dados que foram compartilhados com você usando o Compartilhamento Delta, consulte Acessar dados compartilhados com você usando o Compartilhamento Delta (para destinatários).
Como você controla quem está compartilhando e acessando dados compartilhados?
Os provedores de dados nos espaços de trabalho do Azure Databricks habilitados para o Catálogo Unity podem usar o registro de auditoria e as tabelas do sistema do Azure Databricks para monitorizar a criação e a modificação de partilhas e destinatários, e a atividade dos destinatários nas partilhas. Consulte Auditar e monitorar o compartilhamento de dados.
Os destinatários de dados que usam dados compartilhados em um espaço de trabalho do Databricks podem usar o log de auditoria do Databricks e as tabelas do sistema para entender quem está acessando quais dados. Consulte Auditar e monitorar o compartilhamento de dados.
Partilha de volumes
Você pode compartilhar volumes usando o fluxo de compartilhamento Databricks-to-Databricks. Consulte Adicionar volumes a uma partilha (para fornecedores) e Ler dados partilhados usando o Delta Sharing de Databricks-para-Databricks (para destinatários).
Modelos de partilha
Você pode compartilhar modelos usando o fluxo de compartilhamento Databricks-to-Databricks. Consulte Adicionar modelos a um compartilhamento (para provedores) e Ler dados compartilhados usando o Compartilhamento Delta de Databricks para Databricks (para destinatários).
Partilhar blocos de notas
Você pode usar o Delta Sharing para partilhar blocos de anotações, utilizando o fluxo de partilha Databricks para Databricks. Consulte Adicionar ficheiros do bloco de notas a uma partilha (para fornecedores) e Ler blocos de notas partilhados (para destinatários).
Restringir o acesso ao nível da linha e da coluna
Você pode compartilhar exibições dinâmicas que restringem o acesso a determinados dados da tabela com base nas propriedades do destinatário. A partilha de vistas dinâmicas requer o fluxo de partilha Databricks-to-Databricks. Consulte Adicionar vistas dinâmicas a uma partilha para filtrar linhas e colunas.
Delta Sharing e streaming
O Delta Sharing suporta Apache Spark Structured Streaming. Um provedor pode compartilhar uma tabela com o histórico ou uma tabela de streaming para que um destinatário possa usá-la como uma fonte de Streaming Estruturado, processando dados compartilhados incrementalmente com baixa latência. Os destinatários também podem realizar consultas retroativas em Delta Lake em tabelas compartilhadas com acesso ao histórico.
Para saber como partilhar tabelas com o histórico, consulte Adicionar tabelas a uma partilha. Para saber mais sobre como usar tabelas partilhadas como fontes de streaming, consulte Consultar uma tabela usando o Apache Spark Structured Streaming (para os destinatários do compartilhamento Databricks-para-Databricks) ou Aceder a uma tabela partilhada usando o Spark Structured Streaming (para os destinatários da partilha aberta de dados).
Para saber como partilhar tabelas de streaming, consulte Adicionar tabelas de streaming a uma partilha.
Consulte também os conceitos de Streaming estruturado.
Matriz de suporte de funcionalidades Delta Lake
O Delta Sharing suporta a maioria dos recursos do Delta Lake quando você compartilha uma tabela. Esta matriz de suporte lista:
- Funcionalidades Delta que exigem versões específicas do Databricks Runtime, o conector de código aberto Delta Sharing Spark ou o conector de código aberto Delta Sharing Python.
- Funcionalidades parcialmente suportadas.
| Caraterística | Fornecedor | Destinatário do Databricks | Destinatário de software de código aberto |
|---|---|---|---|
| Vetores de eliminação |
|
|
|
| Mapeamento de colunas |
|
|
|
| Modelo uniforme |
|
|
|
| Ponto de verificação V2 | Suportado com limitações | Suportado com limitações | Suportado com limitações |
| Timestamp NTZ | Suportado | Tempo de execução do Databricks 14.1+ | Conector Delta Sharing Spark 3.3+ |
| Agrupamento de líquidos | Suportado com limitações | Suportado com limitações | Suportado com limitações |
Perguntas Frequentes sobre o Delta Sharing
A seguir estão as perguntas frequentes sobre o Delta Sharing.
Preciso do Unity Catalog para usar o Delta Sharing?
Não, você não precisa do Unity Catalog para compartilhar (como um provedor) ou consumir dados compartilhados (como um destinatário). No entanto, o Unity Catalog oferece benefícios como suporte para compartilhamento de ativos não tabulares e de IA, governança pronta para uso, simplicidade e desempenho de consulta.
Os fornecedores podem partilhar dados de duas formas:
Coloque os ativos para compartilhar no gerenciamento do Catálogo Unity e compartilhe-os usando o servidor interno do Azure Databricks Delta Sharing.
Não é necessário migrar todos os ativos para o Unity Catalog. Você precisa apenas de um espaço de trabalho do Azure Databricks habilitado para o Unity Catalog para gerenciar os ativos que deseja compartilhar. Em algumas contas, novos espaços de trabalho são habilitados para o Unity Catalog automaticamente. Consulte Ativação automática do Catálogo Unity.
Implemente o servidor de Compartilhamento Delta aberto para compartilhar dados, sem necessariamente usar sua conta do Azure Databricks.
Os destinatários podem consumir dados de duas maneiras:
Sem uma área de trabalho do Databricks. Utilize os conectores do Delta Sharing open source disponíveis para inúmeras plataformas de dados, incluindo Power BI, pandas e Apache Spark open source. Consulte Ler dados compartilhados usando o compartilhamento aberto do Delta Sharing com tokens de portador (para destinatários) e o projeto de código aberto Delta Sharing.
Numa área de trabalho do Databricks. Os espaços de trabalho de destinatários não precisam ser habilitados para o Unity Catalog, mas há vantagens de governança, simplicidade e desempenho.
As organizações beneficiárias que desejam essas vantagens não precisam migrar todos os ativos para o Unity Catalog. Você precisa apenas de um espaço de trabalho do Azure Databricks habilitado para o Catálogo Unity para gerenciar ativos compartilhados com você. Em algumas contas, novos espaços de trabalho são habilitados para o Unity Catalog automaticamente. Consulte Ativação automática do Catálogo Unity.
Consulte Ler dados compartilhados usando o compartilhamento aberto do Delta Sharing com tokens de portador (para destinatários) e Ler dados compartilhados usando o compartilhamento delta do Databricks para Databricks (para destinatários).
Preciso de ser um cliente do Databricks para utilizar o Delta Sharing?
Não, o Delta Sharing é um protocolo aberto. Você pode compartilhar dados que não sejam do Databricks com destinatários em qualquer plataforma de dados. Os provedores podem configurar um servidor de compartilhamento delta aberto para compartilhar de qualquer plataforma de computação. Os destinatários podem consumir dados compartilhados usando conectores de compartilhamento delta de código aberto para muitos produtos de dados, incluindo Power BI, pandas e Spark de código aberto.
No entanto, usar o Delta Sharing no Azure Databricks, especialmente a partilha de um espaço de trabalho com o Catálogo Unity ativado, oferece muitas vantagens.
Para mais detalhes, consulte a primeira pergunta neste FAQ.
Como posso assumir e verificar os custos do Delta Sharing?
O custo do Delta Sharing é incorrido ao partilhar e aceder a visualizações, visualizações materializadas e tabelas de streaming. Existem duas fontes potenciais de custos de partilha:
- Custo de computação, cobrado pelo Azure Databricks.
- Custo de armazenamento e transferência de rede (saída), cobrado pelo fornecedor de armazenamento.
O método pelo qual o cálculo é realizado e quem paga por ele depende de vários fatores:
- O tipo de computação do destinatário
- Se o compartilhamento ocorre dentro da mesma conta do Azure Databricks ou entre contas
A tabela a seguir descreve o método de cobrança para compartilhar e acessar exibições usando o Compartilhamento Delta:
| Computação do destinatário | Relação com a conta | Quem paga | SKU usado para faturamento | Método de acesso |
|---|---|---|---|---|
| Databricks Serverless | Qualquer | Destinatário | Sem servidor do destinatário | O destinatário recebe acesso direto aos dados subjacentes |
| Databricks Clássico | A mesma conta | Destinatário | Clássico do destinatário | O destinatário recebe acesso direto aos dados subjacentes |
| Databricks Clássico | Conta diferente | Destinatário | Provedor interativo sem servidor | O provedor executa a filtragem |
| Abrir conectores de Delta Sharing | Qualquer | Fornecedor | Provedor interativo sem servidor | O provedor executa a filtragem |
A atribuição de faturamento também pode ser consultada usando a referência da tabela do sistema de uso faturável e a referência da tabela do sistema de histórico de materialização do Delta Sharing. Se o receptor paga pela atribuição, então apenas o receptor pode ver o registo associado na tabela do sistema. Para consultas de exemplo, consulte Consultas de exemplo.
O Delta Sharing tem custos de saída?
O serviço Delta Sharing dentro de uma região não acarreta custos de saída. Ao contrário de outras plataformas de partilha de dados, o Delta Sharing não requer replicação de dados. Este modelo tem muitas vantagens, mas significa que o fornecedor da cloud pode cobrar taxas de saída de dados quando partilha dados entre clouds ou regiões. O Azure Databricks dá suporte ao compartilhamento do Cloudflare R2, que não incorre em taxas de saída, e fornece outras ferramentas e recomendações para monitorar e evitar taxas de saída. Consulte Monitorar e gerenciar custos de saída do Delta Sharing (para provedores).
Os destinatários têm acesso direto aos dados subjacentes em visualizações compartilhadas, visualizações materializadas e tabelas de streaming?
O destinatário dos dados só tem acesso direto a exibições compartilhadas, exibições materializadas e tabelas de streaming se estiver na mesma conta do Azure Databricks ou se estiver usando computação sem servidor de uma conta diferente. Caso contrário, os dados são materializados e filtrados pelo lado do fornecedor. A materialização dos dados é armazenada no local de armazenamento pai do ativo de dados compartilhado.
Ao compartilhar ativos materializados, o computador processa a solicitação aplicando filtros necessários e criando materialização temporária armazenada em cache no armazenamento do provedor. Esses dados filtrados são entregues aos destinatários usando URLs de curta duração pré-assinadas, garantindo acesso seguro enquanto mantém o controle de acesso de provedor para destinatário.
Os provedores podem revogar o acesso do destinatário?
Sim, o acesso dos destinatários pode ser revogado a pedido e em níveis especificados de granularidade. Você pode negar acesso de destinatário a compartilhamentos específicos e endereços IP específicos, filtrar dados tabulares para um destinatário, revogar tokens de destinatário e excluir destinatários completamente. Consulte Revogar acesso de destinatário a um compartilhamento e Criar e gerenciar destinatários de dados para Compartilhamento Delta (compartilhamento de Databricks para Databricks).
Não é inseguro usar URLs pré-assinados?
O Delta Sharing utiliza URLs pré-assinados para fornecer acesso temporário a um ficheiro no armazenamento de objetos. Eles só são dados a destinatários que já têm acesso aos dados compartilhados. Eles são seguros porque têm curta duração e não expandem o nível de acesso além do que já lhes foi concedido aos destinatários.
Os tokens utilizados no protocolo de partilha aberta do Delta Sharing são seguros?
Como o Delta Sharing permite a partilha entre plataformas, ao contrário de outras plataformas de partilha de dados disponíveis, o protocolo de partilha requer um token aberto. Os provedores podem garantir a segurança do token configurando o tempo de vida do token, definindo controles de rede e revogando o acesso sob demanda. Além disso, o token não expande o nível de acesso além do que os destinatários já concederam. Consulte Considerações de segurança para tokens.
Se preferir não usar tokens para gerir o acesso a partilhas de destinatários, deve usar a partilha Databricks-para-Databricks ou contacte a equipa da sua conta Databricks para alternativas.
Qual é a diferença entre Lakeflow Connect e Delta Sharing?
O Delta Sharing permite que você compartilhe dados ao vivo com segurança entre plataformas, nuvens e regiões. O Databricks recomenda a ingestão usando conectores gerenciados porque eles são dimensionados para acomodar grandes volumes de dados, consultas de baixa latência e limites de API de terceiros. No entanto, convém consultar seus dados sem movê-los.
Quando você tiver uma escolha entre conectores gerenciados e Compartilhamento Delta, escolha Compartilhamento Delta para os seguintes cenários:
- Limitar a duplicação de dados.
- Consultando os dados mais recentes possíveis.
Limitações
- Os dados tabulares devem estar no formato de tabela Delta . Você pode de forma fácil converter tabelas Parquet em Delta — e vice-versa. Veja CONVERT TO DELTA.
- Os fornecedores não podem partilhar tabelas que utilizam "liquid clustering" e "checkpoint V2" com filtragem de partições.
- Os prestadores não podem partilhar tabelas R2 com agrupamento líquido e ponto de verificação V2.
- As restrições de tabela (restrições de chave primária e estrangeira) não estão disponíveis em tabelas compartilhadas.
- As exibições compartilháveis devem ser definidas em tabelas Delta ou outras exibições compartilháveis. Consulte Adicionar vistas a uma partilha (para fornecedores) e Ler vistas partilhadas (para destinatários).
- A partilha de notebooks é suportada apenas na partilha de Databricks para Databricks. Consulte Adicionar arquivos de bloco de anotações a um compartilhamento e Ler dados compartilhados usando o Compartilhamento Delta de Databricks para Databricks (para destinatários).
- A partilha de volumes só é suportada no compartilhamento Databricks-to-Databricks. Consulte Adicionar volumes a uma partilha (para provedores) e Ler dados partilhados usando o Databricks-to-Databricks Delta Sharing (para destinatários).
- A partilha de modelos é suportada apenas na partilha Databricks-para-Databricks. Consulte Adicionar modelos a uma partilha (para provedores) e Ler dados partilhados usando o Delta Sharing de Databricks para Databricks (para destinatários).
- Há limites para o número de arquivos em metadados permitidos para uma tabela compartilhada. Para saber mais, consulte Erros excedidos no limite de recursos.
- Os esquemas nomeados
information_schemanão podem ser importados para um metastore do Unity Catalog, porque esse nome do esquema está reservado no Unity Catalog. - O compartilhamento de tabelas
SHALLOW CLONEnão é suportado pelo Delta Sharing. O Azure Databricks não oferece suporte à pré-assinatura de URLs para logs Delta que fazem referência a caminhos absolutos. - O compartilhamento de tabelas com agrupamentos habilitados não é suportado pelo Compartilhamento Delta.
- Delta Sharing só consegue ler tabelas UniForm como tabelas Delta.
- O Delta Sharing não suporta o compartilhamento com clientes de leitura Apache Iceberg.
Consulte também a matriz de suporte de recursos Delta Lake.
Quotas de recursos
O Azure Databricks impõe cotas de recursos em todos os objetos protegíveis do Compartilhamento Delta. Essas cotas estão listadas em Limites de recursos. Se você espera exceder esses limites de recursos, entre em contato com sua equipe de conta do Azure Databricks.
Você pode monitorar o uso da cota usando as APIs de cotas de recursos do Unity Catalog. Consulte Monitorar o uso das cotas de recursos do Unity Catalog.