Partilhar via

Gerenciar provedores de compartilhamento delta (para destinatários de dados)

  • Artigo

Este artigo descreve como usar o Unity Catalog para obter informações sobre provedores de dados que estão compartilhando dados com você usando o Delta Sharing. Ele também descreve o que é um objeto de provedor e quando você pode precisar criar um objeto de provedor em seu metastore do Unity Catalog, uma tarefa que a maioria dos destinatários nunca precisa fazer.

Importante

Os destinatários de dados devem ter acesso a um espaço de trabalho Databricks habilitado para o Unity Catalog usar a funcionalidade descrita neste artigo. Este artigo não se aplica a destinatários que não têm espaços de trabalho habilitados para Catálogo Unity.

Os destinatários precisam criar objetos de provedor?

No Delta Sharing on Databricks, o termo "provedor" pode significar tanto a organização que está compartilhando dados com você quanto um objeto protegível no metastore do Unity Catalog de um destinatário que representa essa organização. A existência desse objeto protegível no metastore do Unity Catalog de um destinatário permite que os destinatários gerenciem o acesso de sua equipe aos dados compartilhados usando o Unity Catalog.

Como um destinatário com acesso a um metastore do Unity Catalog, normalmente não é necessário criar objetos de provedor. Isso ocorre porque os dados devem ser compartilhados com você usando o compartilhamento de Databricks para Databricks, e os objetos do provedor são criados automaticamente no metastore do Unity Catalog.

Nota

Se você for o destinatário raro no Unity Catalog que está recebendo dados de um provedor que não está compartilhando de um espaço de trabalho Databricks habilitado para Unity Catalog, convém criar objetos de provedor no Unity Catalog para que você possa gerenciar esses dados compartilhados usando o Unity Catalog. Se você estiver nessa categoria, poderá usar a chamada da API REST POST /api/2.1/unity-catalog/providers ou a CLI do Databricks para criar o objeto do provedor Unity Catalog. Você deve ser um administrador ou usuário do metastore com o CREATE_PROVIDER privilégio para o metastore.

Antes de começar

Para gerenciar provedores em seu espaço de trabalho do Azure Databricks:

  • Seu espaço de trabalho deve estar habilitado para o Catálogo Unity.
  • Para exibir um provedor, você deve ser um administrador de metastore ou um administrador de metastore deve conceder-lhe o USE PROVIDER privilégio.
  • Para criar um provedor, você deve ser um administrador de metastore ou um administrador de metastore deve conceder-lhe o CREATE PROVIDER privilégio.
  • Para atualizar um provedor, você deve ser o proprietário do objeto do provedor e ter o CREATE PROVIDER privilégio. Para obter detalhes, consulte Atualizar um provedor (renomear, alterar proprietário, comentar).

Por esse motivo, se seu espaço de trabalho foi criado sem um administrador de metastore, um administrador de conta do Azure Databricks deve conceder a um usuário ou grupo a função de administrador de metastore antes de poder trabalhar com objetos de provedor no Azure Databricks. Consulte Ativação automática do catálogo Unity e (opcional) Atribuir a função de administrador do metastore.

Ver fornecedores

Para exibir uma lista de provedores de dados disponíveis, você pode usar o Gerenciador de Catálogos, a CLI do Catálogo Unity do Databricks ou o SHOW PROVIDERS comando SQL em um bloco de anotações do Azure Databricks ou o editor de consultas do Databricks SQL.

Permissões necessárias: Você deve ser um administrador de metastore ou ter o USE PROVIDER privilégio de exibir todos os provedores no metastore. Outros usuários têm acesso apenas aos provedores que possuem.

Explorador de Catálogos

  1. No seu espaço de trabalho do Azure Databricks, clique em Ícone do catálogo Catálogo.

  2. Na parte superior do painel Catálogo, clique noÍcone de engrenagem ícone de engrenagem e selecione Compartilhamento Delta.

    Como alternativa, na página Acesso rápido , clique no botão Compartilhamento Delta > .

  3. Na guia Compartilhado comigo, exiba todos os provedores disponíveis.

SQL

Execute o seguinte comando em um bloco de anotações ou no editor de consultas Databricks SQL. Opcionalmente, substitua <pattern> por um LIKE predicado.

SHOW PROVIDERS [LIKE <pattern>];

CLI

Execute o seguinte comando usando a CLI do Databricks.

databricks providers list

Ver detalhes do fornecedor

Para exibir detalhes sobre um provedor, você pode usar o Gerenciador de Catálogos, a CLI do Catálogo Databricks Unity ou o DESCRIBE PROVIDER comando SQL em um bloco de anotações do Azure Databricks ou o editor de consultas Databricks SQL.

Permissões necessárias: administrador da Metastore, usuário com o USE PROVIDER privilégio ou proprietário do objeto do provedor.

Os detalhes incluem:

  • Partilhas partilhadas pelo fornecedor (consulte Ver partilhas que um fornecedor partilhou consigo).
  • O criador, o carimbo de data/hora de criação, os comentários e o tipo de autenticação (TOKEN ou DATABRICKS) do provedor TOKEN representa os provedores que compartilharam dados com você usando o protocolo de compartilhamento aberto Delta Sharing. DATABRICKS representa provedores que compartilharam dados com você usando o protocolo de compartilhamento Databricks-to-Databricks.
  • Se o provedor usar o compartilhamento de Databricks para Databricks: a nuvem, a região e o ID do metastore do metastore do Unity Catalog do provedor.
  • Se o provedor usar o compartilhamento aberto: seu ponto de extremidade de perfil de destinatário, que é o local onde o servidor de compartilhamento Delta Sharing está hospedado.

Explorador de Catálogos

  1. No seu espaço de trabalho do Azure Databricks, clique em Ícone do catálogo Catálogo.

  2. Na parte superior do painel Catálogo, clique noÍcone de engrenagem ícone de engrenagem e selecione Compartilhamento Delta.

    Como alternativa, na página Acesso rápido , clique no botão Compartilhamento Delta > .

  3. Na guia Compartilhado comigo, localize e selecione o provedor.

SQL

Execute o seguinte comando em um bloco de anotações ou no editor de consultas Databricks SQL.

DESC PROVIDER <provider-name>;

CLI

Execute o seguinte comando usando a CLI do Databricks.

databricks providers get <provider-name>

Ver partilhas que um fornecedor partilhou consigo

Para exibir os compartilhamentos que um provedor compartilhou com você, você pode usar o Gerenciador de Catálogos, a CLI do Catálogo Unity do Databricks ou o SHOW SHARES IN PROVIDER comando SQL em um bloco de anotações do Azure Databricks ou no editor de consultas do Databricks SQL.

Permissões necessárias: administrador da Metastore, usuário com o USE PROVIDER privilégio ou proprietário do objeto do provedor.

Explorador de Catálogos

  1. No seu espaço de trabalho do Azure Databricks, clique em Ícone do catálogo Catálogo.

  2. Na parte superior do painel Catálogo, clique noÍcone de engrenagem ícone de engrenagem e selecione Compartilhamento Delta.

    Como alternativa, na página Acesso rápido , clique no botão Compartilhamento Delta > .

  3. Na guia Compartilhado comigo, localize e selecione o provedor.

SQL

Execute o seguinte comando em um bloco de anotações ou no editor de consultas Databricks SQL. Opcionalmente, substitua <pattern> por um LIKE predicado.

SHOW SHARES IN PROVIDER [LIKE <pattern>];

CLI

Execute o seguinte comando usando a CLI do Databricks.

 databricks providers list-shares <provider-name>

Atualizar um provedor (renomear, alterar proprietário, comentar)

Você pode usar o Catalog Explorer, a CLI do Databricks Unity Catalog ou o ALTER PROVIDER comando SQL em um bloco de anotações do Azure Databricks ou o editor de consultas Databricks SQL para modificar o objeto do provedor em seu metastore do Unity Catalog:

  • Renomeie o provedor para modificar a maneira como os usuários veem o objeto do provedor em suas interfaces Databricks.
  • Altere o proprietário do objeto do provedor.
  • Adicione ou modifique comentários.

Permissões necessárias: Você deve ser o proprietário do objeto do provedor para atualizar o proprietário. Você deve ser um administrador de metastore (ou usuário com o privilégio) e proprietário do CREATE_PROVIDER provedor para atualizar o nome do provedor. Você deve ser o proprietário para atualizar o comentário. O proprietário inicial é o administrador da metastore.

Explorador de Catálogos

  1. No seu espaço de trabalho do Azure Databricks, clique em Ícone do catálogo Catálogo.

  2. Na parte superior do painel Catálogo, clique noÍcone de engrenagem ícone de engrenagem e selecione Compartilhamento Delta.

    Como alternativa, na página Acesso rápido , clique no botão Compartilhamento Delta > .

  3. Na guia Compartilhado comigo, localize e selecione o provedor.

  4. Na página de detalhes, atualize o proprietário, comentário ou nome do provedor.

    Para renomear um provedor, clique no Menu de kebab menu kebab e selecione Renomear.

SQL

Execute o seguinte comando em um bloco de anotações ou no editor de consultas Databricks SQL.

ALTER PROVIDER <provider-name> RENAME TO <new-provider-name>
OWNER TO <new-owner>
COMMENT "<comment>";

CLI

Execute o seguinte comando usando a CLI do Databricks. Substitua <provider-name> pelo nome do provedor atual e <new-provider-name> pelo novo nome.

databricks providers update <provider-name> /
--new-name <new-provider-name> /
--comment "<new comment>" /
--owner <new-owner-name>

Excluir um provedor

Para excluir um provedor, você pode usar o Gerenciador de Catálogos, a CLI do Catálogo Unity do Databricks ou o DROP PROVIDER comando SQL em um bloco de anotações do Azure Databricks ou o editor de consultas do Databricks SQL. Você deve ser o proprietário do objeto do provedor para excluir o provedor.

Quando você exclui um provedor, você e os usuários em sua organização (o destinatário) não podem mais acessar os dados compartilhados pelo provedor.

Permissões necessárias: proprietário do objeto do provedor.

Explorador de Catálogos

  1. No seu espaço de trabalho do Azure Databricks, clique em Ícone do catálogo Catálogo.

  2. Na parte superior do painel Catálogo, clique noÍcone de engrenagem ícone de engrenagem e selecione Compartilhamento Delta.

    Como alternativa, na página Acesso rápido , clique no botão Compartilhamento Delta > .

  3. Na guia Compartilhado comigo, localize e selecione o provedor.

  4. Clique no Menu de kebab menu kebab e selecione Excluir.

  5. Na caixa de diálogo de confirmação, clique em Excluir.

SQL

Execute o seguinte comando em um bloco de anotações ou no editor de consultas Databricks SQL.

DROP PROVIDER [IF EXISTS] <provider-name>;

CLI

Execute o seguinte comando usando a CLI do Databricks.

databricks providers delete <provider-name>

Se a operação for bem-sucedida, nenhum resultado será retornado.