Gerenciar provedores do Compartilhamento Delta (para destinatários de dados)
Este artigo descreve como usar o Catálogo do Unity para obter informações sobre provedores de dados que estão compartilhando dados com você usando o Compartilhamento Delta. Ele também descreve o que é um objeto de provedor e quando talvez seja necessário criar um objeto de provedor no metastore do Catálogo do Unity, uma tarefa que a maioria dos destinatários nunca deve precisar fazer.
Importante
Os destinatários de dados devem ter acesso a um workspace do Databricks habilitado para que o Catálogo do Unity use a funcionalidade descrita neste artigo. Este artigo não se aplica a destinatários que não têm workspaces habilitados para o Catálogo do Unity.
Os destinatários precisam criar objetos do provedor?
No Compartilhamento Delta do Databricks, o termo "provedor" pode significar a organização que está compartilhando dados com você e um objeto protegível no metastore do Catálogo do Unity de um destinatário que representa essa organização. A existência desse objeto protegível no metastore do Catálogo do Unity de um destinatário permite que os destinatários gerenciem o acesso de sua equipe a dados compartilhados usando o Catálogo do Unity.
Como um destinatário com acesso a um metastore do Catálogo do Unity, normalmente você não precisa criar objetos do provedor. Isso ocorre porque os dados devem ser compartilhados com você usando o compartilhamento de Databricks para Databricks e os objetos do provedor são criados automaticamente no metastore do Catálogo do Unity.
Observação
Se você for o destinatário raro no Catálogo do Unity que está recebendo dados de um provedor que não está compartilhando de um workspace do Databricks habilitado para o Catálogo do Unity, convém criar objetos do provedor no Catálogo do Unity para que possa gerenciar esses dados compartilhados usando o Catálogo do Unity. Se você estiver nessa categoria, poderá usar a chamada à API REST POST /api/2.1/unity-catalog/providers ou a CLI do Databricks para criar o objeto do provedor do Catálogo do Unity. Você deve ser um administrador ou usuário do metastore com privilégios de CREATE_PROVIDER para o metastore.
Antes de começar
Para gerir fornecedores no seu espaço de trabalho Azure Databricks:
- Seu workspace deve estar habilitado para o Catálogo do Unity.
- Para visualizar um provedor, você deve ser um administrador do metastore ou um administrador do metastore deve conceder a você o privilégio
USE PROVIDER. - Para criar um provedor, você deve ser um administrador de metastore ou um administrador de metastore deve conceder-lhe o privilégio
CREATE PROVIDER. - Para criar um provedor, você deve ser um administrador de metastore ou um administrador de metastore deve conceder-lhe o privilégio
CREATE PROVIDER. Para obter detalhes, veja Atualizar um provedor (renomear, alterar proprietário, comentar).
Por esse motivo, se o seu espaço de trabalho foi criado sem um administrador de metastore, um administrador de conta Azure Databricks deve conceder a um utilizador ou grupo a função de administrador de metastore antes de poder trabalhar com objetos de fornecedor em Azure Databricks. Veja Habilitação automática do Catálogo Unity e (opcional) Atribuir a função de administrador do metastore.
Exibir provedores
Para exibir uma lista de provedores de dados disponíveis, use o Explorador de Catálogos, a CLI do Catálogo do Unity do Databricks ou o comando SQL SHOW PROVIDERS em um notebook do Azure Databricks ou o editor de consulta SQL do Databricks.
Permissões necessárias: Você deve ser um administrador de metastore ou ter o privilégio USE PROVIDER de exibir todos os provedores no metastore. Outros usuários têm acesso somente aos provedores que possuem.
Explorador do Catálogo
No workspace do Azure Databricks, clique em
Catálogo.Na parte superior do painel Catálogo, clique no ícone de engrenagem
e selecione Compartilhamento Delta.Como alternativa, na página Acesso rápido, clique no botão Compartilhamento Delta>.
Na guia Compartilhado comigo, exiba todos os provedores disponíveis.
SQL
Execute o comando a seguir em um notebook ou no editor de SQL do Databricks. Opcionalmente, substitua <pattern> por um predicado LIKE.
SHOW PROVIDERS [LIKE <pattern>];
CLI
Execute o comando a seguir usando a CLI do Databricks.
databricks providers list
Ver detalhes do provedor
Para exibir detalhes sobre um provedor, use o Explorador de Catálogos, a CLI do Catálogo do Unity do Databricks ou o comando SQL DESCRIBE PROVIDER em um notebook do Azure Databricks ou o editor de consulta do Databricks SQL.
Permissões necessárias: Administrador do metastore, usuário com o privilégio USE PROVIDER ou o proprietário do objeto do provedor.
Os detalhes incluem:
- Compartilhamentos compartilhados pelo provedor (consulte Exibir compartilhamentos que um provedor compartilhou com você).
- O criador do provedor, o carimbo de data/hora de criação, os comentários e o tipo de autenticação (
TOKENouDATABRICKS).TOKENrepresenta provedores que compartilharam dados com você usando o protocolo de compartilhamento aberto do Compartilhamento Delta.DATABRICKSrepresenta provedores que compartilharam dados com você usando o protocolo de compartilhamento Databricks para Databricks. - Se o provedor usar o compartilhamento do Databricks para Databricks: a nuvem, a região e a ID do metastore do Catálogo do Unity do provedor.
- Se o provedor usar o compartilhamento aberto: o ponto de extremidade do perfil do destinatário, que é o local em que o servidor de compartilhamento Delta está hospedado.
Explorador do Catálogo
No workspace do Azure Databricks, clique em
Catálogo.Na parte superior do painel Catálogo, clique no ícone de engrenagem
e selecione Compartilhamento Delta.Como alternativa, na página Acesso rápido, clique no botão Compartilhamento Delta>.
Na guia Compartilhado comigo, localize e selecione o provedor.
SQL
Execute o comando a seguir em um notebook ou no editor de SQL do Databricks.
DESC PROVIDER <provider-name>;
CLI
Execute o comando a seguir usando a CLI do Databricks.
databricks providers get <provider-name>
Ver compartilhamentos que um provedor compartilhou com você
Para exibir os compartilhamentos que um provedor compartilhou com você, use o Explorador de Catálogos, a CLI do Catálogo do Unity do Databricks ou o comando SQL SHOW SHARES IN PROVIDER em um notebook do Azure Databricks ou o editor de consulta do Databricks SQL.
Permissões necessárias: Administrador do metastore, usuário com o privilégio USE PROVIDER ou o proprietário do objeto do provedor.
Explorador do Catálogo
No workspace do Azure Databricks, clique em
Catálogo.Na parte superior do painel Catálogo, clique no ícone de engrenagem
e selecione Compartilhamento Delta.Como alternativa, na página Acesso rápido, clique no botão Compartilhamento Delta>.
Na guia Compartilhado comigo, localize e selecione o provedor.
SQL
Execute o comando a seguir em um notebook ou no editor de SQL do Databricks. Opcionalmente, substitua <pattern> por um predicado LIKE.
SHOW SHARES IN PROVIDER [LIKE <pattern>];
CLI
Execute o comando a seguir usando a CLI do Databricks.
databricks providers list-shares <provider-name>
Atualizar um provedor (renomear, alterar proprietário, comentar)
Você pode usar o Explorador de Catálogos, a CLI do Catálogo do Unity do Databricks ou o comando SQL ALTER PROVIDER em um notebook do Azure Databricks ou o editor de consulta SQL do Databricks para modificar o objeto do provedor em seu metastore do Catálogo do Unity:
- Renomeie o provedor para modificar a maneira como os usuários veem o objeto do provedor em suas interfaces do Databricks.
- Altere o proprietário do objeto do provedor.
- Adicionar ou modificar comentários.
Permissões necessárias: você deve ser o proprietário do objeto provedor para atualizar o proprietário. É necessário ser um administrador de metastore (ou um usuário com o privilégio CREATE_PROVIDER) e o proprietário do provedor para atualizar o nome do provedor. Você deve ser o proprietário para atualizar o comentário. O proprietário inicial é o administrador do metastore.
Explorador do Catálogo
No workspace do Azure Databricks, clique em
Catálogo.Na parte superior do painel Catálogo, clique no ícone de engrenagem
e selecione Compartilhamento Delta.Como alternativa, na página Acesso rápido, clique no botão Compartilhamento Delta>.
Na guia Compartilhado comigo, localize e selecione o provedor.
Na página de detalhes, atualize o proprietário, o comentário ou o nome do provedor.
Para renomear um provedor, clique no
menu kebab e selecione Renomear.
SQL
Execute o comando a seguir em um notebook ou no editor de SQL do Databricks.
ALTER PROVIDER <provider-name> RENAME TO <new-provider-name>
OWNER TO <new-owner>
COMMENT "<comment>";
CLI
Execute o comando a seguir usando a CLI do Databricks. Substitua <provider-name> pelo nome do provedor atual e <new-provider-name> pelo novo nome.
databricks providers update <provider-name> /
--new-name <new-provider-name> /
--comment "<new comment>" /
--owner <new-owner-name>
Excluir um provedor
Para excluir um provedor, é possível usar o Explorador de Catálogos, a CLI do Catálogo do Unity do Databricks, o comando SQL DROP PROVIDER em um notebook do Azure Databricks ou o editor de consultas do Databricks SQL. Você deve ser o proprietário do objeto do provedor para excluir o provedor.
Quando você exclui um provedor, você e os usuários em sua organização (o destinatário) não podem mais acessar os dados compartilhados pelo provedor.
Permissões necessárias: proprietário do objeto do provedor.
Explorador do Catálogo
No workspace do Azure Databricks, clique em
Catálogo.Na parte superior do painel Catálogo, clique no ícone de engrenagem
e selecione Compartilhamento Delta.Como alternativa, na página Acesso rápido, clique no botão Compartilhamento Delta>.
Na guia Compartilhado comigo, localize e selecione o provedor.
Clique no menu
kebab e selecione Excluir.Na caixa de diálogo de confirmação, clique em Excluir.
SQL
Execute o comando a seguir em um notebook ou no editor de SQL do Databricks.
DROP PROVIDER [IF EXISTS] <provider-name>;
CLI
Execute o comando a seguir usando a CLI do Databricks.
databricks providers delete <provider-name>
Se a operação for bem-sucedida, nenhum resultado será retornado.