Criar uma credencial de armazenamento para se conectar ao Cloudflare R2

  • Artigo

Importante

Esse recurso está em uma versão prévia.

Este artigo descreve como criar uma credencial de armazenamento no Catálogo do Unity para se conectar ao Cloudflare R2. O armazenamento de objetos Cloudflare R2 não incorre em valores a serem pagos pela saída. A replicação ou migração de dados compartilhados para R2 permite compartilhar dados usando o Delta Sharing sem incorrer em cobrança de valores de saída.

Observação

O Catálogo do Unity dá suporte a duas opções de armazenamento em nuvem para o Azure Databricks: contêineres do Azure Data Lake Storage Gen2 e buckets do Cloudflare R2. O Cloudflare R2 destina-se principalmente a casos de uso de compartilhamento Delta em que você deseja evitar os valores de saída de dados cobradas pelos provedores de nuvem. O Azure Data Lake Storage Gen2 é apropriado para a maioria dos outros casos de uso. Consulte Monitorar e gerenciar os custos de saída de compartilhamento Delta (para provedores) e Criar uma credencial de armazenamento para se conectar ao Azure Data Lake Storage Gen2.

Para usar um bucket R2 como um local de armazenamento para dados gerenciados pelo Catálogo do Unity, você precisa criar uma credencial de armazenamento que autorize o acesso ao bucket R2 e crie um local externo que referencie a credencial de armazenamento e o caminho do bucket:

  • As credenciais de armazenamento encapsulam uma credencial de nuvem de longo prazo que fornece acesso ao armazenamento em nuvem.
  • Os locais externos contêm uma referência a uma credencial de armazenamento e a um caminho de armazenamento em nuvem.

Este artigo se concentra na criação de uma credencial de armazenamento.

Para obter mais informações, confira Conectar-se ao armazenamento de objetos de nuvem usando o Catálogo do Unity.

Requisitos

  • Workspace do Databricks habilitado para Catálogo do Unity.

  • Databricks Runtime 14.3 ou superior ou SQL warehouse 2024.15 ou superior.

    Se você encontrar a mensagem de erro No FileSystem for scheme "r2”, sua computação provavelmente estará em uma versão sem suporte.

  • Conta do Cloudflare. Consulte https://dash.cloudflare.com/sign-up.

  • Função de administrador do Cloudflare R2. Veja a documentação de funções do Cloudflare.

  • Privilégio CREATE STORAGE CREDENTIAL no metastore do Catálogo do Unity anexado ao workspace. Os administradores de conta e administradores de metastore têm esse privilégio por padrão.

Configurar um bucket R2

  1. Crie um bucket Cloudflare R2.

    Você pode usar o painel cloudflare ou a ferramenta Cloudflare Wrangler.

    Consulte a documentação de introdução do Cloudflare R2 ou a documentação do Wrangler.

  2. Crie um Token de API R2 e aplique-o ao bucket.

    Consulte a documentação de autenticação da API do Cloudflare R2.

    Defina as seguintes propriedades de token:

    • Permissões: leitura e gravação de objeto.

      Essa permissão concede acesso de leitura e gravação, que é necessário quando você usa o armazenamento R2 como um destino de replicação, conforme descrito em Usar réplicas do Cloudflare R2 ou migrar o armazenamento para r2.

      Se você quiser impor o acesso somente leitura do Azure Databricks ao bucket R2, poderá criar um token que conceda somente acesso de leitura. No entanto, isso pode ser desnecessário, pois você pode marcar a credencial de armazenamento como somente leitura e qualquer acesso de gravação concedido por essa permissão será ignorado.

    • TTL (opcional): o período de tempo pelo qual você deseja compartilhar os dados do bucket com os destinatários de dados.

    • (opcional) Filtragem de Endereço IP do Cliente: selecione essa opção se você deseja limitar o acesso à rede a endereços IP do destinatário especificados. Se essa opção estiver habilitada, você precisará especificar os endereços IP dos destinatários e incluir o endereço IP NAT do painel de controle do Databricks na lista de permitidos para a região do workspace.

    Confira Endereços do painel de controle do Azure Databricks.

  3. Copie os valores de token de API R2:

    • ID da Chave de Acesso
    • Chave de Acesso do Segredo

    Importante

    Os valores de token são mostrados apenas uma vez.

  4. Na página inicial do R2, acesse Detalhes da conta e copie a ID da conta R2.

Criar a credencial de armazenamento

  1. No Azure Databricks, faça logon em seu workspace.

  2. Clique no Catalog iconCatálogo.

  3. Clique no botão + Adicionar no canto superior direito e selecione Adicionar uma credencial de armazenamento no menu.

    Essa opção não será exibida se você não tiver o privilégio CREATE STORAGE CREDENTIAL.

  4. Selecione um Tipo de Credencial de Token de API do Cloudflare.

  5. Insira um nome para a credencial e os seguintes valores copiados quando você configurou o bucket R2:

    • ID da Conta
    • ID da Chave de Acesso
    • Chave de acesso do segredo

  6. (Opcional) Se você quiser que os usuários tenham acesso somente leitura aos locais externos que usam essa credencial de armazenamento, em Opções avançadas, selecione Somente leitura.

    Não selecione essa opção se quiser usar a credencial de armazenamento para acessar o armazenamento R2 que você está usando como um destino de replicação, conforme descrito em Usar réplicas do Cloudflare R2 ou migrar o armazenamento para R2.

    Para obter mais informações, confira Marcar uma credencial de armazenamento como somente leitura.

  7. Clique em Criar.

  8. Na caixa de diálogo Credencial de armazenamento criada, copie a ID externa.

Próxima etapa: criar a localização externa

Confira Crie um local externo para conectar o armazenamento em nuvem ao Azure Databricks.