Conectar-se a fontes de ingestão gerenciadas

As conexões de ingestão gerenciada do Lakeflow Connect armazenam credenciais de autenticação para suas fontes de dados no Catálogo do Unity. Qualquer usuário com o privilégio USE CONNECTION na conexão pode criar pipelines de ingestão gerenciada de fontes como Salesforce e SQL Server.

Um usuário administrador deve criar a conexão se os usuários que criarem pipelines forem usuários não administradores ou usarem interfaces programáticas. Essas interfaces exigem que os usuários especifiquem uma conexão existente ao criar um pipeline.

Como alternativa, os usuários administradores podem criar uma conexão e um pipeline ao mesmo tempo na interface do usuário de ingestão de dados. Consulte Conectores gerenciados no Lakeflow Connect.

Conexões de ingestão versus federação

O Lakeflow Connect oferece conectores de ingestão totalmente gerenciados para aplicativos empresariais e fontes de banco de dados. A Federação do Lakehouse permite que você consulte fontes de dados externas sem mover seus dados. Você pode criar conexões para ingestão e federação de consultas no Explorador de Catálogo.

Requisitos de privilégio

Os privilégios de usuário necessários para se conectar a uma fonte de ingestão gerenciada dependem da interface escolhida:

Cenário Interfaces com suporte Privilégios de usuário necessários
Um usuário administrador cria uma conexão e um pipeline de ingestão ao mesmo tempo. Interface do usuário de ingestão de dados
  • CREATE CONNECTION no metastore
  • USE CATALOG no catálogo de destino
  • (Aplicativos SaaS) USE SCHEMA e CREATE TABLE em um esquema existente ou CREATE SCHEMA no catálogo de destino
  • (Bancos de dados) USE SCHEMA, CREATE TABLE e CREATE VOLUME em um esquema existente ou CREATE SCHEMA no catálogo de destino
Um usuário administrador cria uma conexão com usuários não administradores para criar pipelines. Admin:
  • Gerenciador de Catálogos

Não administrador:
  • Interface do usuário de ingestão de dados
  • Pacotes de Automação Declarativa
  • Databricks APIs
  • Databricks SDKs
  • CLI do Databricks
Admin:
  • CREATE CONNECTION no metastore

Não administrador:
  • USE CONNECTION em uma conexão existente
  • USE CATALOG no catálogo de destino
  • (Aplicativos SaaS) USE SCHEMA e CREATE TABLE em um esquema existente ou CREATE SCHEMA no catálogo de destino
  • (Bancos de dados) USE SCHEMA, CREATE TABLE e CREATE VOLUME em um esquema existente ou CREATE SCHEMA no catálogo de destino

Crie uma conexão

Para obter instruções passo a passo para criar uma conexão do Unity Catalog para uma origem de ingestão gerenciada específica, consulte a página "Criar uma conexão" do conector na documentação de conectores gerenciados.

Próximas Etapas 

Depois de criar uma conexão com a fonte de ingestão gerenciada no Catalog Explorer, qualquer usuário que possua o privilégio USE CONNECTION na conexão pode criar um pipeline de ingestão das seguintes maneiras:

  • Assistente de ingestão (somente conectores compatíveis)
  • Pacotes de Automação Declarativa
  • Databricks APIs
  • Databricks SDKs
  • CLI do Databricks

Para obter instruções de criação de pipeline, consulte a documentação do conector gerenciado.