Conector de ingestão do Microsoft SQL Server

Esta página ajuda você a entender o fluxo de trabalho de ingestão do SQL Server, incluindo os fatores que determinam sua abordagem de instalação e as etapas envolvidas para diferentes personas de usuário.

CDC padrão versus CDC integrado

SQL Server dá suporte a duas arquiteturas de ingestão. A tabela a seguir os compara:

Característica	CDC padrão (baseado em gateway)	CDC integrado (Beta)
Número de pipelines	2 (portal de ingestão e fluxo de ingestão)	Um (fluxo unificado)
Configuração	Crie um gateway e crie um pipeline de ingestão que referencie a ID do gateway	Criar um único pipeline que faça referência a uma conexão do Unity Catalog
Modo Gateway	O gateway fica em execução continuamente.	O pipeline incorpora a extração em cada atualização
Referência de conexão	ingestion_gateway_id	connection_name (uma conexão do Unity Catalog)
Tipo de conector	Implícito	Explícito: connector_type: CDC
Volume de preparo	O gateway gerencia o volume de preparação internamente	Você configura o volume de preparação por meio de data_staging_options. O pipeline cria automaticamente um, se não especificado.

A mesma configuração de banco de dados de origem se aplica a ambas as arquiteturas. Consulte Configurar Microsoft SQL Server para ingestão em Azure Databricks. Para obter mais informações, consulte Criar um pipeline CDC integrado para SQL Server.

Disponibilidade de funcionalidades

Característica	Availability
Criação de pipelines com base em interface gráfica	Suportado
Criação de pipeline baseada em API	Suportado
Pacotes de Automação Declarativa	Suportado
Ingestão incremental	Suportado
Governança do Catálogo do Unity	Suportado
Orquestração com Lakeflow Jobs	Suportado
SCD do tipo 2	Suportado
Seleção e desseleção de coluna baseada em API	Suportado
Filtragem de linha baseada em API	Sem suporte
Evolução do esquema automatizado: colunas novas e excluídas	Suportado
Evolução automatizada do esquema: alterações de tipo de dados	Sem suporte
Evolução automatizada do esquema: renomeações de coluna	Sem suporte Requer uma atualização completa.
Evolução do esquema automatizado: novas tabelas	Suportado Se você ingerir o esquema completo. Consulte as limitações no número de tabelas para cada pipeline.
Quantidade máxima de tabelas por pipeline	250

Métodos de autenticação

Método de autenticação	Availability
OAuth U2M	Sem suporte
OAuth M2M	Sem suporte
OAuth (token de atualização manual)	Sem suporte
Autenticação básica (nome de usuário/senha)	Suportado
Autenticação básica (chave de API)	Sem suporte
Autenticação básica (chave JSON da conta de serviço)	Sem suporte

O que saber antes de começar

Tópico	Por que isso importa
Persona de usuário do Azure Databricks	O fluxo de trabalho depende da persona do usuário do Azure Databricks: Usuário único: um usuário administrador configura o banco de dados de origem e cria uma conexão do Catálogo do Unity, um gateway de ingestão e um pipeline de ingestão. Multiusuário: um usuário administrador configura o banco de dados de origem e cria uma conexão para usuários não administradores criarem pares de gateway-pipeline.
Variação do banco de dados	A configuração do banco de dados de origem depende do ambiente de implantação do SQL Server.
Método de controle de alterações	A configuração do banco de dados de origem depende de como você escolhe controlar as alterações na origem.
Método de autenticação	As etapas para criar uma conexão dependem do método de autenticação escolhido.
Interface	As etapas para criar uma conexão, um gateway e um pipeline dependem da interface.
Frequência de ingestão	O agendamento do pipeline depende de seus requisitos de latência e custo.
Padrões comuns	Dependendo das suas necessidades de ingestão, o pipeline pode usar configurações como acompanhamento de histórico, seleção de coluna e filtragem de linhas. As configurações com suporte variam de acordo com o conector. Veja Disponibilidade de funcionalidades.

Iniciar a ingestão a partir do SQL Server

A tabela a seguir fornece uma visão geral do fluxo de trabalho de ingestão do SQL Server de ponta a ponta, com base no tipo de usuário:

Utilizador	Steps
Admin	Configure o Microsoft SQL Server para ingestão no Azure Databricks. Ou: Use o Gerenciador de Catálogos para criar uma conexão para que os não administradores possam criar pares de gateway-pipeline. Consulte Criar uma conexão SQL Server. Use a interface do usuário de ingestão de dados para criar uma conexão, um gateway e um pipeline. Consulte Ingestão de dados do SQL Server.
Não administrador	Use qualquer interface com suporte para criar um gateway e um pipeline. Consulte Ingestão de dados do SQL Server.