Partilhar via


Configurar o Microsoft SQL Server para ingestão no Azure Databricks

Visualize a ingestão de tarefas de configuração de origem do SQL Server no Azure Databricks usando o Lakeflow Connect.

Controlo de alterações vs. captura de dados de alterações

O controle de alterações e a captura de dados de alterações (CDC) permitem que o Databricks rastreie alterações nas tabelas de origem. O Databricks recomenda o uso do controle de alterações para qualquer tabela que tenha uma chave primária para minimizar a carga no banco de dados de origem. Se o controle de alterações e o CDC estiverem habilitados, o conector do SQL Server usará o controle de alterações.

Método Description
Acompanhamento de alterações Captura o fato de que as linhas de uma tabela foram alteradas, mas não captura as operações reais. O controle de alterações exige que uma tabela tenha uma chave primária, mas é um processo leve que não tem um grande impacto no banco de dados de origem.
Alterar a captura de dados Captura todas as operações em uma tabela e contém uma visão histórica das alterações feitas ao longo do tempo. O CDC não exige que uma tabela tenha uma chave primária, mas pode ter mais impacto no desempenho do banco de dados de origem.

Para obter mais informações sobre essas opções, consulte Controlar alterações de dados (SQL Server) na documentação do SQL Server.

Visão geral das tarefas de configuração do código-fonte

Você deve concluir as seguintes tarefas no SQL Server antes de ingerir dados no Azure Databricks:

  1. Verifique se você atende aos requisitos de versão do SQL Server:

    • Para usar o controle de alterações, você deve ter o SQL Server 2012 ou superior.
    • Para usar o CDC, você deve ter o pacote de atualização cumulativa 3 (CU3) do SQL Server 2012 service pack 1 (SP1) ou superior. Para versões anteriores ao SQL Server 2016, o Enterprise Edition também é necessário.
  2. Defina as configurações do firewall, se necessário.

  3. Crie um usuário de banco de dados no SQL Server que seja dedicado à ingestão de Databricks e atenda aos requisitos de privilégio.

  4. Configure o banco de dados de origem, incluindo gerenciamento de permissões, habilitação de controle de alterações e habilitação CDC. Consulte Preparar o SQL Server para ingestão utilizando o script de objetos utilitários.