Konfigurace Microsoft SQL Serveru pro příjem dat do Azure Databricks

Náhled načítání úloh nastavení zdroje z SQL Serveru do Azure Databricks pomocí Lakeflow Connect.

Sledování změn vs. zachytávání dat změn

Sledování změn a zachytávání dat změn (CDC) umožňuje Službě Azure Databricks sledovat změny ve zdrojových tabulkách. Databricks doporučuje použít sledování změn pro všechny tabulky, které mají primární klíč, aby se minimalizovalo zatížení zdrojové databáze. Pokud je zapnuté sledování změn i CDC, konektor SQL Serveru používá sledování změn.

Metoda	Description
Sledování změn	Zachycuje skutečnost, že se změnily řádky v tabulce, ale nezachytává skutečné operace. Sledování změn vyžaduje, aby tabulka měla primární klíč, ale jedná se o jednoduchý proces, který nemá velký dopad na zdrojovou databázi.
Změna zachytávání dat	Zaznamenává každou operaci v tabulce a obsahuje historické zobrazení změn provedených v průběhu času. CDC nevyžaduje, aby tabulka měla primární klíč, ale může mít větší vliv na výkon zdrojové databáze.

Další informace o těchto možnostech naleznete v tématu Sledování změn dat (SQL Server) v dokumentaci k SQL Serveru.

Přehled nastavení zdroje

Před ingestováním dat do Azure Databricks musíte na SQL Serveru provést následující úlohy:

1. Ověřte, že splňujete požadavky na verzi SQL Serveru:

   • Pokud chcete použít sledování změn, musíte mít SQL Server 2012 nebo novější.
   • Chcete-li použít CDC, musíte mít SQL Server 2012 Service Pack 1 (SP1) balíček kumulativní aktualizace 3 (CU3) nebo vyšší. U verzí starších než SQL Server 2016 se vyžaduje také edice Enterprise Edition.

2. V případě potřeby nakonfigurujte nastavení brány firewall.

   • Azure SQL databáze

3. Vytvořte uživatele databáze na SQL Serveru, který je vyhrazený pro příjem dat Databricks a splňuje požadavky na oprávnění.

4. Nastavte zdrojové databáze, včetně správy oprávnění, aktivace sledování změn a aktivace CDC (Zachycení změn dat). Viz Příprava SQL Serveru na příjem dat pomocí skriptu objektů nástroje.