Microsoft SQL Server-Ingestion-Connector

Diese Seite hilft Ihnen, den SQL Server-Erfassungsworkflow zu verstehen, einschließlich der Faktoren, die Ihren Einrichtungsansatz und die Schritte für verschiedene Benutzerpersonas bestimmen.

Standard CDC im Vergleich zum integrierten CDC

SQL Server unterstützt zwei Aufnahmearchitekturen. Die folgende Tabelle vergleicht sie:

Funktion	Standard-CDC (gatewaybasiert)	Integriertes CDC (Beta)
Anzahl der Pipelines	Zwei (Erfassungsgateway und Erfassungspipeline)	Eine (einheitliche Pipeline)
Konfiguration	Erstellen Sie ein Gateway, und erstellen Sie dann eine Aufnahmepipeline, die auf die Gateway-ID verweist.	Erstellen einer einzelnen Pipeline, die auf eine Unity-Katalogverbindung verweist
Gateway-Modus	Das Gateway läuft kontinuierlich.	Die Pipeline bettet die Extraktion in jedes Update ein.
Verbindungsreferenz	ingestion_gateway_id	connection_name (eine Unity-Katalogverbindung)
Konnektortyp	Implicit (Implizit)	Explizit: connector_type: CDC
Bereitstellungsvolume	Das Gateway verwaltet das Staging-Volume intern.	Sie konfigurieren das Stagingvolume über data_staging_options. Die Pipeline erstellt automatisch eines, wenn keines angegeben ist.

Die gleiche Quelldatenbankkonfiguration gilt für beide Architekturen. Siehe Microsoft SQL Server für die Aufnahme in Azure Databricks konfigurieren. Weitere Informationen finden Sie unter Erstellen einer integrierten CDC-Pipeline für SQL Server.

Verfügbarkeit von Funktionen

Funktion	Availability
Benutzeroberflächenbasierte Pipelineerstellung	Unterstützt
API-basierte Pipeline-Erstellung	Unterstützt
Deklarative Automatisierungspakete	Unterstützt
Inkrementelle Erfassung	Unterstützt
Unity Catalog Governance	Unterstützt
Orchestrierung mit Lakeflow Jobs	Unterstützt
SCD Typ 2	Unterstützt
API-basierte Spaltenauswahl und -abwahl	Unterstützt
API-basierte Zeilenfilterung	Nicht unterstützt
Automatisierte Schemaentwicklung: Neue und gelöschte Spalten	Unterstützt
Automatisierte Schemaentwicklung: Datentypänderungen	Nicht unterstützt
Automatische Schemaentwicklung: Spaltenumbenennungen	Nicht unterstützt Erfordert eine vollständige Aktualisierung.
Automatisierte Schemaentwicklung: Neue Tabellen	Unterstützt Wenn Sie das gesamte Schema aufnehmen. Sehen Sie sich die Einschränkungen für die Anzahl der Tabellen pro Pipeline an.
Maximale Anzahl von Tabellen pro Pipeline	250

Authentifizierungsmethoden

Authentifizierungsmethode	Availability
OAuth U2M	Nicht unterstützt
OAuth M2M	Nicht unterstützt
OAuth (manuelles Aktualisierungstoken)	Nicht unterstützt
Standardauthentifizierung (Benutzername/Kennwort)	Unterstützt
Standardauthentifizierung (API-Schlüssel)	Nicht unterstützt
Standardauthentifizierung (JSON-Schlüssel des Dienstkontos)	Nicht unterstützt

Was Sie wissen müssen, bevor Sie beginnen

Thema	Warum das wichtig ist
Azure Databricks-Benutzerpersona	Der Workflow hängt von Ihrer Azure Databricks-Benutzerpersona ab: Einzelbenutzer: Ein Administrator konfiguriert die Quelldatenbank und erstellt eine Unity Catalog-Verbindung, ein Ingestion-Gateway und eine Ingestion-Pipeline. Mehrere Benutzer: Ein Administrator konfiguriert die Quelldatenbank und erstellt eine Verbindung für Nicht-Administratorbenutzer, um Gateway-Pipeline-Paare zu erstellen.
Datenbankvariation	Die Quelldatenbankkonfiguration hängt von der SQL Server-Bereitstellungsumgebung ab.
Änderungsnachverfolgungsmethode	Die Quelldatenbankkonfiguration hängt davon ab, wie Sie Änderungen in der Quelle nachverfolgen möchten.
Authentifizierungsmethode	Die Schritte zum Erstellen einer Verbindung hängen von der gewählten Authentifizierungsmethode ab.
Interface	Die Schritte zum Erstellen einer Verbindung, eines Gateways und einer Pipeline hängen von der Schnittstelle ab.
Aufnahmehäufigkeit	Der Pipelinezeitplan hängt von Ihren Latenz- und Kostenanforderungen ab.
Allgemeine Muster	Abhängig von Ihren Anforderungen für die Datenaufnahme könnte die Pipeline Konfigurationseinstellungen wie Verlaufsverfolgung, Spaltenauswahl und Zeilenfilterung nutzen. Unterstützte Konfigurationen variieren je nach Connector. Weitere Informationen finden Sie unter Featureverfügbarkeit.

Datenaufnahme aus SQL Server starten

Die folgende Tabelle enthält eine Übersicht über den End-to-End SQL Server-Erfassungsworkflow basierend auf dem Benutzertyp:

Benutzer	Steps
Administrator	Konfigurieren Sie Microsoft SQL Server für die Aufnahme in Azure Databricks. Entweder: Verwenden Sie den Katalog-Explorer, um eine Verbindung zu erstellen, sodass Nicht-Administratoren Gateway-Pipeline-Paare erstellen können. Siehe Create a SQL Server connection. Verwenden Sie die Datenaufnahme-UI, um eine Verbindung, ein Gateway und eine Pipeline zu erstellen. Siehe "Aufnehmen von Daten aus SQL Server".
Nicht-Administrator	Verwenden Sie jede unterstützte Schnittstelle, um ein Gateway und eine Pipeline zu erstellen. Siehe "Aufnehmen von Daten aus SQL Server".