Hinzufügen einer PostgreSQL Datenbank CDC-Quelle zu einem Eventstream

In diesem Artikel erfahren Sie, wie Sie eine PostgreSQL-Datenbank Change Data Capture (CDC)-Quelle zu einem Eventstream hinzufügen können.

Der Postgre SQL-Datenbank Change Data Capture (CDC)-Quellconnector für Microsoft Fabric-Eventstreams ermöglicht Ihnen das Erfassen einer Momentaufnahme der aktuellen Daten in einer PostgreSQL-Datenbank Derzeit wird PostgreSQL Database Change Data Capture (CDC) von den folgenden Diensten unterstützt, auf die öffentlich zugegriffen werden kann, um die Datenbanken abzurufen:

• Azure-Datenbank für PostgreSQL
• Amazon RDS für PostgreSQL
• Amazon Aurora PostgreSQL
• Google Cloud SQL für PostgreSQL

Sobald die CdC-Quelle der PostgreSQL-Datenbank dem Eventstream hinzugefügt wurde, erfasst sie Änderungen auf Zeilenebene an den angegebenen Tabellen. Diese Änderungen können dann in Echtzeit verarbeitet und zur weiteren Analyse an verschiedene Ziele gesendet werden.

Hinweis

Diese Quelle wird in den folgenden Regionen Ihrer Arbeitsbereichskapazität nicht unterstützt: USA, Westen 3; Schweiz, Westen.

Voraussetzungen

• Zugriff auf einen Arbeitsbereich im Fabric-Kapazitätslizenzmodus (oder) im Testlizenzmodus mit Mitwirkenden oder höheren Berechtigungen.

• Zugriff als registrierter Benutzer in der PostgreSQL-Datenbank.

• Ihre PostgreSQL-Datenbank muss öffentlich zugänglich sein und darf sich nicht hinter einer Firewall oder in einem virtuellen Netzwerk befinden.

• CDC in der PostgreSQL-Datenbank und in den PostgreSQL-Tabellen aktiviert.

  Wenn Sie über Azure Database for PostgreSQL verfügen, gehen Sie zum Aktivieren von CDC nach den Schritten im nächsten Abschnitt vor. Ausführliche Informationen finden Sie unter Logische Replikation und logische Decodierung – Azure Database for PostgreSQL – Flexible Server.

  Informationen zu anderen PostgreSQL-Datenbanken finden Sie unter Debezium-Connector für PostgreSQL :: Debezium-Dokumentation.

• Wenn Sie keinen Eventstream haben, erstellen Sie einen Eventstream.

Aktivieren von CDC in Ihrer PostgreSQL-Datenbank

In diesem Abschnitt wird Azure Database für PostgreSQL als Beispiel verwendet.

Gehen Sie wie folgt vor, um CDC auf Ihrer Instanz von Azure Database for PostgreSQL – Flexibler Server zu aktivieren:

1. Wählen Sie im Azure-Portal auf der Seite „Azure Database for PostgreSQL – Flexibler Server“ im Navigationsmenü die Option Serverparameter aus.

2. Auf der Seite Serverparameter:

   • Setzen Sie wal_level auf logisch.
   • Aktualisieren Sie max_worker_processes auf mindestens 16.

   

3. Speichern Sie die Änderungen, und starten Sie den Server neu.

4. Vergewissern Sie sich, dass Ihre Instanz von Azure Database for PostgreSQL – Flexibler Server den öffentlichen Netzwerkdatenverkehr zulässt.

5. Erteilen Sie dem Administratorbenutzer Replikationsberechtigungen durch Ausführen der folgenden SQL-Anweisung. Wenn Sie ein anderes Benutzerkonto verwenden möchten, um Ihre PostgreSQL DB zum Abrufen von CDC zu verbinden, stellen Sie sicher, dass der Benutzer der Tabellenbesitzer ist.

   ALTER ROLE <admin_user_or_table_owner_user> WITH REPLICATION;
   

Starten des Assistenten zum Auswählen einer Datenquelle

Wenn Sie Ihrem Eventstream noch keine Quelle hinzugefügt haben, wählen Sie die Kachel Externe Quelle verwenden aus.

Wenn Sie die Quelle zu einem bereits veröffentlichten Eventstream hinzufügen, wechseln Sie zum Bearbeitungsmodus, wählen Sie im Band Quelle hinzufügen und dann Externe Quellen aus.

 

Suchen Sie auf der Seite "Datenquelle auswählen" auf der Kachel "PostgreSQL DB (CDC)" nach "Verbinden", und wählen Sie "Verbinden" aus.

Konfigurieren und Herstellen einer Verbindung mit dem CdC der PostgreSQL-Datenbank

1. Wählen Sie auf der Seite Verbinden die Option Neue Verbindung aus.

   

2. Geben Sie im Abschnitt Verbindungseinstellungen die folgende Informationen ein.

   • Server: Die Serveradresse Ihrer PostgreSQL-Datenbank, z. B. my-pgsql-server.postgres.database.azure.com.

   • Datenbank: Der Datenbankname, z. B. my_database.

     

   • Verbindungsname: Geben Sie einen Namen für die Verbindung ein.

   • Authentifizierungsart, Wählen Sie "Einfach " aus, und geben Sie Ihren Benutzernamen und Ihr Kennwort für die Datenbank ein.

     Hinweis

     Derzeit unterstützen Fabric-Ereignisstreams nur die Standardauthentifizierung .

   • Wählen Sie "Verbinden" aus, um die Verbindungseinstellungen abzuschließen.

3. Port: Geben Sie die Portnummer Ihres Servers ein. Der Standardwert ist 5432. Wenn Ihre ausgewählte Cloudverbindung in "Verbindungen und Gateways verwalten" konfiguriert ist, stellen Sie sicher, dass die Portnummer dem dort festgelegten Entspricht. Wenn sie nicht übereinstimmen, haben die Portnummer in der Cloudverbindung unter "Verbindungen und Gateways verwalten " Vorrang.

4. Sie können zwischen zwei Optionen beim Erfassen von Änderungen aus Datenbanktabellen wählen:

   • Alle Tabellen: Erfassen Sie Änderungen aus jeder Tabelle in der Datenbank.
   • Geben Sie Tabellennamen ein: Ermöglicht ihnen, eine Teilmenge von Tabellen mithilfe einer durch Trennzeichen getrennten Liste anzugeben. Sie können entweder: vollständige Tabellenbezeichner im Format schemaName.tableName oder gültige reguläre Ausdrücke verwenden. Beispiele
   • dbo.test.*: Wählen Sie alle Tabellen aus, deren Namen mit test im dbo Schema beginnen.
   • dbo\.(test1|test2): Auswählen dbo.test1 und dbo.test2.

   Sie können beide Formate in der Liste kombinieren. Die Gesamtzeichenbeschränkung für den gesamten Eintrag beträgt 102.400 Zeichen.

5. Slotname (optional): Geben Sie den Namen des logischen Dekodierungsslots in PostgreSQL ein, der für die Streaming-Änderungen eines bestimmten Plug-ins für eine bestimmte Datenbank oder ein bestimmtes Schema erstellt wurde. Der Server verwendet diesen Steckplatz, um Ereignisse zum Eventstream-Streamingconnector zu streamen. Sie darf nur Kleinbuchstaben, Zahlen und Unterstriche enthalten.

   • Wenn nicht angegeben, wird eine GUID verwendet, um den Steckplatz zu erstellen, der die entsprechenden Datenbankberechtigungen erfordert.
   • Wenn ein angegebener Steckplatzname vorhanden ist, verwendet der Verbinder ihn direkt.

6. Sie können erweiterte Einstellungen erweitern, um auf zusätzliche Konfigurationsoptionen für die CdC-Quelle der PostgreSQL-Datenbank zuzugreifen:

   • Publikationsname: Gibt den Namen der zu verwendenden logischen Replikationsveröffentlichung von PostgreSQL an. Dies muss mit einer vorhandenen Publikation in der Datenbank übereinstimmen, oder sie wird abhängig vom automatischen Erstellungsmodus automatisch erstellt. Standardwert: dbz_publication.

     Hinweis

     Der Connectorbenutzer muss über Superuserberechtigungen verfügen, um die Publikation zu erstellen. Es wird empfohlen, die Publikation manuell zu erstellen, bevor Sie den Connector zum ersten Mal starten, um Berechtigungsbezogene Probleme zu vermeiden.

   • Automatischer Publikations-Erstellungsmodus: Steuert, ob und wie die Publikation automatisch erstellt wird. Zu den Optionen gehören:

     • Filtered (Standard): Wenn die angegebene Publikation nicht vorhanden ist, erstellt der Connector eine, die nur die ausgewählten Tabellen enthält, wie in der Tabellen-Auswahlliste angegeben.
     • AllTables: Wenn die angegebene Publikation vorhanden ist, verwendet der Connector sie. Wenn er nicht vorhanden ist, erstellt der Connector einen, der alle Tabellen in der Datenbank enthält.
     • Disabled: Der Connector erstellt keine Publikation. Wenn die angegebene Publikation fehlt, löst der Connector eine Ausnahme aus und stoppt. In diesem Fall muss die Publikation manuell in der Datenbank erstellt werden.

     Weitere Informationen finden Sie in der Debezium-Dokumentation zum automatischen Erstellen im Publikationsmodus.

   • Dezimalbehandlungsmodus: Gibt an, wie der Verbinder PostgreSQL DECIMAL und NUMERIC Spaltenwerte verarbeitet:

     • Precise: Stellt Werte mithilfe exakter Dezimaltypen dar (z. B. Java BigDecimal), um die volle Genauigkeit und Genauigkeit in der Datendarstellung sicherzustellen.
     • Double: Wandelt Werte in Gleitkommazahlen mit doppelter Genauigkeit um. Dies verbessert die Benutzerfreundlichkeit und Leistung, kann aber zu einem Genauigkeitsverlust führen.
     • String: Codiert Werte als formatierte Zeichenfolgen. Dies erleichtert die Nutzung in nachgelagerten Systemen, verliert jedoch semantische Informationen über den ursprünglichen numerischen Typ.

7. Überprüfen Sie auf der Seite Überprüfen + Verbinden die Zusammenfassung, und wählen Sie dann Hinzufügen aus.

   

Anzeigen des aktualisierten Eventstreams

1. Sie können die PostgreSQL Datenbank CD)-Quelle sehen, die Ihrem Eventstream im Bearbeitungsmodus hinzugefügt wurde.

   

2. Um diese neu hinzugefügte PostgreSQL-Datenbank CDC-Quelle zu implementieren, wählen Sie Veröffentlichen. Nachdem Sie diese Schritte durchgeführt haben, steht Ihre PostgreSQL-Datenbank CDC-Quelle in der Live-Ansicht zur Visualisierung zur Verfügung.

   

Zugehöriger Inhalt

Andere Connectors:

• Amazon Kinesis Data Streams
• Azure Cosmos DB
• Azure Event Hubs
• Azure Service Bus
• Azure IoT Hub
• Azure SQL Datenbank Change Data Capture (CDC)
• Confluent Kafka
• Benutzerdefinierter Endpunkt
• Google Cloud Pub/Sub
• MySQL Datenbank CDC
• PostgreSQL Datenbank CDC
• Beispieldaten
• Azure Blob Storage Events
• Fabric Arbeitsbereich-Event