Sdílet prostřednictvím

Přidání zdroje CDC databáze PostgreSQL do streamu událostí

V tomto článku se dozvíte, jak do streamu událostí přidat zdroj CDC (Database Change Data Capture) PostgreSQL.

Zdrojový konektor PostgreSQL Database Change Data Capture (CDC) pro streamy událostí Microsoft Fabric umožňuje zachytit snímek aktuálních dat v databázi PostgreSQL. V současné době se nástroj PostgreSQL Database Change Data Capture (CDC) podporuje z následujících služeb, ke které lze přistupovat veřejně:

  • Azure Databáze pro PostgreSQL
  • Amazon RDS for PostgreSQL
  • Amazon Aurora PostgreSQL
  • Google Cloud SQL for PostgreSQL

Jakmile se zdroj CDC databáze PostgreSQL přidá do eventstreamu, zaznamená změny na úrovni řádků do zadaných tabulek. Tyto změny je pak možné zpracovat v reálném čase a odeslat je do různých cílů pro další analýzu.

Požadavky

  • Přístup k pracovnímu prostoru v režimu kapacitní licence Fabric nebo zkušebním režimu licence s oprávněními přispěvatele nebo vyššími.

  • Registrovaný přístup uživatele v databázi PostgreSQL.

  • Vaše databáze PostgreSQL musí být veřejně přístupná a nesmí být za bránou firewall nebo zabezpečená ve virtuální síti.

  • Služba CDC je povolená v databázi a tabulkách PostgreSQL.

    Pokud máte Azure Database for PostgreSQL, následující kroky naleznete v další části pro povolení CDC. Podrobné informace najdete v tématu Logická replikace a logické dekódování – Flexibilní server Azure Database for PostgreSQL.

    Další databáze PostgreSQL najdete v tématu Konektor Debezium pro PostgreSQL :: Dokumentace k Debezium.

  • Pokud nemáte stream událostí, vytvořte stream událostí.

Povolení CDC v databázi PostgreSQL

V této části se jako příklad používá Azure Database for PostgreSQL.

Pokud chcete povolit CDC na flexibilním serveru Azure Database for PostgreSQL, postupujte takto:

  1. Na stránce flexibilního serveru Azure Database for PostgreSQL na webu Azure Portal vyberte parametry serveru v navigační nabídce.

  2. Na stránce Parametry serveru:

    • Nastavte wal_level na logickou hodnotu.
    • Aktualizujte max_worker_processes alespoň na 16.

    Snímek obrazovky s povolením CDC pro flexibilní nasazení serveru

  3. Uložte změny a restartujte server.

  4. Ověřte, že vaše instance flexibilního serveru Azure Database for PostgreSQL umožňuje veřejný síťový provoz.

  5. Udělením oprávnění pro replikaci uživateli admin spusťte následující příkaz SQL. Pokud chcete k načtení CDC použít jiný uživatelský účet pro připojení databáze PostgreSQL, ujistěte se, že je uživatel vlastníkem tabulky .

    ALTER ROLE <admin_user_or_table_owner_user> WITH REPLICATION;

Spusťte průvodce výběrem zdroje dat.

Pokud jste ještě do streamu událostí nepřidali žádný zdroj, vyberte dlaždici Použít externí zdroj .

Snímek obrazovky znázorňující výběr dlaždice pro použití externího zdroje

Pokud přidáváte zdroj do již publikovaného streamu událostí, přepněte do režimu úprav . Na pásu karet vyberte Přidat zdroj>Externí zdroje.

Snímek obrazovky znázorňující výběry pro přidání externích zdrojů

Na stránce Vyberte zdroj dat vyhledejte a vyberte Připojit na dlaždici PostgreSQL DB (CDC).

Snímek obrazovky znázorňující výběr Azure DB for PostgreSQL (CDC) jako typu zdroje v průvodci získáním událostí

Konfigurace a připojení ke službě PostgreSQL Database CDC

  1. Na stránce Připojit vyberte Nové připojení.

    Snímek obrazovky znázorňující stránku Připojit pro databázi Azure PostgreSQL se zvýrazněným odkazem na nové připojení

  2. V části Nastavení připojení zadejte následující informace.

    • Server: Adresa serveru vaší databáze PostgreSQL, například my-pgsql-server.postgres.database.azure.com.

    • Databáze: Název databáze, například my_database.

      Snímek obrazovky znázorňující část Nastavení připojení pro konektor databáze Azure PostgreSQL

    • Název připojení: Zadejte název připojení.

    • Druh ověřování, vyberte Základní a zadejte své uživatelské jméno a heslo pro databázi.

      Poznámka:

      Streamy událostí Fabric v současné době podporují pouze základní ověřování.

    • Vyberte Připojit k dokončení nastavení připojení. Snímek obrazovky znázorňující sekci Přihlašovací údaje připojení pro konektor databáze Azure PostgreSQL.

  3. Port: Zadejte číslo portu vašeho serveru. Výchozí hodnota je 5432. Pokud je vybrané cloudové připojení nakonfigurované v Správa připojení a bran, ujistěte se, že číslo portu odpovídá tomu nastavenému tam. Pokud se neshodují, přednost má portové číslo nastavené v cloudovém připojení v Spravovat připojení a brány.

  4. Při zachytávání změn z databázových tabulek si můžete vybrat mezi dvěma možnostmi:

    • Všechny tabulky: Zachytávání změn z každé tabulky v databázi
    • Zadejte názvy tabulek: Umožňuje zadat podmnožinu tabulek pomocí seznamu odděleného čárkami. Můžete použít buď: úplné identifikátory tabulky ve formátu schemaName.tableName nebo platné regulární výrazy. Příklady:
    • dbo.test.*: Vyberte všechny tabulky, jejichž názvy začínají test ve schématu dbo .
    • dbo\.(test1|test2): Vyberte dbo.test1 a dbo.test2.

    V seznamu můžete zkombinovat oba formáty. Celkový limit znaků pro celou položku je 102 400 znaků.

  5. Název slotu (volitelné): Zadejte název logického dekódovacího slotu PostgreSQL, který byl vytvořen ke streamování změn z konkrétního pluginu pro určitou databázi nebo schéma. Server používá tento slot k streamování událostí do konektoru streamování Eventstream. Musí obsahovat jenom malá písmena, číslice a podtržítka.

    • Pokud není zadaný, použije se k vytvoření slotu identifikátor GUID, který vyžaduje příslušná oprávnění k databázi.
    • Pokud název zadaného slotu existuje, konektor ho použije přímo.

  6. Pokud chcete získat přístup k dalším možnostem konfigurace zdroje CDC služby PostgreSQL Database, můžete rozbalit Rozšířená nastavení :

    • Název publikace: Určuje název publikace logické replikace PostgreSQL, která se má použít. Musí se shodovat s existující publikací v databázi nebo se vytvoří automaticky v závislosti na režimu automatického vytvoření. Výchozí hodnota: dbz_publication.

      Poznámka:

      Uživatel konektoru musí mít k vytvoření publikace oprávnění superuživatele. Před prvním spuštěním konektoru doporučujeme publikaci vytvořit ručně, abyste se vyhnuli problémům souvisejícím s oprávněními.

    • Režim automatického vytvoření publikace: Určuje, zda a jak se publikace automaticky vytvoří. K dispozici jsou následující možnosti:

      • Filtered (výchozí): Pokud zadaná publikace neexistuje, konektor vytvoří jednu, která obsahuje pouze vybrané tabulky (jak je uvedeno v seznamu zahrnutí tabulky).
      • AllTables: Pokud zadaná publikace existuje, konektor ji použije. Pokud neexistuje, konektor vytvoří jednu, která obsahuje všechny tabulky v databázi.
      • Disabled: Konektor nevytvoří publikaci. Pokud zadaná publikace chybí, konektor vyvolá výjimku a zastaví se. V takovém případě musí být publikace ručně vytvořena v databázi.

      Další informace najdete v dokumentaci k Debezium v režimu automatického vytváření publikace.

    • Režim zpracování desetinných hodnot: Určuje, jak konektor zpracovává hodnoty PostgreSQL sloupců DECIMAL a NUMERIC:

      • Precise: Představuje hodnoty používající přesné desetinné typy (například Java BigDecimal) k zajištění úplné přesnosti a přesnosti v reprezentaci dat.
      • Double: Převede hodnoty na čísla s dvojitou přesností. Tím se zlepší použitelnost a výkon, ale může dojít ke ztrátě přesnosti.
      • String: Zakóduje hodnoty jako formátované řetězce. Díky tomu se snadno spotřebovávají v podřízených systémech, ale ztratí sémantické informace o původním číselném typu.

    • Režim snímku: Zadejte kritéria pro provedení snímku při spuštění konektoru:

      • Initial: Konektor spustí snímek pouze v případě, že nebyly zaznamenány žádné posuny pro název logického serveru nebo pokud zjistí, že se dřívější snímek nepodařilo dokončit. Po dokončení snímku konektor začne streamovat záznamy událostí pro následné změny databáze.
      • InitialOnly: Konektor spustí snímek pouze tehdy, když pro logický název serveru nejsou zaznamenány žádné offsety. Po dokončení snímku se konektor zastaví. Neprovádí přechod na streamování, aby se načetly události změn z binlogu.
      • NoData: Konektor spustí snímek, který zachycuje pouze schéma, ale ne žádná data tabulky. Tuto možnost nastavte, pokud nepotřebujete konzistentní snímek dat, ale od spuštění konektoru potřebujete jenom změny, ke které dochází.

    • Dotaz akce srdcového signálu: Určuje dotaz, který konektor spustí ve zdrojové databázi, když konektor odešle zprávu srdcového signálu.

    • Výjimka příkazu SELECT pro snímek: Určuje řádky tabulky, které se mají zahrnout do snímku. Vlastnost použijte, pokud chcete, aby snímek zahrnoval pouze podmnožinu řádků v tabulce. Tato vlastnost má vliv pouze na snímky. Nevztahuje se na události, které konektor čte z protokolu.

  7. Na stránce Zkontrolovat a připojit zkontrolujte souhrn a pak vyberte Přidat.

    Snímek obrazovky, který ukazuje stránku Kontrola a vytvoření pro konektor databáze Azure PostgreSQL s vyplněnými údaji

Zobrazení aktualizovaného streamu událostí

  1. Zdroj CDC databáze PostgreSQL přidaný do streamu událostí můžete zobrazit v režimu úprav.

    Snímek obrazovky streamovaného zdroje databáze PostgreSQL pro CDC v zobrazení pro úpravy

  2. Pokud chcete implementovat nově přidaný zdroj CDC databáze PostgreSQL, vyberte Publikovat. Po dokončení těchto kroků je zdroj CDC databáze PostgreSQL dostupný pro vizualizaci v živém zobrazení.

    Snímek obrazovky ze streamovaného zdroje CDC databáze PostgreSQL v živém náhledu.

Související obsah

Další konektory:

  • Last updated on