Azure SQL Database CDC-forrás hozzáadása eseménystreamhez

Ez a cikk bemutatja, hogyan vehet fel egy Azure SQL Database Change Data Capture (CDC) forrást egy eseménystreambe.

A Microsoft Fabric-eseménystreamekhez készült Azure SQL Database CDC-forrásösszekötővel pillanatképet készíthet egy Azure SQL-adatbázisban lévő aktuális adatokról. Az összekötő ezután figyeli és rögzíti az adatok későbbi sorszintű változásait. Miután rögzítette a módosításokat az eseménystreamben, valós időben feldolgozhatja ezeket a CDC-adatokat, és elküldheti őket a Fabric különböző célhelyeire további feldolgozás vagy elemzés céljából.

Előfeltételek

• Hozzáférés egy munkaterülethez a Fabric-kapacitás licencelési módban vagy a Próbaverziós licenc módban közreműködői vagy magasabb szintű engedélyek szintjén.
• Futó Azure SQL Server egy Azure SQL-adatbázissal.
• Az Azure SQL-adatbázisnak nyilvánosan elérhetőnek kell lennie, és nem lehet tűzfal mögött vagy virtuális hálózaton keresztül biztonságos.
• A tárolt eljárás sys.sp_cdc_enable_dbfuttatásával engedélyezve van a CDC az Azure SQL-adatbázisban. További részletekért lásd : Adatrögzítés módosítása és letiltása.
• Ha nem rendelkezik eseménystreamel, hozzon létre egy eseménystreamet.

Vegye figyelembe, hogy nem engedélyezheti a tükrözést az Azure SQL-adatbázisban.

CDC engedélyezése az Azure SQL Database-ben

1. Nyissa meg az Azure Portalt, nyissa meg az Azure SQL-adatbázist, és válassza a Lekérdezésszerkesztő lehetőséget. Válasszon egy hitelesítési módszert a bejelentkezéshez.

   

2. Futtassa a következő SQL-parancsokat a CDC engedélyezéséhez az adatbázisban:

   -- Enable Database for CDC
   EXEC sys.sp_cdc_enable_db;
   
   -- Enable CDC for a table using a gating role option
   EXEC sys.sp_cdc_enable_table
       @source_schema = N'dbo',
       @source_name   = N'MyTable',
       @role_name     = NULL
   GO
   

Az Adatforrás kiválasztása varázsló indítása

Ha még nem adott hozzá forrást az eseményfolyamhoz, válassza a Külső forrás csempe használata lehetőséget.

Ha hozzáadja a forrást egy már közzétett eseményfolyamhoz, váltson szerkesztési módra. A menüszalagon válassza a Külső forrás forrás hozzáadása> lehetőséget.

Az Adatforrás kiválasztása lapon keresse meg és válassza a Csatlakozás lehetőséget az Azure SQL DB (CDC) csempén.

Az Azure SQL Database CDC konfigurálása és csatlakoztatása

1. A Csatlakozás lapon válassza az Új kapcsolat lehetőséget.

   

2. A Kapcsolatbeállítások szakaszban adja meg az Azure SQL-adatbázis következő értékeit:

   • Kiszolgáló: Adja meg az Azure SQL Server nevét az Azure Portalról. Ebben a formában van: mysqlservername.database.windows.net.

   • Adatbázis: Adja meg az Azure SQL-adatbázis nevét az Azure Portalról.

     

3. Görgessen le, és a Kapcsolat hitelesítő adatai szakaszban kövesse az alábbi lépéseket.

   • A Kapcsolat neve mezőben adja meg a kapcsolat nevét.

   • Hitelesítési típus esetén válassza az Alapszintű lehetőséget.

     Feljegyzés

     A Fabric Eventstream jelenleg csak az alapszintű hitelesítést támogatja.

   • Adja meg az adatbázis felhasználónevét és jelszavát .

4. Válassza a Kapcsolódás lehetőséget.

   

5. Most a Csatlakozás lapon válassza az Összes tábla lehetőséget, vagy írja be a táblanevet (táblaneveket). Ha az utóbbit választja, a teljes táblaazonosítók (schemaName.tableName) vagy érvényes reguláris kifejezések vesszővel tagolt listájával adja meg a táblákat. Például:

   • A dbo.test.* használatával jelölje ki az összes olyan táblát, amelynek a neve dbo.testkezdődik.
   • ** Használja a dbo\.(test1|test2) a dbo.test1 és a dbo.test2kiválasztásához.

   Mindkét formátumot vesszővel kombinálhatja. A teljes bejegyzés teljes karakterkorlátja 102 400 karakter.

6. Az Azure SQL Database CDC-forrás további konfigurációs beállításainak eléréséhez bontsa ki a Speciális beállításokat :

   • Decimális kezelési mód: Meghatározza, hogyan kezeli az összekötő DECIMAL és NUMERIC oszlopértékeket.
     • Precise: Pontos decimális típusokat (például Java BigDecimal) használó értékeket jelöl az adatmegjelenítés teljes pontosságának és pontosságának biztosítása érdekében.
     • Double: Az értékeket dupla pontosságú lebegőpontos számokká alakítja. Ez a beállítás javítja a használhatóságot és a teljesítményt, de a pontosság csökkenéséhez vezethet.
     • String: Formázott sztringekként kódolja az értékeket. Ez a beállítás megkönnyíti a használatot az alsóbb rétegbeli rendszerekben, de elveszíti az eredeti numerikus típus szemantikai adatait.
   • Pillanatkép mód: Adja meg a pillanatképek végrehajtásának feltételeit az összekötő indításakor:
     • Initial: Az összekötő csak akkor futtat egy pillanatfelvételt, ha a logikai kiszolgáló nevének eltolásait nem rögzítették, vagy ha azt észleli, hogy egy előző pillanatfelvétel nem fejeződött be. A pillanatkép befejeződése után az összekötő megkezdi az eseményrekordok streamelésének megkezdését az adatbázis későbbi módosításaihoz.
     • InitialOnly: A csatlakozó csak akkor futtat pillanatképet, ha a logikai kiszolgáló nevéhez nem lettek eltolási adatok rögzítve. A pillanatkép befejeződése után az összekötő leáll. Nem vált át streamelésre a változási események olvasásához a binlogból.
     • NoData: Az összekötő egy pillanatképet futtat, amely csak a sémát rögzíti, táblázatadatokat azonban nem. Ha nincs szüksége konzisztens pillanatképre az adatokról, akkor állítsa be ezt a beállítást, de csak az összekötő elindítása óta bekövetkező változásokra van szüksége.
   • Oszlopki kizárási lista: Az eseményértékek módosításából kizárandó oszlopokat adja meg teljes névvel (schemaName.tableName.columnName).
   • Database applicationIntent: Az SQL Server Always On rendelkezésre állási csoportok útválasztási viselkedését határozza meg:
     • ReadWrite: Az elsődleges replikához csatlakozik. Ezt akkor használja, ha a kapcsolatnak olvasási és írási műveleteket is végre kell hajtania.
     • ReadOnly: Engedélyezi az útválasztást egy olvasható másodlagos replikához olvasási műveletekhez. Ezzel közvetlenül engedélyezheti a CDC-t a replikákon. A snapshot.isolation.mode beállítását snapshot értékre kell állítania, ami az egyetlen tranzakcióelkülönítési mód, amelyet csak az olvasási replikákhoz támogatott.
   • Pillanatkép-kijelölési utasítás felülbírálása: Használja a tulajdonságot, ha azt szeretné, hogy egy pillanatkép csak a tábla sorainak egy részhalmazát tartalmazza. Ez a tulajdonság csak a pillanatképekre vonatkozik. Ez nem vonatkozik azokra az eseményekre, amelyeket az összekötő a naplóból olvas be.

7. Válassza a Tovább lehetőséget.

   

8. A Véleményezés és létrehozás képernyőn tekintse át az összegzést, majd válassza a Hozzáadás lehetőséget.

   

Adatok betöltése az Azure SQL-adatbázisokból automatikus táblaséma-regisztrációval a CDC-n keresztül az Eventstreambe.

1. A Csatlakozás lapon válassza az Új kapcsolat lehetőséget.

   

2. A Kapcsolatbeállítások szakaszban adja meg az Azure SQL-adatbázis következő értékeit:

   • Kiszolgáló: Adja meg az Azure SQL Server nevét az Azure Portalról. Ebben a formában van: mysqlservername.database.windows.net.

   • Adatbázis: Adja meg az Azure SQL-adatbázis nevét az Azure Portalról.

     

3. Görgessen le, és a Kapcsolat hitelesítő adatai szakaszban kövesse az alábbi lépéseket.

   • A Kapcsolat neve mezőben adja meg a kapcsolat nevét.

   • Hitelesítési típus esetén válassza az Alapszintű lehetőséget.

     Feljegyzés

     A Fabric Eventstream jelenleg csak az alapszintű hitelesítést támogatja.

   • Adja meg az adatbázis felhasználónevét és jelszavát .

4. Válassza a Kapcsolódás lehetőséget.

   

5. Most a Csatlakozás lapon válassza az Összes tábla lehetőséget, vagy írja be a táblanevet (táblaneveket). Ha az utóbbit választja, a teljes táblaazonosítók (schemaName.tableName) vagy érvényes reguláris kifejezések vesszővel tagolt listájával adja meg a táblákat. Például:

   • A dbo.test.* használatával jelölje ki az összes olyan táblát, amelynek a neve dbo.testkezdődik.
   • ** Használja a dbo\.(test1|test2) a dbo.test1 és a dbo.test2kiválasztásához.

   Mindkét formátumot vesszővel kombinálhatja. A teljes bejegyzés teljes karakterkorlátja 102 400 karakter.

6. Az Azure SQL Database CDC-forrás további konfigurációs beállításainak eléréséhez bontsa ki a Speciális beállításokat :

   • Decimális kezelési mód: Meghatározza, hogyan kezeli az összekötő DECIMAL és NUMERIC oszlopértékeket.
     • Precise: Pontos decimális típusokat (például Java BigDecimal) használó értékeket jelöl az adatmegjelenítés teljes pontosságának és pontosságának biztosítása érdekében.
     • Double: Az értékeket dupla pontosságú lebegőpontos számokká alakítja. Ez a beállítás javítja a használhatóságot és a teljesítményt, de a pontosság csökkenéséhez vezethet.
     • String: Formázott sztringekként kódolja az értékeket. Ez a beállítás megkönnyíti a használatot az alsóbb rétegbeli rendszerekben, de elveszíti az eredeti numerikus típus szemantikai adatait.
   • Pillanatkép mód: Adja meg a pillanatképek végrehajtásának feltételeit az összekötő indításakor:
     • Initial: Az összekötő csak akkor futtat egy pillanatfelvételt, ha a logikai kiszolgáló nevének eltolásait nem rögzítették, vagy ha azt észleli, hogy egy előző pillanatfelvétel nem fejeződött be. A pillanatkép befejeződése után az összekötő megkezdi az eseményrekordok streamelésének megkezdését az adatbázis későbbi módosításaihoz.
     • InitialOnly: A csatlakozó csak akkor futtat pillanatképet, ha a logikai kiszolgáló nevéhez nem lettek eltolási adatok rögzítve. A pillanatkép befejeződése után az összekötő leáll. Nem vált át streamelésre a változási események olvasásához a binlogból.
     • NoData: Az összekötő egy pillanatképet futtat, amely csak a sémát rögzíti, táblázatadatokat azonban nem. Ha nincs szüksége konzisztens pillanatképre az adatokról, akkor állítsa be ezt a beállítást, de csak az összekötő elindítása óta bekövetkező változásokra van szüksége.
   • Oszlopki kizárási lista: Az eseményértékek módosításából kizárandó oszlopokat adja meg teljes névvel (schemaName.tableName.columnName).
   • Database applicationIntent: Az SQL Server Always On rendelkezésre állási csoportok útválasztási viselkedését határozza meg:
     • ReadWrite: Az elsődleges replikához csatlakozik. Ezt akkor használja, ha a kapcsolatnak olvasási és írási műveleteket is végre kell hajtania.
     • ReadOnly: Engedélyezi az útválasztást egy olvasható másodlagos replikához olvasási műveletekhez. Ezzel közvetlenül engedélyezheti a CDC-t a replikákon. A snapshot.isolation.mode beállítását snapshot értékre kell állítania, ami az egyetlen tranzakcióelkülönítési mód, amelyet csak az olvasási replikákhoz támogatott.
   • Pillanatkép-kijelölési utasítás felülbírálása: Használja a tulajdonságot, ha azt szeretné, hogy egy pillanatkép csak a tábla sorainak egy részhalmazát tartalmazza. Ez a tulajdonság csak a pillanatképekre vonatkozik. Ez nem vonatkozik azokra az eseményekre, amelyeket az összekötő a naplóból olvas be.

7. Eseményséma-társítás engedélyezése.

8. Munkaterület esetén válassza ki a háló-munkaterületet a sémakészlethez.

9. Sémakészlet esetén a + Létrehozás beállítás alapértelmezés szerint ki van jelölve, amely létrehoz egy új sémakészletet. Módosíthatja egy meglévő eseménysémakészlet kiválasztásához.

10. Ha az előző lépésben a + Létrehozás lehetőséget választotta, adja meg a sémakészlet nevét.

    

11. A Véleményezés + csatlakozás oldalon válassza a Hozzáadás lehetőséget.

    

    Az Azure SQL-adatbázis összes táblája vagy kijelölt táblája esetében az összekötő automatikusan észleli és létrehozza a sémákat, és regisztrálja őket a sémaregisztrációs adatbázisban.

12. Jelölje ki középen az eseménystream csomópontot, és váltson az alsó panel Társított sémák lapjára.

    

Sémakészlet

1. Lépjen az előző lépésben kijelölt munkaterületre. Az alábbi példában ez a Saját munkaterület.

2. Válassza ki az Azure SQL Database (CDC) összekötő által létrehozott sémakészletet.

   

3. A sémakészlet sémái az alábbi képen látható módon jelennek meg.

   

4. A séma JSON-verziójának megtekintéséhez váltson a JSON sémanézetre .

   

   Ne módosítsa ezeket a felderített sémákat ezzel a szerkesztővel, mert az nem lesz konkonfirmant az Azure SQL-adatbázis forrásában lévő táblák sémájával.

Frissített eseményfolyam megtekintése

1. Az Azure SQL Database (CDC) forrás az eseménystreamben szerkesztési módban jelenik meg.

   

2. Az újonnan hozzáadott Azure SQL Database CDC-forrás implementálásához válassza a Közzététel lehetőséget. A lépések elvégzése után az Azure SQL Database CDC-forrás elérhető a vizualizációhoz az Élő nézetben.

   

EventStream-célhelyek konfigurálása sémák használatára

Jelenleg csak az eventhouse, az egyéni végpont és a származtatott streamcélok támogatottak a kiterjesztett funkciókkal rendelkező eseménystreamek esetében. Ez a szakasz bemutatja, hogyan adhat hozzá és konfigurálhat eseményház-célhelyet, ha a kiterjesztett funkciók (például a sématámogatás) engedélyezve vannak az eseménystreamben.

Séma konfigurálása egyéni végpont célhelyéhez

1. Válassza az Események átalakítása vagy cél hozzáadása lehetőséget, majd válassza a CustomEndpoint lehetőséget.

2. Az Egyéni végpont panelen adja meg a cél nevét.

3. Bemeneti séma esetén válassza ki az események sémáját. Ha engedélyezi az eseménystream sématámogatását, ebben a mezőben kijelölhet egy beállítást.

Az egyéni végpontok célhelyének konfigurálásának részletes lépéseit lásd: Egyéni végpont vagy egyéni alkalmazás célhelyének hozzáadása egy eseménystreamhez.

Sémák konfigurálása eseményház-célhelyhez

1. Válassza az Események átalakítása vagy cél hozzáadása lehetőséget, majd válassza az Eventhouse lehetőséget.

2. Az Eventhouse panelen konfigurálja a következő sémával kapcsolatos beállításokat:

   1. Bemeneti séma esetén válasszon ki egy vagy több sémát a legördülő listából.

      

      Feljegyzés

      Ha az Event Hubs-forrás konfigurálásakor a dinamikus sémát fejlécek használatával választotta ki, előfordulhat, hogy több sémát is konfigurált a forráshoz, és különböző tulajdonságokra és azok értékeire képezte le őket.

   2. Táblalétrehozási módszer esetén válassza az A táblát az összes sémával együtt, vagy az egyes sémák külön tábláit, a követelményektől függően.

      

   3. Adatok írásához válassza az alábbi lehetőségek egyikét:

      • Csak hasznos adatok: Kicsomagolt hasznos adatok írása a táblába. Több bemeneti séma esetén a rendszer több táblába küld adatokat.
      • Metaadatok és hasznos adatok: Metaadatok és hasznos adatok írása egyetlen táblába. Példaoszlopok: source , subject, typeés data.

      

Az eventhouse-célhely konfigurálásának részletes lépéseit az Eseményház-cél hozzáadása eseménystreamhez című témakörben találja.

Kapcsolódó tartalom

Egyéb összekötők:

• Amazon Kinesis-adatfolyamok
• Azure Cosmos DB
• Azure-eseményközpontok
• Azure Service Bus
• Azure IoT Hub
• Confluent Kafka
• Egyéni végpont
• Google Cloud Pub/Sub
• MySQL Database CDC
• PostgreSQL Database CDC
• Mintaadatok
• Azure Blob Storage-események
• Fabric munkaterület esemény