Megosztás a következőn keresztül:

Módosított adatok rögzítése az Azure Data Lake Storage Gen2-ről az Azure SQL Database-be egy változásadat-rögzítési erőforrás használatával

  • Cikk

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ebben a cikkben az Azure Data Factory felhasználói felületével hoz létre változásadat-rögzítő (CDC) erőforrást. Az erőforrás egy Azure Data Lake Storage Gen2-forrásból veszi fel a módosított adatokat, és valós időben hozzáadja azOkat az Azure SQL Database-hez.

Ebben a cikkben az alábbiakkal ismerkedhet meg:

  • Hozzon létre egy CDC-erőforrást.
  • CDC-tevékenység figyelése.

Ebben a cikkben módosíthatja és kibonthatja a konfigurációs mintát.

Előfeltételek

Mielőtt elkezdené a cikkben szereplő eljárásokat, győződjön meg arról, hogy rendelkezik az alábbi erőforrásokkal:

  • Azure-előfizetés. Ha nem rendelkezik Azure-előfizetéssel, hozzon létre egy ingyenes Azure-fiókot.
  • SQL-adatbázis. Az Azure SQL Database-t használja forrásadattárként. Ha nem rendelkezik SQL-adatbázissal, hozzon létre egyet az Azure Portalon.
  • Storage-fiók. Céladattárként az Azure Data Lake Storage Gen2-ben tárolt Delta Lake-t használja. Ha nincs tárfiókja, a létrehozás lépéseit a Tárfiók létrehozása című témakörben találja.

CDC-összetevő létrehozása

  1. Nyissa meg a Szerző panelt az adat-előállítóban. A Folyamatok alatt megjelenik a Change Data Capture (előzetes verzió) nevű új legfelső szintű összetevő.

    Képernyőkép egy új legfelső szintű összetevőről a Módosítási adatok rögzítéséhez a Factory Resources panelen.

  2. Mutasson az Adatrögzítés módosítása (előzetes verzió) fölé, amíg három pont nem jelenik meg. Ezután válassza az Adatrögzítési műveletek módosítása (előzetes verzió) lehetőséget.

    Képernyőkép az új legfelső szintű összetevőn megjelenő adatrögzítési műveletek módosítására szolgáló gombról.

  3. Válassza az Új CDC (előzetes verzió) lehetőséget. Ez a lépés megnyit egy úszó panelt az irányított folyamat elindításához.

    Képernyőkép a változásadat-rögzítési műveletek listájáról.

  4. A rendszer kéri, hogy nevezze el a CDC-erőforrást. Alapértelmezés szerint a név "adfcdc" egy számmal, amely 1-zel növekszik. Ezt az alapértelmezett nevet lecserélheti egy ön által választott névre.

    Képernyőkép a szövegmezőről az erőforrás nevének frissítéséhez.

  5. Az adatforrás kiválasztásához használja a legördülő listát. Ebben a cikkben válassza a DelimitedText lehetőséget.

    Képernyőkép az irányított folyamat úszó paneljéről egy legördülő listában szereplő forrásbeállításokkal.

  6. A rendszer egy társított szolgáltatás kiválasztását kéri. Hozzon létre egy új társított szolgáltatást, vagy válasszon ki egy meglévőt.

    Csatolt szolgáltatás kiválasztására vagy létrehozására vonatkozó mező képernyőképe.

  7. A Forrásbeállítások területen igény szerint speciális forráskonfigurációkat állíthat be, beleértve az oszlop- és sorhatárolókat is.

    A határolók beállításához használt speciális forrásbeállítások képernyőképe.

    Ha nem manuálisan szerkessze ezeket a forrásbeállításokat, azok az alapértelmezett értékre vannak állítva.

  8. A Tallózás gombbal válassza ki a forrásadatmappát.

    Képernyőkép egy mappaikonról, amely egy mappa elérési útját böngészi.

  9. Miután kiválasztotta a mappa elérési útját, a Folytatás gombra kattintva állítsa be az adatcélt.

    Képernyőkép az irányított folyamat Folytatás gombjáról az adatcélok kiválasztásához.

    A plusz (+) gombbal több forrásmappát is hozzáadhat. A többi forrásnak is ugyanazt a társított szolgáltatást kell használnia, amelyet már kiválasztott.

  10. Válasszon ki egy céltípusértéket a legördülő listával. Ebben a cikkben válassza az Azure SQL Database lehetőséget.

    Képernyőkép az összes adatcéltípus legördülő menüjéről.

  11. A rendszer egy társított szolgáltatás kiválasztását kéri. Hozzon létre egy új társított szolgáltatást, vagy válasszon ki egy meglévőt.

    Képernyőkép az adatcélhoz csatolt szolgáltatás kiválasztására vagy létrehozására vonatkozó mezőről.

  12. Céltáblák esetén létrehozhat egy új céltáblát, vagy kiválaszthat egy meglévőt:

    • Céltábla létrehozásához válassza az Új entitások lapot, majd az Új táblák szerkesztése lehetőséget.

      Képernyőkép a lapról, amellyel új táblákat hozhat létre a cél számára.

    • Meglévő tábla kijelöléséhez válassza a Meglévő entitások lapot, majd a jelölőnégyzet bejelölésével válasszon ki egy táblát. A táblázat adatainak megtekintéséhez használja az Előnézet gombot.

      Képernyőkép a lapról a céltáblák kiválasztásához.

    Ha a céltábla meglévő tábláinak neve megegyezik, akkor alapértelmezés szerint a Meglévő entitások csoportban vannak kiválasztva. Ha nem, az Új entitások területen új, egyező nevű táblák jönnek létre. Emellett az Új táblák szerkesztése gombbal is szerkesztheti az új táblákat .

  13. A jelölőnégyzetek használatával több céltáblát is kiválaszthat az SQL-adatbázisból. Miután befejezte a céltáblák kiválasztását, válassza a Folytatás lehetőséget.

    Képernyőkép az irányított folyamat Folytatás gombjáról, hogy továbblépjen a következő lépésre.

  14. Megjelenik egy új lap a változásadatok rögzítéséhez. Ez a lap a CDC studio, ahol konfigurálhatja az új erőforrást.

    Képernyőkép a Change Data Capture Studióról.

    A rendszer automatikusan létrehoz egy új leképezést. A legördülő listák használatával frissítheti a leképezés forrástáblájának és céltáblájának kijelölését.

    Képernyőkép a forrás–cél leképezésről a Change Data Capture Studióban.

  15. A táblák kijelölése után a rendszer alapértelmezés szerint megfelelteti az oszlopokat az Automatikus megfeleltetés kapcsolóval. Az automatikus leképezés automatikusan leképezi az oszlopokat név szerint a fogadóban, felveszi az új oszlopmódosításokat a forrásséma fejlődésekor, és ezeket az információkat a támogatott fogadótípusokba alakítja.

    Ha automatikus leképezést szeretne használni, és nem szeretne oszlopleképezéseket módosítani, lépjen közvetlenül a 18. lépésre.

    Képernyőkép az automatikus leképezés kapcsolójának bekapcsolt állapotáról.

    Ha engedélyezni szeretné az oszlopleképezéseket, jelölje ki a leképezéseket, és kapcsolja ki az Automatikus leképezés kapcsolót. Ezután válassza az Oszlopleképezések gombot a leképezések megtekintéséhez.

    Képernyőkép a leképezés kiválasztásáról, az automatikus leképezés kapcsolójának kikapcsolt állapotáról és az oszlopleképezések gombjáról.

    Az Automatikus leképezés kapcsoló bekapcsolásával bármikor visszaállhat az automatikus leképezésre.

  16. Az oszlopleképezések megtekintése. A legördülő listák segítségével szerkesztheti az oszlopleképezéseket a leképezési módszerhez, a Forrás oszlophoz és a Cél oszlophoz.

    Képernyőkép az oszlopleképezések szerkesztésére szolgáló oldalról.

    Ezen az oldalon a következőket teheti:

    • További oszlopleképezések hozzáadása az Új leképezés gombbal. A legördülő listák segítségével kijelölhet leképezési metódust, forrásoszlopot és céloszlopot.
    • Jelölje ki a Kulcsok oszlopot, ha nyomon szeretné követni a támogatott fogadótípusok törlési műveletét.
    • Az Adatok előnézete alatt a Frissítés gombra kattintva megjelenítheti, hogy az adatok hogyan néznek ki a célhoz.

    Képernyőkép az oszlopleképezések hozzáadására szolgáló gombról, a leképezési módszerek legördülő listájáról, a Kulcsok oszlopról és a Frissítés gombról.

  17. Ha a leképezés befejeződött, a nyíl gombra kattintva térjen vissza a fő CDC-vászonra.

    Képernyőkép a táblázatleképezési lapra visszalépő gombról.

  18. Egy CDC-összetevőben több forrás-cél leképezést is hozzáadhat. A Szerkesztés gombbal további adatforrásokat és célokat vehet fel. Ezután válassza az Új leképezés lehetőséget , és a legördülő listák használatával állítson be egy új forrást és célt. Az automatikus leképezést egymástól függetlenül is be- és kikapcsolhatja.

    Képernyőkép az új források hozzáadására és az új forrás–cél leképezés beállításához használt gombról.

  19. A leképezések befejezése után állítsa be a CDC késését a Késés beállítása gombbal.

    Képernyőkép a vászon tetején található Késés beállítása gombról.

  20. Válassza ki a CDC késését, majd kattintson az Alkalmaz gombra a módosítások elvégzéséhez.

    Alapértelmezés szerint a késés 15 percre van állítva. A cikkben szereplő példa a valós idejű beállítást használja a késéshez. A valós idejű késés folyamatosan, 1 percnél rövidebb időközönként veszi fel a forrásadatok változásait.

    Egyéb késések esetén (például ha 15 percet választ), a változásadat-rögzítés feldolgozni fogja a forrásadatokat, és felveszi a módosított adatokat az utolsó feldolgozott idő óta.

    Képernyőkép a késés beállításának lehetőségeiről.

    Feljegyzés

    Ha a támogatás ki van terjesztve a streamelési adatintegrációra (Azure Event Hubs és Kafka-adatforrások), a késés alapértelmezés szerint valós idejűre lesz állítva.

  21. Miután befejezte a CDC konfigurálását, válassza az Összes közzététele lehetőséget a módosítások közzétételéhez.

    Képernyőkép a vászon tetején található közzétételi gombról.

    Feljegyzés

    Ha nem teszi közzé a módosításokat, nem fogja tudni elindítani a CDC-erőforrást. A következő lépésben a Start gomb nem lesz elérhető.

  22. Válassza a Start elemet a változásadat-rögzítés futtatásához.

    Képernyőkép a vászon tetején található Start gombról.

A változásadatok rögzítésének monitorozása

  1. Nyissa meg a Figyelés panelt az alábbi módszerek valamelyikével:

    • Válassza a Monitorozás lehetőséget az Azure Portalon.

      Képernyőkép az Azure Portal Monitor gombjáról.

    • Válassza ki a CDC-tervező monitorozás ikont.

      Képernyőkép a CDC-vászon tetején látható monitorozási ikonról.

  2. Válassza az Adatrögzítés módosítása (előzetes verzió) lehetőséget a CDC-erőforrások megtekintéséhez.

    Képernyőkép az Adatrögzítés módosítása gombról.

    Az Adatrögzítés módosítása panel a változásadat-rögzítés forrás- és céladatait, állapotát és utolsó feldolgozott adatait jeleníti meg.

    Képernyőkép a változásadat-rögzítés monitorozási oldalának áttekintéséről.

  3. A további részletek megtekintéséhez válassza ki a CDC nevét. Láthatja, hogy hány módosítást (beszúrást, frissítést vagy törlést) olvastak és írtak, valamint egyéb diagnosztikai információkat.

    Képernyőkép egy kijelölt változásadat-rögzítés részletes figyeléséről.

    Ha több leképezést is beállít a módosítási adatrögzítésben, minden leképezés más színként jelenik meg. Jelölje ki a sávot az egyes leképezések részleteinek megtekintéséhez, vagy használja a diagnosztikát a panel alján.

    Képernyőkép a változásadat-rögzítés részletes monitorozási adatairól több forrás–cél leképezéssel.

    Képernyőkép az egyes leképezések részletes részletezéséről egy változásadat-rögzítési összetevőben.

Kapcsolódó tartalom