Legg til SQL Server på VM DB (CDC)-kilde til en hendelsesstrøm

Denne artikkelen viser deg hvordan du legger til en SQL Server på VM DB Change Data Capture (CDC)-kilde til en hendelsesstrøm.

SQL Server on VM DB (CDC) kildekoblingen for Fabric-hendelsesstrømmer lar deg fange et øyeblikksbilde av nåværende data i en SQL Server-database på VM. For øyeblikket støttes SQL Server på VM DB (CDC) fra følgende tjenester hvor databasene kan nås offentlig:

Merk

Amazon Web Services (AWS), RDS SQL Server, AWS RDS Custom SQL Server og Google Cloud SQL SQL Server støtter ikke Express-versjonen. Sørg for at du bruker en passende utgave av SQL Server for CDC.

Når SQL Server on VM DB (CDC)-kilden er lagt til hendelsesstrømmen, overvåker og registrerer den fremtidige endringer på radnivå, som deretter kan behandles i sanntid og sendes til ulike destinasjoner for videre analyse.

Merk

Med DeltaFlow (Forhåndsvisning) kan du transformere rå Debezium CDC-hendelser til analyseklare strømmer som speiler kildetabellstrukturen din. DeltaFlow automatiserer skjemaregistrering, håndtering av destinasjonstabeller og håndtering av skjemautvikling. For å bruke DeltaFlow, velg Analytics-klare hendelser og automatisk oppdatert skjema under skjemahåndteringssteget.

Forutsetning

  • Tilgang til et arbeidsområde i Fabric-kapasitetslisensmodus (eller) prøvelisensmodus med bidragsyter eller høyere tillatelser.
  • En kjørende SQL Server på VM-database.
  • Din SQL Server på VM-databasen må konfigureres for å tillate offentlig tilgang. Hvis den befinner seg i et beskyttet nettverk, koble til den ved å bruke Eventstream connector virtuell nettverksinjeksjon.
  • Slå på CDC i din SQL Server VM-database ved å kjøre den lagrede prosedyren sys.sp_cdc_enable_db. Hvis du vil ha mer informasjon, kan du se Aktivere og deaktivere endring av datainnsamling.

Aktiver CDC i din SQL Server på VM-database

  1. Aktiver CDC for databasen.

    EXEC sys.sp_cdc_enable_db;

  2. Aktiver CDC for en tabell ved hjelp av et alternativ for gatingrolle. I dette eksemplet MyTable er navnet på SQL-tabellen.

    EXEC sys.sp_cdc_enable_table 
   @source_schema = N'dbo', 
   @source_name   = N'MyTable', 
   @role_name     = NULL 
GO

    Etter at spørringen kjøres vellykket, aktiverte du CDC i din SQL Server på VM-database.

    Et skjermbilde som viser cdc er aktivert.

Legg til SQL Server på VM-databasen som kildekode

Hvis du ikke har lagt til noen kilde i hendelsesstrømmen ennå, velg flisen Connect data sources . Du kan også velge Add source>Connect datakilder på båndet.

Skjermbilde som viser valget av flisen for å bruke en ekstern kilde.

Hvis du legger til kilden i en allerede publisert hendelsesstrøm, bytt til Rediger-modus . På båndet, velg Legg til kilde>Connect datakilder.

Skjermbilde som viser valg for å legge til eksterne kilder.

På siden Velg en datakilde, søk etter og velg Connect på SQL Server på VM DB (CDC)-flisen.

Konfigurer og koble til SQL Server på VM-databasen

Importer endringsdata fra SQL Server på VM-databaser med automatisk tabellskjemaregistrering via CDC til Eventstream.

Merk

DeltaFlow (forhåndsvisning): Når du velger Analytics-klare hendelser og automatisk oppdatert skjema i skjemahåndteringssteget, transformerer DeltaFlow rå Debezium CDC-hendelser til analyseklare strømmer som speiler kildetabellstrukturen din. DeltaFlow automatiserer også opprettelse av destinasjonstabeller og håndtering av skjemautvikling.

  1. Velg Ny tilkobling på Koble til-siden.

    Skjermbilde som viser valget av Ny tilkobling-kobling på Koble til-siden.

  2. I seksjonen Tilkoblingsinnstillinger, skriv inn følgende verdier for din SQL Server på VM:

    • Server: Skriv inn IP-adressen eller domenenavnet på VM-en din, og legg deretter til et kolon og porten. Hvis for eksempel IP-adressen er xx.xxx.xxx.xxx og porten er 1433, bør du angi xx.xxx.xxx.xxx:1433 i Server-feltet . Hvis porten ikke er angitt, brukes standard portverdi 1433 .

    • Database: Skriv inn navnet på databasen du vil koble til på din SQL Server på VM-en.

      Skjermbilde som viser tilkoblingsinnstillinger-delen på Koble til-siden.

  3. Rull nedover, og følg disse trinnene i delen Tilkoblingslegitimasjon.

    • Skriv inn et navn for tilkoblingen for tilkoblingsnavnet.

    • Velg Grunnleggende for godkjenningstype.

      Merk

      For øyeblikket støtter Fabric Eventstream kun Basic autentisering.

    • Skriv inn Brukernavn og Password for SQL Server på VM.

      Merk

      Ikke velg alternativet: Bruk kryptert tilkobling.

      Skjermbilde som viser tilkoblingslegitimasjonsdelen på Koble til-siden.

  4. Velg Koble til nederst på siden.

  5. Velg nå Alle tabeller eller Skriv inn tabellnavn påKoble til-siden. Hvis du velger sistnevnte, angir du tabeller ved hjelp av en kommadelt liste over fullstendige tabellidentifikatorer (schemaName.tableName) eller gyldige vanlige uttrykk. Eksempel:

    • Bruk dbo.test.* til å velge alle tabeller med navn som begynner med dbo.test.
    • Bruk dbo\.(test1|test2) til å velge dbo.test1 og dbo.test2.

    Du kan blande begge formatene ved hjelp av komma. Den totale tegngrensen for hele oppføringen er 102 400 tegn.

  6. Du kan utvide Avanserte innstillinger for å konfigurere desimalhåndteringsmodusen, som angir hvordan koblingen håndterer DECIMAL og NUMERIC kolonneverdier:

    • Precise: Representerer verdier ved bruk av eksakte desimaltyper (for eksempel Java BigDecimal) for å sikre full presisjon og nøyaktighet i datarepresentasjonen.
    • Double: Konverterer verdier til flyttall med dobbel presisjon. Denne innstillingen forbedrer brukervennlighet og ytelse, men kan føre til tap av presisjon.
    • String: Koder verdier som formaterte strenger. Denne innstillingen gjør dem enkle å konsumere i nedstrøms systemer, men mister semantisk informasjon om den opprinnelige numeriske typen.

Strøm- eller kildedetaljer

  1. På Connect-siden følger du ett av disse stegene basert på om du bruker Eventstream eller Real-Time hub.

    • Eventstream:

      I panelet Kilde detaljer til høyre, følg disse trinnene:

      1. For Kildenavn, velg Blyant-knappen for å endre navnet.

      2. Merk at Eventstream-navn og Stream-navn er skrivebeskyttet.

    • Real-Time hub:

      I avsnittet om strømdetaljer til høyre, følg disse trinnene:

      1. Velg arbeidsområdet Fabric workspace der du vil opprette hendelsesstrømmen.

      2. For Eventstream-navn, velg Pencil-knappen og skriv inn et navn for eventstreamen.

      3. Verdien for strømnavnet genereres automatisk for deg ved å legge til -stream til navnet på hendelsesstrømmen. Denne strømmen vises på sanntidshubens side for alle datastrømmer når veiviseren er ferdig.

  2. Velg Neste nederst på Konfigurer-siden .

Gjennomgå og koble deg til

På Gjennomgang + tilkobling-skjermen , se gjennom sammendraget, og velg Legg til (Eventstream) eller Koble til (Real-Time hub).

Skjemahåndteringsside

  1. I Skjema-håndteringssteget velger du ett av følgende alternativer:

    • Analyseklare hendelser og automatisk oppdatert skjema (DeltaFlow Preview): Koblingen omdanner rå CDC-hendelser til analyseklare strømmer som speiler din kildetabellstruktur. DeltaFlow beriker hendelser med metadata som endringstype (sett inn, oppdater eller slett) og tidsstempler, og håndterer automatisk destinasjonstabeller og skjemautvikling.
    • Rå CDC-hendelser: Koblingen registrerer og gjør de rå CDC-hendelsene tilgjengelige. Eventuelt kan koblingen automatisk oppdage tabellskjemaer og registrere dem i skjemaregisteret. Bruk dette alternativet når du ønsker skjemabevissthet uten DeltaFlow-transformasjon.

    Merk

    Følgende skjermbilde viser Azure SQL Database CDC. Skjemahåndteringsalternativene er de samme for alle støttede CDC-kildekontakter.

    Skjermbilde som viser skjemahåndteringssteget med DeltaFlow og Raw CDC-hendelsesalternativer for en CDC-kildekobling.

  2. Aktiver hendelsesskjematilknytning.

  3. For Workspace, velg et Fabric arbeidsområde for skjemasettet.

  4. For Skjemasett er + Opprett valgt som standard, noe som oppretter et nytt skjemasett. Du kan endre den for å velge et eksisterende hendelsesskjemasett.

  5. Hvis du valgte alternativet + Opprett i forrige trinn, skriver du inn et navn for skjemasettet.

  6. På skjermen Gjennomgang + opprett kan du gjennomgå sammendraget, og velge Legg til (Eventstream) eller Koble til (Real-Time hub).

    Skjermbilde som viser valget av Legg til-knappen.

    For alle tabeller eller utvalgte tabeller i SQL Server på VM-databasen, oppdager connectoren automatisk og oppretter skjemaer, og registrerer dem i skjemaregisteret.

DeltaFlow: Analyseklar hendelsestransformasjon (forhåndsvisning)

Når du aktiverer Analytics-klare hendelser og automatisk oppdatert skjema (DeltaFlow), tilbyr koblingen følgende funksjoner:

  • Analyseklar hendelsesform: Rå Debezium CDC-hendelser transformeres til et tabellformat som speiler kildetabellstrukturen. Hendelser berikes med metadatakolonner, inkludert endringstypen (insert, update, eller delete) og hendelsestidsstempelet.
  • Automatisk håndtering av destinasjonstabeller: Når du ruter DeltaFlow-aktiverte strømmer til en støttet destinasjon som et eventhouse, opprettes destinasjonstabeller automatisk for å matche kildetabellens skjema. Du trenger ikke å lage eller konfigurere destinasjonstabeller manuelt.
  • Håndtering av skjemautvikling: Når tabeller i kildedatabaser endres (for eksempel nye kolonner legges til eller tabeller opprettes), oppdager DeltaFlow automatisk endringene, oppdaterer de registrerte skjemaene og justerer destinasjonstabellene deretter. Denne funksjonen minimerer manuell inngripen forårsaket av skjemaendringer.

Merk

DeltaFlow (Preview) støttes for tiden med Azure SQL Database CDC, Azure SQL Managed Instance CDC, SQL Server on VM CDC og PostgreSQL CDC source connectors.

For detaljer om hvordan DeltaFlow omdanner rå CDC-hendelser til analyseklare resultater, inkludert operasjonstyper og metadatakolonner, se DeltaFlow output-transformasjon.

Vis oppdatert hendelsesstrøm

Du kan se SQL Server på VM DB CDC-kilden lagt til eventstreamen din i Edit-modus.

Et skjermbilde av den tilføyde SQL Server på VM DB CDC-kilden i Edit-modus med utvidede funksjoner.

For å implementere denne nylig tilførte SQL Server på VM DB CDC-kilden, velg Publish. Etter at du har fullført disse stegene, er SQL Server din på VM DB CDC-kilden tilgjengelig for visualisering i Live view.

Et skjermbilde av den tilføyde SQL Server på VM DB CDC-kilden i Live view-modus med utvidede funksjoner.

Konfigurer Eventstream-destinasjoner til å bruke skjemaer

For øyeblikket støttes kun Eventhouse, egendefinert endepunkt og avledede strømdestinasjoner for Eventstreams med tilhørende skjemaer. Denne delen viser deg hvordan du legger til og konfigurerer et Eventhouse-mål når utvidede funksjoner (for eksempel skjemastøtte) er aktivert for eventstream.

Merk

Når du bruker DeltaFlow (Preview) med en støttet Change Data Capture (CDC)-kilde, blir destinasjonstabellene i Eventhouse automatisk opprettet og administrert for å matche kildetabellstrukturen. Du trenger ikke å konfigurere destinasjonstabellens skjema manuelt. DeltaFlow håndterer også automatisk skjemautvikling når kildetabeller endres.

Konfigurer et skjema for en egendefinert endepunktdestinasjon

  1. Velg Transform hendelser eller legg til destinasjon, og velg deretter CustomEndpoint.

  2. På panelet for tilpasset endepunkt , spesifiser et navn for destinasjonen.

  3. For Inndataskjema velger du skjemaet for hendelser. Du gjør et valg i denne boksen når du aktiverer skjemastøtte for en hendelsesstrøm.

Skjermbilde som viser panelet for å konfigurere et egendefinert endepunkt.

Hvis du vil ha detaljerte trinn for hvordan du konfigurerer et egendefinert endepunktmål, kan du se Legge til et egendefinert endepunkt eller et egendefinert appmål i en hendelsesstrøm.

Konfigurere skjemaer for et arrangementshusmål

  1. Velg Transformer hendelser eller legg til mål, og velg deretter Eventhouse.

  2. På Eventhouse-panelet konfigurerer du følgende skjema-relaterte innstillinger:

    1. For Input-skjema, velg ett eller flere skjemaer fra nedtrekkslisten.

      Skjermbilde som viser eventhouse-konfigurasjonspanelet med et inndataskjema valgt.

      Merk

      Hvis du valgte alternativet Dynamisk skjema via headers når du konfigurerte en Event Hubs-kilde, kan det hende du har konfigurert flere skjemaer for kilden og kartlagt dem til ulike egenskaper og deres verdier.

    2. For tabellopprettelsesmetoden, velg En enkelt tabell med alle skjemaer kombinert eller separate tabeller for hvert skjema, avhengig av dine behov.

      Skjermbilde som viser eventhouse-konfigurasjonspanelet med tabellopprettelsesmetoder.

    3. Velg ett av følgende alternativer for Skriv data med:

      • Kun nyttelast: Skriv uthentede nyttelastdata til tabellen. Hvis det finnes flere inndataskjemaer, sendes data til flere tabeller.
      • Metadata og nyttelast: Skriv metadata og nyttelastdata til én enkelt tabell. Eksempelkolonner inkluderer source , subject, type, og data.

      Skjermbilde som viser eventhouse-konfigurasjonspanelet med alternativer for å skrive data.

For detaljerte steg for å konfigurere en eventhouse-destinasjon, se Legg til eventhouse-destinasjon i en eventstrøm.

Se DeltaFlow-analyseklar utdata (forhåndsvisning)

Hvis du aktiverte Analytics-klare hendelser og automatisk oppdatert skjema (DeltaFlow), opprettes destinasjonstabellene automatisk i en form som speiler kildedatabasetabellene dine. Hver tabell inkluderer de opprinnelige kolonnene sammen med metadatakolonner for endringstype og tidsstempel.

Merk

Følgende skjermbilde viser Azure SQL Database CDC. DeltaFlow-destinasjonstabellens utgang er den samme for alle støttede CDC-kildekontakter.

Skjermbilde som viser Eventhouse-destinasjonstabellene laget av DeltaFlow i analyseklar form.

Du kan spørre i disse tabellene ved å bruke Kusto Query Language (KQL) eller andre analyseverktøy uten å måtte analysere rå Debezium CDC-nyttelaster.

Relatert innhold

Andre koblinger:

  • Last updated on