Del via

Tilføj Confluent Cloud Kafka som kilde i realtidshub

I denne artikel beskrives det, hvordan du tilføjer Confluent Cloud Kafka som en hændelseskilde i Fabric Real-Time-hubben.

Confluent Cloud til Apache Kafka er en streamingplatform, der tilbyder effektive funktioner til datastreaming og -behandling ved hjælp af Apache Kafka. Ved at integrere Confluent Cloud til Apache Kafka som en kilde i din eventstream kan du problemfrit behandle datastrømme i realtid, før du distribuerer dem til flere destinationer i Fabric.

Prerequisites

  • Adgang til et arbejdsområde i Fabric-kapacitetslicenstilstand (eller) prøvelicenstilstand med bidragydertilladelser eller højere tilladelser.

  • En Confluent Cloud til Apache Kafka-klynge og en API-nøgle.

  • Din Confluent Cloud for Apache Kafka-klynge bør være offentligt tilgængelig og ikke være bag en firewall eller sikret i et virtuelt netværk. Hvis den befinder sig i et beskyttet netværk, skal du forbinde til den ved at bruge Eventstream connector virtuel netværksinjektion.

  • Hvis du planlægger at bruge TLS/mTLS-indstillinger, skal du sikre dig, at de nødvendige certifikater er tilgængelige i en Azure Key Vault:

    • Importer de nødvendige certifikater til Azure Key Vault i .pem-format .
    • Brugeren, der konfigurerer kilden og forhåndsviser data, skal have tilladelse til at få adgang til certifikaterne i Key Vault (for eksempel Key Vault Certificate User eller Key Vault Administrator).
    • Hvis den nuværende bruger ikke har de nødvendige tilladelser, kan data ikke forhåndsvises fra denne kilde i Eventstream.

Siden Datakilder

  1. Log på Microsoft Fabric.

  2. Hvis du kan se Power BI nederst til venstre på siden, skal du skifte til arbejdsbelastningen Fabric ved at vælge Power BI og derefter vælge Struktur.

    Skærmbillede, der viser, hvordan du skifter til Fabric-arbejdsbelastningen.

  3. Vælg Realtid på venstre navigationslinje.

    Skærmbillede, der viser, hvordan du starter Opret forbindelse til datakildeoplevelse.

  4. Streaming-datasiden åbner som standard. Klik på knappen Tilføj data for at komme til siden Datakilder .

    Skærmbillede, der viser siden Datakilder i Real-Time hub.

    Du kan også komme direkte til siden for datakilder ved at vælge ' Tilføj data' i venstre navigationslinje.

    Skærmbillede, der viser knappen Opret forbindelse til datakilde.

Tilføj Confluent Cloud Kafka som kilde

Vælg Confluent på siden Vælg en datakilde.

Skærmbillede, der viser valget af Confluent som kildetype i guiden Tilføj kilde.

Konfigurér Confluent Kafka kildeforbindelse

  1. På siden Vælg en datakilde skal du vælge Confluent Cloud for Apache Kafka.

    Skærmbillede, der viser valget af Confluent som kildetype i guiden Hent hændelser.

  2. Hvis du vil oprette en forbindelse til Confluent Cloud for Apache Kafka-kilden, skal du vælge Ny forbindelse.

    Skærmbillede, der viser valget af linket Ny forbindelse på siden Opret forbindelse i guiden Hent hændelser.

  3. I afsnittet Forbindelsesindstillinger indtaster du en eller flere Confluent Kafka bootstrap-serveradresser fra Klyngeindstillinger på din Confluent Cloud-klynges startside. Adskil flere adresser med komma (,).

  4. Hvis du har en eksisterende forbindelse til Confluent-klyngen i afsnittet Legitimationsoplysninger for forbindelse , skal du vælge den på rullelisten for Forbindelse. Ellers skal du følge disse trin:

    1. Angiv et navn til forbindelsen som Forbindelsesnavn.
    2. For Godkendelsestype skal du bekræfte, at Confluent Cloud Key er valgt.
    3. For API-nøgle og API-nøglehemmelighed:

      1. Gå til din confluent Cloud.

      2. Vælg API-nøgler i sidemenuen.

      3. Vælg knappen Tilføj nøgle for at oprette en ny API-nøgle.

      4. Kopiér API-nøglen og -hemmeligheden.

      5. Indsæt disse værdier i felterne API-nøgle og API-nøglehemmelighed.

        Bemærkning

        Hvis du kun bruger mTLS til autentificeringen, kan du tilføje enhver streng i nøgleafsnittet under oprettelsen af forbindelsen.

      6. Vælg Opret forbindelse

        Skærmbillede, der viser den første side i indstillingerne for Confluent-forbindelse.

  5. Rul for at se afsnittet Konfigurer Confluent Cloud for Apache Kafka-datakilden på siden. Angiv oplysningerne for at fuldføre konfigurationen af datakilden Confluent.

    1. For Emnenavn skal du angive et emnenavn fra din Confluent Cloud. Du kan oprette eller administrere dit emne i Confluent Cloud Console.

    2. For Forbrugergruppe skal du angive en forbrugergruppe for din Confluent Cloud. Den giver dig den dedikerede forbrugergruppe til at hente hændelserne fra Confluent Cloud-klyngen.

    3. Vælg en af følgende værdier for indstillingen Nulstil automatisk forskydning :

      • Tidligst – de tidligste data, der er tilgængelige fra din Confluent-klynge.
      • Seneste – de seneste tilgængelige data.
      • Ingen – Sæt ikke automatisk offset.

      Bemærkning

      Indstillingen Ingen er ikke tilgængelig under dette oprettelsestrin. Hvis der findes en bekræftet forskydning, og du vil bruge Ingen, kan du først fuldføre konfigurationen og derefter opdatere indstillingen i Eventstream-redigeringstilstand.

    4. Hvis din Kafka-klynge kræver mTLS, udvid TLS/mTLS-indstillinger og konfigurer følgende muligheder efter behov.
      Når både Trust CA-certifikatet og klientcertifikatet og nøglen er aktiveret og konfigureret, bruger systemet automatisk mTLS til at etablere forbindelsen. Der kræves ikke separat valg af sikkerhedsprotokoller.

      • Trust CA-certifikat: Aktiver konfiguration af Trust CA-certifikat. Vælg dit abonnement, ressourcegruppe og nøglevault, og oplys derefter serverens CA-navn.
      • Klientcertifikat og nøgle: Aktiver konfiguration af klientcertifikat og nøgle. Vælg dit abonnement, ressourcegruppe og nøglevault, og angiv derefter navnet på klientcertifikatet.

      Bemærkning

      TLS/mTLS-indstillingerne i denne sektion er i øjeblikket i forhåndsvisning, herunder Trust CA-certifikat, Klientcertifikat og nøgle samt Yderligere indstillinger.

      For kilder i et privat netværk skal du sikre, at Azure Key Vault, der indeholder dine certifikater, er forbundet til det Azure virtuelle netværk, der bruges af den strømmende virtuelle netværksgateway til Eventstream connector virtuel netværksinjektion (for eksempel via et privat endpoint).

      Skærmbillede, der viser den anden side – Konfigurer confluent-datakildesiden – af indstillingerne for Confluent-forbindelse.

    5. Du kan udvide Yderligere indstillinger for at konfigurere TLS-verificeringsværtsnavn, **TLS-chiffer-pakker og TLS-tilbagekaldelsestilstand:

      • TLS-verificér værtsnavn: Styrer, om værtsnavnverifikation er aktiveret for TLS-forbindelsen. Standardværdien er Sand.
      • TLS-chiffersuiter: Specificerer, hvilke TLS-chifferpakker klienten kan bruge. Standardværdien er Brug-systemets standardværdier.
      • TLS-tilbagekaldelsestilstand: Styrer, om kontrol af klientcertifikat-tilbagekaldelse er aktiveret for TLS-forbindelsen. Standardværdien er Slået fra.

      Skærmbillede, der viser de ekstra indstillinger for Confluent TLS/mTLS-indstillinger.

Strøm- eller kildedetaljer

  1. På Connect-siden følger du et af disse trin afhængigt af, om du bruger Eventstream eller Real-Time hub.

    • Eventstream:

      I kilde-detaljepanelet til højre følger du disse trin:

      1. For Kildenavn skal du vælge Pencil-knappen for at ændre navnet.

      2. Bemærk, at Eventstream-navnet og Stream-navnet er skrivebeskyttet.

    • Real-Time hub:

      I afsnittet Stream Details til højre følger du disse trin:

      1. Vælg Fabric-arbejdsområdet , hvor du vil oprette eventstreamen.

      2. For Eventstream-navn, vælg Pencil-knappen og indtast et navn til eventstreamen.

      3. Værdien Stream-navn genereres automatisk for dig ved at tilføje -stream til navnet på eventstreamen. Denne strøm vises på realtidshubbens side for alle datastrømme, når guiden er færdig.

  2. Vælg Næste nederst på siden Konfigurér .

Gennemgå og forbind

Afhængigt af om dine data er kodet ved hjælp af registreringsdatabasen for confluentskemaer:

Opret forbindelse til Confluent-skemaregistreringsdatabasen for at afkode data (prøveversion)

Eventstreams Confluent Cloud til Apache Kafka-streamingconnector er i stand til at afkode data, der er produceret med Confluent-serialiseringsfunktionen og dens Skemaregistreringsdatabase fra Confluent Cloud. Data, der er kodet med denne serialisering af Registreringsdatabasen for Confluent-skemaer, kræver skemahentning fra registreringsdatabasen for confluentskemaer til afkodning. Uden adgang til skemaet kan Eventstream ikke vise, behandle eller distribuere de indgående data.

Du kan udvide Avancerede indstillinger for at konfigurere Confluent Schema Registry-forbindelse:

  1. Definer og serialiser data: Hvis du vælger Ja , kan du serialisere dataene til et standardiseret format. Vælg Nej bevarer dataene i deres oprindelige format og sender dem igennem uden ændringer.

  2. Hvis dine data er kodet ved hjælp af et skemaregister, skal du vælge Ja , når du vælger, om dataene skal kodes med et skemaregister.

  3. Brug broker TLS-certifikater: Specificerer, om Kafka-brokerens TLS/mTLS-certifikater bruges til at sikre forbindelsen til Confluent Schema Registry. Sæt denne mulighed til Sand, når brokeren og Schema Registry bruger samme certifikatkonfiguration.

  4. Vælg derefter Ny forbindelse for at konfigurere adgangen til din Confluent Schema Registry:

    • URL-adresse til skemaregistrering: Det offentlige slutpunkt for skemaregistreringsdatabasen.
    • API-nøgle og API-nøglehemmelighed: Gå til Confluent Cloud Environments Schema Registry for at kopiere API-nøglen og API-hemmeligheden. Sørg for, at den konto, der bruges til at oprette denne API-nøgle, har tilladelsen DeveloperRead eller højere til skemaet.
    • Niveau for beskyttelse af personlige oplysninger: Vælg mellem Ingen, Privat, Organisatorisk eller Offentlig.

  5. Decimalformat for JSON-output: Angiver JSON-serialiseringsformatet for logiske decimaltypeværdier i dataene fra kilden.

    • NUMERISK: Serialiser som tal.
    • BASE64: Serialiser som base64-kodede data.

  6. Vælg Næste. På skærmen Gennemgå og opret skal du gennemgå oversigten, og derefter vælge Tilføj (Eventstream) eller Forbind (Real-Time hub).

    Skærmbillede, der viser avancerede indstillinger for registreringsdatabaseindstillingerne for Confluent-skemaet.

Få vist oplysninger om datastream

  1. Hvis du vælger Åbn hændelsesstream på siden Gennemse + opret forbindelse, åbner guiden den hændelsesstream, som den oprettede for dig, med den valgte Confluent Cloud Kafka-kilde. Hvis du vil lukke guiden, skal du vælge Luk nederst på siden.
  2. Du bør kunne se streamen i afsnittet Seneste streamingdata på startsiden forReal-Time hub . Du kan finde detaljerede trin under Få vist detaljer om datastrømme i Fabric Real-Time-hubben.

Relateret indhold

Du kan få mere at vide om brug af datastrømme i følgende artikler:

  • Last updated on