Condividi tramite

Aggiungere la sorgente Confluent Cloud Apache Kafka a un flusso di eventi

Questo articolo illustra come aggiungere un'origine Confluent Cloud per Apache Kafka a un flusso di eventi.

Confluent Cloud for Apache Kafka è una piattaforma di streaming che offre potenti funzionalità di streaming ed elaborazione dei dati con Apache Kafka. Integrando Confluent Cloud for Apache Kafka come origine all'interno del flusso di eventi, è possibile elaborare facilmente flussi di dati in tempo reale prima di instradarli a più destinazioni all'interno di Fabric.

Prerequisiti

  • Accesso a un'area di lavoro in modalità di licenza della capacità di Infrastruttura (o) modalità licenza di valutazione con autorizzazioni di collaboratore o superiore.
  • Un cluster Confluent Cloud per Apache Kafka e una chiave API.
  • Il cluster Confluent Cloud per Apache Kafka deve essere accessibile pubblicamente e non essere protetto da un firewall o protetto in una rete virtuale.
  • Se non si dispone di un flusso di eventi, creare un flusso di eventi.

Avviare la procedura guidata Selezionare un'origine dati

Se non è ancora stata aggiunta alcuna origine al flusso di eventi, selezionare il riquadro Usa origine esterna .

Screenshot che mostra la selezione del tile per usare un'origine esterna.

Se si aggiunge l'origine a un flusso di eventi già pubblicato, passare alla modalità Modifica. Sulla barra multifunzione selezionare Aggiungi origine>Origini esterne.

Screenshot che mostra le selezioni per l'aggiunta di fonti esterne.

Configurare e connettersi a Confluent Cloud per Apache Kafka

  1. Nella pagina Selezionare un'origine dati, selezionare Confluent Cloud for Apache Kafka.

    Screenshot che mostra la selezione di Confluent come tipo di origine nella procedura guidata Ottieni eventi.

  2. Per creare una connessione all'origine Confluent Cloud for Apache Kafka, selezionare Nuova connessione.

    Screenshot che mostra la selezione del collegamento Nuova connessione nella pagina Connetti della procedura guidata Ottieni eventi.

  3. Nella sezione Impostazioni di connessione, immettere Server Bootstrap Confluent. Passare alla home page di Confluent Cloud, selezionare Impostazioni cluster e copiare l'indirizzo nel server Bootstrap.

  4. Nella sezione Credenziali di connessione , se si dispone di una connessione esistente al cluster Confluent, selezionarla nell'elenco a discesa Connessione. Altrimenti, eseguire le seguenti operazioni:

    1. Per Nome connessione, immetti un nome per la connessione.
    2. Per Tipo di autenticazione, verificare che sia selezionata l'opzione Chiave cloud Confluent.
    3. Per chiave API e Segreto chiave API:

      1. Passare al cloud Confluent.

      2. Selezionare Chiavi API nel menu laterale.

      3. Selezionare il pulsante Aggiungi chiave per creare una nuova chiave API.

      4. Copiare la chiave API e il Segreto.

      5. Incollare tali valori nei campi Chiave API e Segreto chiave API.

      6. Seleziona Connetti

        Screenshot che mostra la prima pagina delle impostazioni di connessione Confluent.

  5. Scorrere per visualizzare la sezione Configura Confluent Cloud per l'origine dati di Apache Kafka nella pagina. Immettere le informazioni per completare la configurazione dell'origine dati Confluent.

    1. In Nome argomento immettere un nome di argomento da Confluent Cloud. È possibile creare o gestire l'argomento in Confluent Cloud Console.

    2. Per Gruppo consumer, inserisci il gruppo consumer del tuo Confluent Cloud. Offre il gruppo di consumer dedicato per ottenere gli eventi dal cluster Confluent Cloud.

    3. Per la Reimpostazione automatica dell'offset, selezionare uno dei valori seguenti:

      • Più antico – i dati più antichi disponibili nel cluster Confluent.
      • Più recente : i dati disponibili più recenti.
      • Nessuno : non impostare automaticamente l'offset.

      Nota

      L'opzione Nessuno non è disponibile durante questo passaggio di creazione. Se esiste un offset di cui è stato eseguito il commit e si vuole usare Nessuno, è prima possibile completare la configurazione e quindi aggiornare l'impostazione nella modalità di modifica Eventstream.

    Screenshot che mostra la seconda pagina: configurare la pagina dell'origine dati Confluent delle impostazioni di connessione Confluent.

  6. A seconda che i dati siano codificati usando il Confluent Schema Registry.

Connettersi al Registro di sistema dello schema confluent per decodificare i dati (anteprima)

Il connettore di streaming Confluent Cloud for Apache Kafka di Eventstream è in grado di decodificare i dati prodotti con serializzatore Confluent e il relativo registro schemi da Confluent Cloud. I dati codificati con questo serializzatore del Registro di sistema dello schema Confluent richiedono il recupero dello schema dal Registro di sistema dello schema Confluent per la decodifica. Senza l'accesso allo schema, Eventstream non può visualizzare in anteprima, elaborare o instradare i dati in ingresso.

È possibile espandere Impostazioni avanzate per configurare la connessione al Registro di sistema dello schema confluent:

  1. Definire e serializzare i dati: selezionare Sì consente di serializzare i dati in un formato standardizzato. Selezionare No mantiene i dati nel formato originale e li passa senza modifiche.

  2. Se i dati vengono codificati usando un Registro di sistema dello schema, selezionare Sì quando si sceglie se i dati vengono codificati con un Registro di sistema dello schema. Selezionare quindi Nuova connessione per configurare l'accesso al Registro di sistema dello schema Confluent:

    • URL del Registro degli schemi: endpoint pubblico del registro degli schemi.
    • Chiave API e segreto della chiave API: passare a Registro schemi dell'ambiente cloud confluente per copiare la chiave API e il segreto API. Assicurarsi che l'account usato per creare questa chiave API disponga dell'autorizzazione DeveloperRead o superiore per lo schema.
    • Livello di privacy: scegliere nessuno, privato, aziendale o pubblico.

  3. Formato decimale di output JSON: specifica il formato di serializzazione JSON per i valori di tipo logico Decimal nei dati dell'origine.

    • NUMERIC: serializzare come numeri.
    • BASE64: serializzare come dati con codifica Base64.

  4. Selezionare Avanti. Nella schermata Rivedi e crea esaminare il riepilogo e quindi selezionare Aggiungi per completare la configurazione.

    Screenshot che mostra le impostazioni avanzate del registro degli schemi di Confluent.

Si vede che la sorgente Confluent Cloud per Apache Kafka viene aggiunta al flusso di eventi nell'area di disegno in modalità di modifica. Per implementare questa nuova origine di Confluent Cloud per Apache Kafka, selezionare Pubblica sulla barra degli strumenti.

Screenshot che mostra Confluent Cloud come origine per Apache Kafka in modalità di modifica.

Dopo aver completato questi passaggi, l'origine Confluent Cloud for Apache Kafka è disponibile per la visualizzazione in Live view.

Screenshot che mostra l'origine Confluent Cloud per Apache Kafka in visualizzazione dinamica.

Nota

Per visualizzare in anteprima gli eventi di questa origine Confluent Cloud per Apache Kafka, assicurarsi che la chiave API usata per creare la connessione cloud disponga dell'autorizzazione di lettura per i gruppi di consumer con prefisso "preview-". Se la chiave API è stata creata usando un account utente, non sono necessari passaggi aggiuntivi, poiché questo tipo di chiave ha già accesso completo alle risorse Confluent Cloud for Apache Kafka, inclusa l'autorizzazione di lettura per i gruppi di consumer con prefisso "preview-". Tuttavia, se la chiave è stata creata usando un account del servizio, è necessario concedere manualmente l'autorizzazione di lettura ai gruppi di consumer preceduti da "preview-" per visualizzare in anteprima gli eventi.

Per le origini di Confluent Cloud per Apache Kafka, l'anteprima è supportata per i messaggi in formato AVRO Confluent quando i dati vengono codificati usando il Registro degli Schemi Confluent. Se i dati non vengono codificati usando registro schemi Confluent, è possibile visualizzare in anteprima solo i messaggi in formato JSON .

Screenshot che mostra l'anteprima dei dati di origine Confluent Cloud per Apache Kafka.

Contenuto correlato

Altri connettori:

  • Last updated on