Sdílet prostřednictvím

Přidejte zdroj Confluent Cloud pro Apache Kafka do toku událostí.

V tomto článku se dozvíte, jak do eventstreamu přidat Confluent Cloud for Apache Kafka.

Confluent Cloud for Apache Kafka je streamovací platforma nabízející výkonné funkce streamování a zpracování dat pomocí Apache Kafka. Integrací Confluent Cloud pro Apache Kafka jako zdroje v rámci toku událostí můžete bez problémů zpracovávat datové proudy v reálném čase, než je směrujete do více cílů v rámci Fabric.

Požadavky

  • Přístup k pracovnímu prostoru v režimu licence kapacity Fabric (nebo) zkušebním režimu licence s oprávněními Přispěvatel nebo vyšší.
  • Cloud Confluent pro cluster Apache Kafka a klíč rozhraní API.
  • Váš cluster Confluent Cloud for Apache Kafka musí být veřejně přístupný a nesmí být za bránou firewall nebo zabezpečeným ve virtuální síti.
  • Pokud nemáte stream událostí, vytvořte stream událostí.

Spusťte průvodce výběrem zdroje dat.

Pokud jste ještě do streamu událostí nepřidali žádný zdroj, vyberte dlaždici Použít externí zdroj .

Snímek obrazovky znázorňující výběr dlaždice pro použití externího zdroje

Pokud přidáváte zdroj do již publikovaného streamu událostí, přepněte do režimu úprav . Na pásu karet vyberte Přidat zdroj>Externí zdroje.

Snímek obrazovky znázorňující výběry pro přidání externích zdrojů

Konfigurace a připojení ke cloudu Confluent pro Apache Kafka

  1. Na stránce Vybrat zdroj dat vyberte Confluent Cloud for Apache Kafka.

    Snímek obrazovky znázorňující výběr confluentu jako typu zdroje v Průvodci získáním událostí

  2. Pokud chcete vytvořit připojení ke zdroji Confluent Cloudu pro Apache Kafka, vyberte Nové připojení.

    Snímek obrazovky znázorňující výběr odkazu Nové připojení na stránce Připojit v průvodci získáním událostí

  3. V části Nastavení připojení zadejte Confluent Bootstrap Server. Přejděte na domovskou stránku Confluent Cloudu, vyberte Nastavení clusteru a zkopírujte adresu na váš Bootstrap Server.

  4. V části Přihlašovací údaje připojení , Pokud máte existující připojení ke clusteru Confluent, vyberte ho z rozevíracího seznamu pro připojení. V opačném případě postupujte takto:

    1. Jako název připojení zadejte název připojení.
    2. V případě typu ověřování potvrďte, že je vybraný cloudový klíč Confluent.
    3. Pro klíč rozhraní API a tajný klíč rozhraní API:

      1. Přejděte do služby Confluent Cloud.

      2. V boční nabídce vyberte klíče rozhraní API.

      3. Výběrem tlačítka Přidat klíč vytvořte nový klíč rozhraní API.

      4. Zkopírujte klíč a tajný klíč rozhraní API.

      5. Tyto hodnoty vložte do polí Klíč rozhraní API a Tajný klíč rozhraní API.

      6. Vyberte Připojit

        Snímek obrazovky znázorňující první stránku nastavení připojení Confluent

  5. Posuňte se a podívejte se na část Konfigurace confluent cloudu pro zdroj dat Apache Kafka na stránce. Zadejte informace pro dokončení konfigurace zdroje dat Confluent.

    1. Jako název tématu zadejte název tématu z confluent cloudu. Své téma můžete vytvořit nebo spravovat v konzole Confluent Cloud Console.

    2. Jako skupinu příjemců zadejte skupinu příjemců vašeho confluent cloudu. Poskytuje vám vyhrazenou skupinu příjemců pro získání událostí z clusteru Confluent Cloud.

    3. Pro nastavení resetu automatického posunu vyberte jednu z následujících hodnot:

      • Nejstarší – nejstarší data dostupná z clusteru Confluent.
      • Nejnovější – nejnovější dostupná data.
      • Žádné – Nenastavujte posun automaticky.

      Poznámka:

      Během tohoto kroku vytváření není k dispozici možnost Žádné . Pokud existuje potvrzený posun a chcete použít none, můžete nejprve dokončit konfiguraci a pak aktualizovat nastavení v režimu úprav eventstreamu.

    Snímek obrazovky znázorňující druhou stránku – Konfigurace stránky zdroje dat Confluent – nastavení připojení Confluent

  6. V závislosti na tom, jestli jsou vaše data kódovaná pomocí registru confluent schema:

Připojení k registru schématu Confluent a dekódování dat (Preview)

Konektor Confluent Cloud for Apache Kafka pro eventstream je schopný dekódovat data vytvořená pomocí serializátoru Confluent a jeho registru schémat z Confluent Cloudu. Data kódovaná pomocí tohoto serializátoru registru schématu Confluent vyžadují načtení schématu z registru confluent schémat pro dekódování. Bez přístupu ke schématu nemůže Eventstream zobrazit náhled, zpracovat ani směrovat příchozí data.

Pokud chcete konfigurovat připojení Confluent Schema Registry, můžete rozbalit Rozšířené nastavení :

  1. Definovat a serializovat data: Vyberte Ano umožňuje serializovat data do standardizovaného formátu. Výběrem možnosti Ne se data zachová v původním formátu a předá je beze změny.

  2. Pokud jsou data kódována pomocí registru schématu, vyberte Ano při volbě možností kódování dat s registrem schématu. Pak vyberte Nové připojení a nakonfigurujte přístup k registru schématu Confluent:

    • Adresa URL registru schématu: Veřejný koncový bod vašeho registru schématu.
    • Klíč rozhraní API a tajný klíč rozhraní API: Přejděte do registru schématu cloudového prostředí Confluent a zkopírujte klíč rozhraní API a tajný klíč rozhraní API. Ujistěte se, že účet použitý k vytvoření tohoto klíče rozhraní API má u schématu oprávnění DeveloperRead nebo vyšší.
    • Úroveň ochrany osobních údajů: Vyberte možnost Žádná, Soukromá, Organizační nebo Veřejná.

  3. Výstupní formát JSON pro desetinná čísla: Určuje formát serializace JSON pro hodnoty logického typu Decimal v datech ze zdroje.

    • NUMERIC: Serializovat jako čísla.
    • BASE64: Serializujte jako base64 kódovaná data.

  4. Vyberte Další. Na obrazovce Zkontrolovat a vytvořit si prohlédněte souhrn a pak výběrem Přidat dokončete nastavení.

    Snímek obrazovky znázorňující upřesňující nastavení registru schématu Confluent

Uvidíte, že zdroj Confluent Cloud for Apache Kafka je přidaný do vašeho eventstreamu na plátně v režimu úprav. Pokud chcete implementovat nově přidaný zdroj Confluent Cloud for Apache Kafka, vyberte na pásu karet publikovat .

Snímek obrazovky znázorňující zdroj Confluent Cloud for Apache Kafka v zobrazení pro úpravy

Po dokončení těchto kroků je zdroj Confluent Cloud for Apache Kafka k dispozici pro vizualizaci v živém zobrazení.

Snímek obrazovky znázorňující zdroj Confluent Cloud for Apache Kafka v živém zobrazení

Poznámka:

Pokud chcete zobrazit náhled událostí z tohoto zdroje Confluent Cloudu pro Apache Kafka, ujistěte se, že klíč rozhraní API použitý k vytvoření cloudového připojení má oprávnění ke čtení pro skupiny příjemců s předponou Preview-. Pokud se klíč rozhraní API vytvořil pomocí uživatelského účtu, nevyžadují se žádné další kroky, protože tento typ klíče už má úplný přístup k prostředkům Confluent Cloud for Apache Kafka, včetně oprávnění ke čtení pro skupiny příjemců s předponou Preview-. Pokud byl klíč vytvořen pomocí účtu služby, musíte ručně udělit oprávnění ke čtení skupinám příjemců s předponou "preview-" , aby bylo možné zobrazit náhled událostí.

Pro Confluent Cloud pro zdroje Apache Kafka se verze Preview podporuje pro zprávy ve formátu Confluent AVRO , když jsou data kódována pomocí registru schémat Confluent. Pokud data nejsou kódována pomocí registru schémat Confluent, lze zobrazit náhled pouze zpráv ve formátu JSON .

Snímek obrazovky zobrazující náhled zdrojových dat Confluent Cloud pro Apache Kafka

Související obsah

Další konektory:

  • Last updated on