共用方式為

將 Confluent Cloud for Apache Kafka 來源新增至事件串流

本文說明如何將 Confluent Cloud for Apache Kafka 來源新增至事件串流。

適用於 Apache Kafka 的 Confluent Cloud 是一個串流平臺，使用 Apache Kafka 提供功能強大的數據流和處理功能。 藉由整合 Confluent Cloud for Apache Kafka 作為事件數據流內的來源，您可以順暢地處理即時數據流，再將它們路由至 Fabric 內的多個目的地。

必要條件

  • 在 Fabric 容量授權模式中存取工作區，或具有參與者或更高許可權的試用版授權模式。
  • 適用於 Apache Kafka 叢集和 API 金鑰的 Confluent Cloud。
  • 您的適用於Apache Kafka叢集的 Confluent Cloud 必須可公開存取，且不得位於防火牆後方或虛擬網路中受到保護。
  • 如果您沒有 eventstream， 請建立 eventstream。

啟動選取數據源精靈

如果你還沒在事件串流中新增任何來源，請選擇 「使用外部來源 」磁磚。

截圖顯示了使用外部來源的圖塊選擇過程。

如果你是將原始碼加入已發布的事件串流，請切換到 編輯 模式。 在色帶上選擇 新增來源>外部來源。

顯示新增外部來源選項的截圖。

設定並連線至適用於 Apache Kafka 的 Confluent Cloud

  1. 在 [ 選取數據源] 頁面上，選取 [Confluent Cloud for Apache Kafka]。

    顯示選取 Confluent 做為 [取得事件精靈] 中來源類型的螢幕快照。

  2. 若要建立 Apache Kafka 來源的 Confluent Cloud 連線，請選取 [新增連線]。

    此螢幕快照顯示 [取得事件精靈] 的 [連線] 頁面上的 [新增連線] 鏈接選取專案。

  3. 在 [ 連線設定 ] 區段中，輸入 Confluent Bootstrap Server。 流覽至您的 Confluent Cloud 首頁，選取 [ 叢集設定]，然後將位址複製到您的 Bootstrap 伺服器。

  4. 在 [ 連線認證 ] 區段中，如果您有 Confluent 叢集的現有連線，請從 [ 連線] 下拉式清單中選取它。 否則，遵循下列步驟：

    1. 對於連線名稱 - 輸入連線的名稱。
    2. 針對 [驗證種類]，確認已 選取 [Confluent 雲端密鑰 ]。
    3. 針對 API 金鑰 和 API 金鑰秘密：

      1. 流覽至您的 Confluent Cloud。

      2. 選取左側功能表上的 [金鑰]。

      3. 選取 [新增] 按鈕以建立新規則。

      4. 複製 API 金鑰和祕密金鑰。

      5. 將這些值貼到 [API 金鑰 ] 和 [API 金鑰秘密 ] 字段中。

      6. 選取連線

        顯示 Confluent 連線設定第一頁的螢幕快照。

  5. 請捲動以查看頁面上的 配置 Apache Kafka 數據源 的 Confluent Cloud 一節。 輸入資訊以完成 Confluent 數據源的設定。

    1. 針對 [主題名稱]，輸入 Confluent Cloud 的主題名稱。 您可以在 Confluent Cloud Console 中建立或管理您的主題。

    2. 請在 用戶群組 中輸入您 Confluent Cloud 的用戶群組。 它提供您專用的取用者群組，以從 Confluent Cloud 叢集取得事件。

    3. 針對 [重設自動位移 ] 設定，選取下列其中一個值：

      • 最早 – Confluent 叢集中最早可用的數據。
      • Latest – 最新的可用資料。
      • 無 – 不要自動設定位移。

      注意

      此建立步驟期間無法使用 [無 ] 選項。 如果認可位移存在，而且您想要使用 None，您可以先完成設定，然後在 Eventstream 編輯模式中更新設定。

    顯示第二頁 - 設定 Confluent 數據源頁面 - Confluent 連線設定的螢幕快照。

  6. 視您的資料是否使用 Confluent 架構登錄進行編碼而定：

線上至 Confluent 架構登錄以譯碼資料 （預覽）

Eventstream 的 Confluent Cloud for Apache Kafka 串流連接器能夠解碼由 Confluent 序列化程序及其架構註冊表從 Confluent Cloud 所產生的數據。 使用此 Confluent Schema Registry 的序列化器編碼的資料需要從 Confluent Schema Registry 獲取架構才能進行解碼。 如果沒有架構的存取權，Eventstream 就無法預覽、處理或路由傳入數據。

您可以展開 [ 進階設定 ] 來設定 Confluent 架構登入連線：

  1. 定義和串行化數據：選取 [ 是 ] 可讓您將數據串行化為標準化格式。 選取 [否 ] 會以原始格式保留數據，並在不修改的情況下通過。

  2. 如果您的數據是使用架構登錄進行編碼，請在選擇資料是否以架構登錄編碼時選取 [ 是 ]。 然後，選取 [新增連線 ] 以設定 Confluent 架構登錄的存取權：

    • 架構登錄 URL：架構登錄的公用端點。
    • API 金鑰 和 API 金鑰秘密：流覽至 Confluent 雲端環境的架構登錄，以複製 API 金鑰 和 API 秘密。 請確定用來建立此 API 金鑰的帳戶在此架構中具有 DeveloperRead 或更高許可權。
    • 隱私權等級：從 [無]、 [私人]、 [組織] 或 [ 公用] 中選擇。

  3. JSON 輸出十進位格式：指定來源數據中十進位邏輯類型值的 JSON 串行化格式。

    • NUMERIC：串行化為數位。
    • BASE64：串行化為base64編碼的數據。

  4. 選取 [下一步]。 在 [ 檢閱和建立] 畫面上檢閱摘要，然後選取 [ 新增 ] 以完成設定。

    顯示 Confluent 架構登錄設定進階設定的螢幕快照。

您會看到 Confluent Cloud for Apache Kafka 原始碼已新增至畫布上的事件流，處於 編輯模式。 若要為 Apache Kafka 來源實作這個新增的 Confluent Cloud，請選取功能區上的 [發佈 ]。

顯示 [編輯] 檢視中 Apache Kafka 來源的 Confluent Cloud 螢幕快照。

完成這些步驟之後，適用於Apache Kafka的 Confluent Cloud 來源可在 即時檢視中取得視覺效果。

螢幕快照顯示 Apache Kafka 來源的 Confluent Cloud 在 Live 檢視中。

注意

若要預覽此 Confluent Cloud for Apache Kafka 來源的事件，請確定用於建立雲端連線的 API 密鑰對於取用者群組具有讀取許可權，該群組的前綴為"preview-"。 如果使用 使用者帳戶建立 API 金鑰，則不需要執行其他步驟，因為這種類型的密鑰已經具有 Apache Kafka 資源 Confluent Cloud 的完整存取權，包括前置詞 為 “preview-” 的取用者群組讀取許可權。 不過，如果使用 服務帳戶建立密鑰，您必須手動將讀取許可權授予以 "preview-" 為前綴的取用者群組，才能預覽事件。

適用於 Apache Kafka 來源的 Confluent Cloud 之 Confluent AVRO 格式訊息，若數據使用 Confluent Schema Registry 編碼，則支援預覽。 如果數據未使用 Confluent 架構登錄進行編碼，則只能預覽 JSON 格式化的訊息。

顯示 Confluent Cloud for Apache Kafka 源數據預覽的螢幕快照。

相關內容

其他連接器：

  • Last updated on