適用於 Azure 事件中樞的 Apache Kafka 開發人員指南

本文提供文章的連結,說明如何整合 Apache Kafka 應用程式與 Azure 事件中樞。

概觀

事件中樞提供的 Kafka 端點可讓您現有的 Kafka 型應用程式使用,作為執行您本身的 Kafka 叢集以外的另一項選擇。 事件中樞適用於許多現有的 Kafka 應用程式。 如需詳細資訊,請參閱適用於 Apache Kafka 的事件中樞

快速入門

您可以在 GitHub 和此內容集找到快速入門,以協助您加速運用適用於 Kafka 的事件中樞。

GitHub 中的快速入門

請參閱 azure-event-hubs-for-kafka 存放庫中的下列快速入門:

用戶端語言/架構 描述
.NET

本快速入門使用以 C# (使用 .NET Core 2.0) 撰寫的範例產生者和取用者,說明如何建立和連線至事件中樞 Kafka 端點。

此範例以 Confluent 的 Apache Kafka .NET 用戶端為基礎,經修改可搭配適用於 Kafka 的事件中樞一起使用。

Java 本快速入門使用以 JAVA 撰寫的範例產生者和取用者,說明如何建立和連線至事件中樞 Kafka 端點。
Node.js

本快速入門使用以 Node 撰寫的範例產生者和取用者,說明如何建立和連線至事件中樞 Kafka 端點。

此範例使用 node-rdkafka 程式庫。

Python

本快速入門使用以 Python 撰寫的範例產生者和取用者,說明如何建立和連線至事件中樞 Kafka 端點。

此範例以 Confluent 的 Apache Kafka Python 用戶端為基礎,經修改可搭配適用於 Kafka 的事件中樞一起使用。

Go

本快速入門使用以 Go 撰寫的範例產生者和取用者,說明如何建立和連線至事件中樞 Kafka 端點。

此範例以 Confluent 的 Apache Kafka Golang 用戶端為基礎,經修改可搭配適用於 Kafka 的事件中樞一起使用。

Sarama kafka Go 本快速入門使用以 Go (使用 Sarama Kafka 用戶端程式庫) 撰寫的範例產生者和取用者,說明如何建立和連線至事件中樞 Kafka 端點。
Kafka 本快速入門使用 Apache Kafka 散發套件隨附的 CLI,說明如何建立和連線至事件中樞 Kafka 端點。
Kafkacat kafkacat 為非 JVM 命令列取用者和產生者,以 librdkafka 為基礎,由於速度和磁碟使用量都不錯而普及。 本快速入門包含範例設定和數個簡單的範例 kafkacat 命令。

DOCS 中的快速入門

請參閱快速入門:此內容集的使用 Kafka 通訊協定對事件中樞串流資料,其中提供如何串流至事件中樞的逐步指示。 您將了解如何僅在應用程式中變更設定,就能讓產生者和取用者與事件中樞交談。

教學課程

GitHub 中的教學課程

請參閱 GitHub 提供的下列教學課程:

教學課程 描述
Akka 本教學課程說明如何將 Akka Streams 連線至已啟用 Kafka 的事件中樞,而不需要變更通訊協定用戶端或執行您自己的叢集。 有兩個不同的教學課程,分別使用 JAVAScala 程式設計語言。
[連接] 本文件逐步引導您整合 Kafka Connect 與 Azure 事件中樞,以及部署基本 FileStreamSource 和 FileStreamSink 連接器。 雖然這些連接器不適用於生產環境,但可示範端對端 Kafka Connect 情節,由 Azure 事件中樞扮演 Kafka 訊息代理程式。
Filebeat 本文件逐步引導您透過 Filebeat 的 Kafka 輸出來整合 Filebeat 與事件中樞。
Flink 本教學課程說明如何將 Apache Flink 連線至已啟用 Kafka 的事件中樞,而不需要變更通訊協定用戶端或執行您自己的叢集。
FluentD 本文件逐步引導您使用 Fluentd 的 out_kafka 輸出外掛程式來整合 Fluentd 與事件中樞。
Interop 本教學課程說明如何使用不同的通訊協定,在取用者和產生者之間交換事件。
Logstash 本教學課程逐步引導您使用 Logstash Kafka 輸入/輸出外掛程式,以整合 Logstash 與已啟用 Kafka 的事件中樞。
MirrorMaker 本教學課程說明事件中樞和 Kafka MirrorMaker 如何在事件中樞服務中鏡像 Kafka 輸入資料流,將現有的 Kafka 管線整合到 Azure 中。
NiFi 本教學課程說明如何將 Apache NiFi 連線至事件中樞命名空間。
OAuth 快速入門使用以 Go 和 JAVA 程式設計語言撰寫的範例產生者和取用者,說明如何建立和連線至事件中樞 Kafka 端點。
Confluent 的結構描述登錄 本教學課程逐步引導您整合結構描述登錄與適用於 Kafka 的事件中樞。
Spark 本教學課程示範如何將 Spark 應用程式連線至事件中樞,而不需要變更通訊協定用戶端或執行您自己的 Kafka 叢集。

DOCS 中的教學課程

另請參閱教學課程:此內容集的使用串流分析處理適用於事件中樞的 Apache Kafka 事件,其中說明如何將資料串流至事件中樞,並透過 Azure 串流分析來處理。

操作指南

請參閱文件中的下列操作指南:

文章 描述
在事件中樞中鏡像 Kafka 訊息代理程式 說明如何使用 Kafka MirrorMaker 在事件中樞中鏡像 Kafka 訊息代理程式。
將 Apache Spark 連線到事件中樞 逐步引導您將 Spark 應用程式連線至事件中樞,以進行即時串流。
將 Apache Flink 連線到事件中樞 說明如何將 Apache Flink 連線至事件中樞,而不需要變更通訊協定用戶端或執行您自己的叢集。
整合 Apache Kafka Connect 與事件中樞 (預覽) 逐步引導您整合 Kafka Connect 與事件中樞,以及部署基本的 FileStreamSource 和 FileStreamSink 連接器。
將 Akka 串流連線到事件中樞 說明如何將 Akka Streams 連線至事件中樞,而不需要變更通訊協定用戶端或執行您自己的叢集。
使用適用於 Apache Kafka 的 Spring Boot Starter 搭配 Azure 事件中樞 示範如何將以 Spring Boot Initializer 建立的 JAVA 架構 Spring Cloud Stream Binder,設定為使用 Apache Kafka 搭配 Azure 事件中樞。

下一步

檢閱 GitHub 存放庫 azure-event-hubs-for-kafka 的 quickstart 和 tutorials 資料夾下的範例。

另請參閱下列文章: