Azure Event Hubs のための Apache Kafka 開発者ガイド

[アーティクル]
06/01/2023

この記事では、Apache Kafka アプリケーションを Azure Event Hubs と統合する方法を説明している記事のリンクを紹介します。

概要

Event Hubs は、独自の Kafka クラスターを実行する代わりに、既存の Kafka ベースのアプリケーションが使用できる Kafka エンドポイントを提供します。 Event Hubs は、既存の Kafka アプリケーションの多くで動作します。詳細については、Apache Kafka 用の Event Hubs に関するページを参照してください

クイックスタート

GitHub とこのコンテンツセットには、Kafka 用の Event Hubs をすぐに把握できるクイックスタートがあります。

GitHub のクイックスタート

azure-event-hubs-for-kafka リポジトリの次のクイックスタートを参照してください。

クライアント言語またはフレームワーク	説明
.NET	このクイックスタートでは、.NET Core 2.0 を使用して C# で記述されたプロデューサーとコンシューマーの例を使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。このサンプルは、Confluent の Apache Kafka .NET クライアントに基づいており、Kafka 用の Event Hubs に使用できるように変更されています。
Java	このクイックスタートでは、Java で記述されたプロデューサーとコンシューマーの例を使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。
Node.js	このクイックスタートでは、Node で記述されたプロデューサーとコンシューマーの例を使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。このサンプルでは、node-rdkafka ライブラリを使用しています。
Python	このクイックスタートでは、Python で記述されたプロデューサーとコンシューマーの例を使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。このサンプルは、Confluent の Apache Kafka Python クライアントに基づいており、Kafka 用の Event Hubs に使用できるように変更されています。
Go	このクイックスタートでは、Go で記述されたプロデューサーとコンシューマーの例を使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。このサンプルは、Confluent の Apache Kafka Golang クライアントに基づいており、Kafka 用の Event Hubs に使用できるように変更されています。
Sarama kafka Go	このクイックスタートでは、Sarama Kafka クライアントライブラリを使用して Go で記述されたプロデューサーとコンシューマーの例を使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。
Kafka	このクイックスタートでは、Apache Kafka ディストリビューションにバンドルされている CLI を使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。
kcat	kcat は、JVM ではないコマンドラインコンシューマーおよびプロデューサーであり、librdkafka に基づいています。その速度と小さなフットプリントのために人気があります。このクイックスタートには、サンプル構成といくつかの簡単なサンプル kafkacat コマンドが含まれています。

DOCS 内のクイックスタート

このコンテンツセットの「クイックスタート: Kafka プロトコルを使用した Event Hubs によるデータストリーミング」を参照してください。Event Hubs にストリーム配信する手順が説明されています。プロデューサーとコンシューマーを使用して、アプリケーションの構成変更だけで Event Hubs と通信する方法を説明します。

チュートリアル

GitHub のチュートリアル

GitHub の次のチュートリアルを参照してください。

チュートリアル	説明
Akka	このチュートリアルでは、プロトコルクライアントを変更したり、独自のクラスターを実行したりせずに、Akka Streams を Kafka 対応 Event Hubs に接続する方法を示します。 Java および Scala プログラミング言語を使用する 2 つの個別のチュートリアルがあります。
のインスタンスに接続するときには、	このドキュメントでは、Kafka Connect を Azure Event Hubs と統合し、基本的な FileStreamSource および FileStreamSink コネクタをデプロイする方法について説明します。これらのコネクタは運用環境での使用を想定したものではありませんが、Azure Event Hubs が Kafka ブローカーとして偽装する Kafka Connect のシナリオをエンドツーエンドで示しています。
Filebeat	このドキュメントでは、Filebeat の Kafka の出力を介して Filebeat と Event Hubs を統合する手順について説明します。
Flink	このチュートリアルでは、プロトコルクライアントを変更したり、独自のクラスターを実行したりせずに、Apache Flink を Kafka 対応 Event Hubs に接続する方法を示します。
FluentD	このドキュメントでは、Fluentd 用の `out_kafka` 出力プラグインを使用して、Fluentd と Event Hubs を統合する方法について説明します。
相互運用	このチュートリアルでは、さまざまなプロトコルを使用してコンシューマーとプロデューサー間でイベントを交換する方法について説明します。
Logstash	このチュートリアルでは、Logstash Kafka の入力および出力プラグインを使用して、Logstash を Kafka 対応の Event Hubs と統合する方法について説明します。
MirrorMaker	このチュートリアルでは、イベントハブと Kafka MirrorMaker を使用し、Kafka 入力ストリームを Event Hubs サービスにミラーリングすることで Azure に Kafka の既存のパイプラインを統合する方法について説明します。
NiFi	このチュートリアルでは、Apache NiFi を Event Hubs 名前空間に接続する方法について説明します。
OAuth	クイックスタートでは、Go および Java プログラミング言語で記述されたサンプルのプロデューサーとコンシューマーを使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。
Confluent の Schema Registry	このチュートリアルでは、Schema Registry と Kafka 用の Event Hubs の統合について説明します。
Spark	このチュートリアルでは、プロトコルクライアントを変更したり、独自の Kafka クラスターを実行したりせずに、Spark アプリケーションを Event Hubs に接続する方法について説明します。

DOCS 内のチュートリアル

このコンテンツセットの「チュートリアル: Stream Analytics を使用して Event Hubs イベントの Apache Kafka を処理する」も参照してください。データを Event Hubs にストリーム配信して、Azure Stream Analytics で処理する方法が説明されています。

操作方法ガイド

Microsoft のドキュメントの次のハウツーガイドを参照してください。

[アーティクル]	説明
イベントハブ内の Kafka ブローカーをミラーリングする	Kafka MirrorMaker を使用してイベントハブ内の Kafka ブローカーをミラーリングする方法について説明します。
Apache Spark をイベントハブに接続する	リアルタイムストリーミングのために Spark アプリケーションを Event Hubs に接続する手順について説明します。
Apache Flink をイベントハブに接続する	プロトコルクライアントを変更したり、独自のクラスターを実行したりせずに、Apache Flink をイベントハブに接続する方法について説明します。
Apache Kafka Connect をイベントハブと統合する (プレビュー)	イベントハブに Kafka Connect を統合し、基本的な FileStreamSource および FileStreamSink コネクタをデプロイする手順について説明します。
Akka Streams をイベントハブに接続する	プロトコルクライアントを変更したり、独自のクラスターを実行したりせずに、Akka Streams をイベントハブに接続する方法について説明します。
Azure Event Hubs で Apache Kafka 用 Spring Boot Starter を使用する	Spring Boot Initializer を使用して作成された Java ベースの Spring Cloud Stream Binder を、Apache Kafka と Azure Event Hubs を使用するように構成する方法について説明します。

次のステップ

GitHub リポジトリ azure-event-hubs-for-kafka のクイックスタートおよびチュートリアルフォルダーの下にあるサンプルを確認します。

また、次の記事を参照してください。

次の方法で共有