Azure Event Hubs のための Apache Kafka 開発者ガイド

  • [アーティクル]

この記事では、Apache Kafka アプリケーションを Azure Event Hubs と統合する方法を説明している記事のリンクを紹介します。

概要

Event Hubs は、独自の Kafka クラスターを実行する代わりに、既存の Kafka ベースのアプリケーションが使用できる Kafka エンドポイントを提供します。 Event Hubs は、既存の Kafka アプリケーションの多くで動作します。 詳細については、Apache Kafka 用の Event Hubs に関するページを参照してください

クイックスタート

GitHub とこのコンテンツ セットには、Kafka 用の Event Hubs をすぐに把握できるクイックスタートがあります。

GitHub のクイックスタート

azure-event-hubs-for-kafka リポジトリの次のクイックスタートを参照してください。

クライアント言語またはフレームワーク 説明
.NET

このクイックスタートでは、.NET Core 2.0 を使用して C# で記述されたプロデューサーとコンシューマーの例を使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。

このサンプルは、Confluent の Apache Kafka .NET クライアントに基づいており、Kafka 用の Event Hubs に使用できるように変更されています。
Java このクイックスタートでは、Java で記述されたプロデューサーとコンシューマーの例を使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。
Node.js

このクイックスタートでは、Node で記述されたプロデューサーとコンシューマーの例を使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。

このサンプルでは、node-rdkafka ライブラリを使用しています。

Python

このクイックスタートでは、Python で記述されたプロデューサーとコンシューマーの例を使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。

このサンプルは、Confluent の Apache Kafka Python クライアントに基づいており、Kafka 用の Event Hubs に使用できるように変更されています。
Go

このクイックスタートでは、Go で記述されたプロデューサーとコンシューマーの例を使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。

このサンプルは、Confluent の Apache Kafka Golang クライアントに基づいており、Kafka 用の Event Hubs に使用できるように変更されています。
Sarama kafka Go このクイックスタートでは、Sarama Kafka クライアント ライブラリを使用して Go で記述されたプロデューサーとコンシューマーの例を使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。
Kafka このクイックスタートでは、Apache Kafka ディストリビューションにバンドルされている CLI を使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。
kafkacat kafkacat は、JVM ではないコマンドライン コンシューマーおよびプロデューサーであり、librdkafka に基づいています。その速度と小さなフットプリントから人気があります。 このクイックスタートには、サンプル構成といくつかの簡単なサンプル kafkacat コマンドが含まれています。

DOCS 内のクイックスタート

このコンテンツ セットの「クイックスタート: Kafka プロトコルを使用した Event Hubs によるデータ ストリーミング」を参照してください。Event Hubs にストリーム配信する手順が説明されています。 プロデューサーとコンシューマーを使用して、アプリケーションの構成変更だけで Event Hubs と通信する方法を説明します。

チュートリアル

GitHub のチュートリアル

GitHub の次のチュートリアルを参照してください。

チュートリアル 説明
Akka このチュートリアルでは、プロトコル クライアントを変更したり、独自のクラスターを実行したりせずに、Akka Streams を Kafka 対応 Event Hubs に接続する方法を示します。 Java および Scala プログラミング言語を使用する 2 つの個別のチュートリアルがあります。
のインスタンスに接続するときには、 このドキュメントでは、Kafka Connect を Azure Event Hubs と統合し、基本的な FileStreamSource および FileStreamSink コネクタをデプロイする方法について説明します。 これらのコネクタは運用環境での使用を想定したものではありませんが、Azure Event Hubs が Kafka ブローカーとして偽装する Kafka Connect のシナリオをエンド ツー エンドで示しています。
Filebeat このドキュメントでは、Filebeat の Kafka の出力を介して Filebeat と Event Hubs を統合する手順について説明します。
Flink このチュートリアルでは、プロトコル クライアントを変更したり、独自のクラスターを実行したりせずに、Apache Flink を Kafka 対応 Event Hubs に接続する方法を示します。
FluentD このドキュメントでは、Fluentd 用の out_kafka 出力プラグインを使用して、Fluentd と Event Hubs を統合する方法について説明します。
相互運用 このチュートリアルでは、さまざまなプロトコルを使用してコンシューマーとプロデューサー間でイベントを交換する方法について説明します。
Logstash このチュートリアルでは、Logstash Kafka の入力および出力プラグインを使用して、Logstash を Kafka 対応の Event Hubs と統合する方法について説明します。
MirrorMaker このチュートリアルでは、イベント ハブと Kafka MirrorMaker を使用し、Kafka 入力ストリームを Event Hubs サービスにミラーリングすることで Azure に Kafka の既存のパイプラインを統合する方法について説明します。
NiFi このチュートリアルでは、Apache NiFi を Event Hubs 名前空間に接続する方法について説明します。
OAuth クイックスタートでは、Go および Java プログラミング言語で記述されたサンプルのプロデューサーとコンシューマーを使用して、Event Hubs Kafka エンドポイントを作成して接続する方法について説明します。
Confluent の Schema Registry このチュートリアルでは、Schema Registry と Kafka 用の Event Hubs の統合について説明します。
Spark このチュートリアルでは、プロトコル クライアントを変更したり、独自の Kafka クラスターを実行したりせずに、Spark アプリケーションを Event Hubs に接続する方法について説明します。

DOCS 内のチュートリアル

このコンテンツ セットの「チュートリアル: Stream Analytics を使用して Event Hubs イベントの Apache Kafka を処理する」も参照してください。データを Event Hubs にストリーム配信して、Azure Stream Analytics で処理する方法が説明されています。

操作方法ガイド

Microsoft のドキュメントの次のハウツー ガイドを参照してください。

[アーティクル] 説明
イベント ハブ内の Kafka ブローカーをミラーリングする Kafka MirrorMaker を使用してイベント ハブ内の Kafka ブローカーをミラーリングする方法について説明します。
Apache Spark をイベント ハブに接続する リアルタイム ストリーミングのために Spark アプリケーションを Event Hubs に接続する手順について説明します。
Apache Flink をイベント ハブに接続する プロトコル クライアントを変更したり、独自のクラスターを実行したりせずに、Apache Flink をイベント ハブに接続する方法について説明します。
Apache Kafka Connect をイベント ハブと統合する (プレビュー) イベント ハブに Kafka Connect を統合し、基本的な FileStreamSource および FileStreamSink コネクタをデプロイする手順について説明します。
Akka Streams をイベント ハブに接続する プロトコル クライアントを変更したり、独自のクラスターを実行したりせずに、Akka Streams をイベント ハブに接続する方法について説明します。
Azure Event Hubs で Apache Kafka 用 Spring Boot Starter を使用する Spring Boot Initializer を使用して作成された Java ベースの Spring Cloud Stream Binder を、Apache Kafka と Azure Event Hubs を使用するように構成する方法について説明します。

次のステップ

GitHub リポジトリ azure-event-hubs-for-kafka のクイックスタートおよびチュートリアル フォルダーの下にあるサンプルを確認します。

また、次の記事を参照してください。