Použití Apache Flink se službou Azure Event Hubs pro Apache Kafka

  • Článek

V tomto kurzu se dozvíte, jak připojit Apache Flink k centru událostí beze změny klientů protokolu nebo spuštění vlastních clusterů. Další informace o podpoře služby Event Hubs pro protokol příjemce Apache Kafka najdete v tématu Event Hubs pro Apache Kafka.

V tomto kurzu se naučíte:

  • Vytvoření oboru názvů služby Event Hubs
  • Naklonování ukázkového projektu
  • Spuštění producenta Flink
  • Spuštění příjemce Flink

Poznámka

Tato ukázka je k dispozici na GitHubu.

Požadavky

K dokončení tohoto kurzu se ujistěte, že máte následující požadavky:

  • Přečtěte si článek Event Hubs pro Apache Kafka.
  • Předplatné Azure. Pokud ho nemáte, než začnete, vytvořte si bezplatný účet.
  • Java Development Kit (JDK) 1.7 nebo novější
    • Na Ubuntu nainstalujte sadu JDK spuštěním příkazu apt-get install default-jdk.
    • Nezapomeňte nastavit proměnnou prostředí JAVA_HOME tak, aby odkazovala na složku, ve které je sada JDK nainstalovaná.
  • Stažení a instalace binárního archivu Mavenu
    • Na Ubuntu můžete Maven nainstalovat spuštěním příkazu apt-get install maven.
  • Git
    • Na Ubuntu můžete Git nainstalovat spuštěním příkazu sudo apt-get install git.

Vytvoření oboru názvů služby Event Hubs

K odesílání nebo příjmu z jakékoli služby Event Hubs se vyžaduje obor názvů služby Event Hubs. Pokyny k vytvoření oboru názvů a centra událostí najdete v tématu Vytvoření centra událostí . Nezapomeňte zkopírovat připojovací řetězec služby Event Hubs pro pozdější použití.

Naklonování ukázkového projektu

Teď, když máte připojovací řetězec služby Event Hubs, naklonujte Azure Event Hubs pro úložiště Kafka a přejděte do podsložkyflink:

git clone https://github.com/Azure/azure-event-hubs-for-kafka.git
cd azure-event-hubs-for-kafka/tutorials/flink

Pomocí zadaného příkladu producenta Flink odešlete zprávy do služby Event Hubs.

Poskytnutí koncového bodu Event Hubs Kafka

producer.config

bootstrap.servers Aktualizujte hodnoty a sasl.jaas.config v souboru producer/src/main/resources/producer.config a nasměrujte producenta na koncový bod Event Hubs Kafka se správným ověřováním.

bootstrap.servers={YOUR.EVENTHUBS.FQDN}:9093
client.id=FlinkExampleProducer
sasl.mechanism=PLAIN
security.protocol=SASL_SSL
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required \
   username="$ConnectionString" \
   password="{YOUR.EVENTHUBS.CONNECTION.STRING}";

Důležité

Nahraďte {YOUR.EVENTHUBS.CONNECTION.STRING} připojovacím řetězcem pro obor názvů služby Event Hubs. Pokyny k získání připojovacího řetězce najdete v tématu Získání připojovacího řetězce služby Event Hubs. Tady je příklad konfigurace: sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="Endpoint=sb://mynamespace.servicebus.windows.net/;SharedAccessKeyName=RootManageSharedAccessKey;SharedAccessKey=XXXXXXXXXXXXXXXX";

Spuštění producenta z příkazového řádku

Pokud chcete spustit producenta z příkazového řádku, vygenerujte soubor JAR a spusťte ho z Mavenu (nebo ho vygenerujte pomocí Mavenu a pak spusťte v Javě přidáním potřebných jar kafka do cesty ke třídě):

mvn clean package
mvn exec:java -Dexec.mainClass="FlinkTestProducer"

Producent teď začne odesílat události do centra událostí v tématu test a tisknout události do stdout.

Pomocí uvedeného příkladu příjemce můžete přijímat zprávy z centra událostí.

Poskytnutí koncového bodu Event Hubs Kafka

consumer.config

bootstrap.servers Aktualizujte hodnoty a sasl.jaas.config v souboru consumer/src/main/resources/consumer.config a nasměrujte příjemce na koncový bod Event Hubs Kafka se správným ověřováním.

bootstrap.servers={YOUR.EVENTHUBS.FQDN}:9093
group.id=FlinkExampleConsumer
sasl.mechanism=PLAIN
security.protocol=SASL_SSL
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required \
   username="$ConnectionString" \
   password="{YOUR.EVENTHUBS.CONNECTION.STRING}";

Důležité

Nahraďte {YOUR.EVENTHUBS.CONNECTION.STRING} připojovacím řetězcem pro obor názvů služby Event Hubs. Pokyny k získání připojovacího řetězce najdete v tématu Získání připojovacího řetězce služby Event Hubs. Tady je příklad konfigurace: sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="Endpoint=sb://mynamespace.servicebus.windows.net/;SharedAccessKeyName=RootManageSharedAccessKey;SharedAccessKey=XXXXXXXXXXXXXXXX";

Spuštění příjemce z příkazového řádku

Pokud chcete spustit příjemce z příkazového řádku, vygenerujte soubor JAR a spusťte ho z Mavenu (nebo ho vygenerujte pomocí Mavenu a pak spusťte v Javě přidáním potřebných jar Kafka do cesty ke třídě):

mvn clean package
mvn exec:java -Dexec.mainClass="FlinkTestConsumer"

Pokud má centrum událostí události (například pokud je spuštěný i váš producent), příjemce teď začne přijímat události z tématu test.

Podrobnější informace o připojení Flinku ke službě Kafka najdete v průvodci konektory Flink Kafka .

Další kroky

Další informace o službě Event Hubs pro Kafka najdete v následujících článcích: