Aracılığıyla paylaş

Eğitim: Apache Kafka uç noktasını kullanarak bir olay akışında Gerçek Zamanlı Zeka'dan gelen ve Gerçek Zamanlı Zeka'ya giden olayları akışa alma ve kullanma

Bu öğreticide, Microsoft Fabric olay akışlarının gelişmiş özelliklerinde özel bir uç nokta kaynağı tarafından sağlanan Apache Kafka uç noktasını kullanarak olayları Gerçek Zamanlı Zeka'ya akışla göndermeyi öğreneceksiniz. (Açık bir uç nokta, Fabric olay akışlarının standart özelliklerinde özel uygulama olarak adlandırılır.) Ayrıca bir olay akışının özel uç noktası hedefinden Apache Kafka uç noktasını kullanarak bu akış olaylarını nasıl tüketeceğinizi öğrenirsiniz.

Bu öğreticide şunları yaptınız:

  • Olay akışı oluşturma.
  • Kafka uç noktasını özel uç nokta kaynağından alın.
  • Kafka uygulamasıyla olay gönderme.
  • Kafka uç noktasını özel bir uç nokta kaynağından alın.
  • Kafka uygulamasıyla olayları tüket.

Önkoşullar

  • Olay akışınızın bulunduğu, Katılımcı veya daha yüksek izinlere sahip bir çalışma alanına erişin.
  • Bir Windows makinesi alın ve aşağıdaki bileşenleri yükleyin:

Microsoft Fabric'te olay akışı oluşturma

  1. Fabric portalına gidin.

  2. Sol gezinti çubuğunda Çalışma alanım'ı seçin.

  3. Çalışma alanım sayfasında, komut çubuğunda + Yeni öğe öğesini seçin.

  4. Yeni öğe sayfasında Eventstreamiçin arama yapın ve Eventstreamöğesini seçin.

    Eventstream öğesinin seçili olduğu Yeni öğe sayfasını gösteren ekran görüntüsü.

  5. Yeni Olay Akışı penceresinde olay akışı için bir ad girin ve ardından Oluşturöğesini seçin.

    Yeni Olay Akışı penceresini gösteren ekran görüntüsü.

  6. Çalışma alanınızda yeni olay akışının oluşturulması birkaç saniye sürebilir. Olay akışı oluşturulduktan sonra, olay akışına kaynak eklemeye başlayabileceğiniz ana düzenleyiciye yönlendirilirsiniz.

    Düzenleyiciyi gösteren ekran görüntüsü.

Eklenen özel uç nokta kaynağından Kafka uç noktasını alma

Kafka konu uç noktasını almak için olay akışınıza özel bir uç nokta kaynağı ekleyin. Kafka bağlantı uç noktası daha sonra hazır olarak kullanılabilir ve özel uç nokta kaynağında kullanıma sunulur.

Olay akışınıza özel uç nokta kaynağı eklemek için:

  1. Olay akışı giriş sayfanızda, olay akışı boşsa Özel uç nokta kullan'ı seçin.

    Özel uç nokta kullanma seçeneğinin seçilmesini gösteren ekran görüntüsü.

    Ya da şeritte Kaynak ekle>Özel uç nokta'yı seçin.

    Olay akışı için kaynak olarak özel uç nokta seçme işleminin ekran görüntüsü.

  2. Özel uç nokta için bir Kaynak adı değeri girin ve Ekle'yi seçin.

    Özel uç nokta adı girme işleminin ekran görüntüsü.

  3. Özel uç nokta kaynağının olay akışının tuvalinde düzenleme modunda görünüp görünmediğini denetleyin ve yayımla'yı seçin.

    Düzenleme modunda eklenen özel uç noktayı gösteren ekran görüntüsü.

  4. Olay akışını başarıyla yayımladıktan sonra Kafka uç noktasıyla ilgili bilgiler de dahil olmak üzere ayrıntılarını alabilirsiniz. Tuvalde özel uç nokta kaynağı kutucuğunu seçin. Ardından, özel uç nokta kaynak düğümünün alt bölmesinde Kafka sekmesini seçin.

    SAS Anahtarı Kimlik Doğrulaması sayfasında aşağıdaki önemli Kafka uç noktası bilgilerini alabilirsiniz:

    • bootstrap.servers={YOUR.BOOTSTRAP.SERVER}
    • security.protocol=SASL_SSL
    • sasl.mechanism=PLAIN
    • sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.CONNECTION.STRING}";

    {YOUR.BOOTSTRAP.SERVER} , SAS Anahtarı Kimlik Doğrulaması sayfasındaki Bootstrap sunucu değeridir. {YOUR.CONNECTION.STRING}Bağlantı dizesi-birincil anahtar değeri veya Bağlantı dizesi-ikincil anahtar değeri olabilir. Kullanmak için birini seçin.

    Kafka anahtarlarını ve örnek kodu gösteren ekran görüntüsü.

    SAS Anahtarı Kimlik Doğrulaması ve Örnek kod sayfaları hakkında daha fazla bilgi için Kafka uç noktası ayrıntılarına bakın.

Kafka uygulamasıyla olay gönderme

Önceki adımdan aldığınız önemli Kafka bilgileriyle, mevcut Kafka uygulamanızdaki bağlantı yapılandırmalarını değiştirebilirsiniz. Ardından olayları olay akışınıza gönderebilirsiniz.

Burada Kafka protokolüne uyularak Java dilinde yazılmış Azure Event Hubs SDK'sını temel alan bir uygulama yer alır. Etkinlikleri olay akışınıza aktarmak için bu uygulamayı kullanırken Kafka uç noktası bilgilerini değiştirmek ve doğru şekilde yürütmek için aşağıdaki adımları izleyin:

  1. Kafka için Azure Event Hubs deposunu kopyalayın.

  2. azure-event-hubs-for-kafka/quickstart/java/producer adresine gidin.

  3. src/main/resources/producer.config dosyasındaki üreticinin yapılandırma ayrıntılarını aşağıdaki gibi güncelleştirin:

    • bootstrap.servers={YOUR.BOOTSTRAP.SERVER}
    • security.protocol=SASL_SSL
    • sasl.mechanism=PLAIN
    • sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.CONNECTION.STRING}";

    {YOUR.BOOTSTRAP.SERVER} değerini Bootstrap sunucusu değeriyle değiştirin. {YOUR.CONNECTION.STRING} değerini ya Bağlantı dizesi-birincil anahtar değeri ya da Bağlantı dizesi-ikincil anahtar değeri ile değiştirin. Kullanmak için birini seçin.

  4. Konu adını yeni konu adıyla src/main/java/TestProducer.java aşağıdaki gibi güncelleyin: private final static String TOPIC = "{YOUR.TOPIC.NAME}";.

    Değeri {YOUR.TOPIC.NAME} sayfasında Kafka sekmesinin altında bulabilirsiniz.

  5. Üretici kodunu çalıştırın ve olayları olay akışına akışla aktarın:

    • mvn clean package
    • mvn exec:java -Dexec.mainClass="TestProducer"

    Üretici kodunu gösteren ekran görüntüsü.

  6. Bu Kafka uygulamasıyla gönderdiğiniz verilerin önizlemesini görüntüleme. Olay akışı adınızı görüntüleyen orta düğüm olan olay akışı düğümünü seçin.

    Üst bilgi olmadan sınırlayıcı virgül içeren veri biçimi CSV'sini seçin. Bu seçim, uygulamanın olay verilerini akışa aldığı biçimle eşleşir.

    Kafka veri önizlemesini gösteren ekran görüntüsü.

Eklenen özel uç nokta hedefinden Kafka uç noktasını alma

Olay akışınızdan olayları kullanmaya yönelik Kafka bağlantı uç noktası ayrıntılarını almak için özel uç nokta hedefi ekleyebilirsiniz. Hedefi ekledikten sonra, canlı görünümdeki hedefin Ayrıntılar bölmesinden bilgileri alabilirsiniz.

Temel sayfasından Tüketici grubu değerini alabilirsiniz. Kafka tüketici uygulamasını daha sonra yapılandırmak için bu değere ihtiyacınız vardır.

SAS Anahtarı Kimlik Doğrulaması sayfasından önemli Kafka uç noktası bilgilerini alabilirsiniz:

  • bootstrap.servers={YOUR.BOOTSTRAP.SERVER}
  • security.protocol=SASL_SSL
  • sasl.mechanism=PLAIN
  • sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.CONNECTION.STRING}";

{YOUR.BOOTSTRAP.SERVER} Bootstrap sunucu değeridir. {YOUR.CONNECTION.STRING}Bağlantı dizesi-birincil anahtar değeri veya Bağlantı dizesi-ikincil anahtar değeri olabilir. Kullanmak için birini seçin.

Kafka uygulamasıyla olayları kullanma

Artık olay akışınızdaki olayları kullanmak için Kafka için Azure Event Hubs deposunda başka bir uygulama kullanabilirsiniz. Olay akışınızdaki olayları kullanmak üzere bu uygulamayı kullanmak için Kafka uç noktası ayrıntılarını değiştirmek ve uygun şekilde çalıştırmak için şu adımları izleyin:

  1. Kafka için Azure Event Hubs deposunu kopyalayın.

  2. azure-event-hubs-for-kafka/quickstart/java/consumer adresine gidin.

  3. src/main/resources/consumer.config içindeki tüketicinin yapılandırma ayrıntılarını aşağıdaki gibi güncelleştirin:

    • bootstrap.servers={YOUR.BOOTSTRAP.SERVER}
    • group.id={YOUR.EVENTHUBS.CONSUMER.GROUP}
    • security.protocol=SASL_SSL
    • sasl.mechanism=PLAIN
    • sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString"
    • password="{YOUR.CONNECTION.STRING}";

    {YOUR.BOOTSTRAP.SERVER} ile Bootstrap sunucu değerini değiştirin. Özel uç nokta hedefinin Ayrıntılar bölmesindeki Temel sayfasından {YOUR.EVENTHUBS.CONSUMER.GROUP} değerini alabilirsiniz. Değeri, Bağlantı dizesi-birincil anahtar değeri veya Bağlantı dizesi-ikincil anahtar değeri ile değiştirin. Kullanmak için birini seçin.

  4. Konu adını src/main/java/TestConsumer.java sas anahtarı kimlik doğrulaması sayfasındaki yeni konu adıyla aşağıdaki gibi güncelleştirin: private final static String TOPIC = "{YOUR.TOPIC.NAME}";.

    Değeri {YOUR.TOPIC.NAME} sayfasında Kafka sekmesinin altında bulabilirsiniz.

  5. Tüketici kodunu çalıştırın ve olayları olay akışına aktarın.

    • mvn clean package
    • mvn exec:java -Dexec.mainClass="TestConsumer"

Olay akışınızda gelen olaylar varsa (örneğin, önceki üretici uygulamanız çalışmaya devam ediyorsa), tüketicinin artık olay akışı konunuzdan olaylar aldığını doğrulayın.

Kafka gelen olayların akışını gösteren ekran görüntüsü.

Varsayılan olarak, Kafka tüketicileri akışın başından değil sonundan okur. Kafka tüketicisi, siz tüketiciyi çalıştırmaya başlamadan önce kuyruğa alınan hiçbir olayı okumaz. Tüketicinizi başlatırsanız ancak herhangi bir olay almıyorsa, tüketiciniz yoklama yaparken üreticinizi çalıştırmayı yeniden deneyin.

Sonuç

Tebrikler. Olay akışınızdaki olayları akışa almak ve kullanmak için olay akışınızdan kullanıma sunulan Kafka uç noktasını kullanmayı öğrendiniz. Kafka konusunu gönderen veya kullanan bir uygulamanız zaten varsa, olay akışınızdaki olayları kod değişikliği yapmadan göndermek veya kullanmak için aynı uygulamayı kullanabilirsiniz. Bağlantının yapılandırma bilgilerini değiştirmeniz yeter.

  • Last updated on