Azure Event Hubs – Yerel Apache Kafka desteğine sahip gerçek zamanlı bir veri akışı platformu
Azure Event Hubs, herhangi bir kaynaktan herhangi bir hedefe düşük gecikme süresiyle saniyede milyonlarca olay akışı sağlayan bulutta yerel bir veri akışı hizmetidir. Event Hubs Apache Kafka ile uyumludur ve mevcut Kafka iş yüklerini kod değişikliği yapmadan çalıştırmanıza olanak tanır.
Akış verilerini almak ve depolamak için Event Hubs'ı kullanan işletmeler değerli içgörüler elde etmek, gerçek zamanlı analizler yapmak ve olaylara olduğu gibi yanıt vermek için akış verilerinin gücünden yararlanarak genel verimliliği ve müşteri deneyimini geliştirebilir.
Azure Event Hubs, Azure üzerinde oluşturduğunuz herhangi bir olay akışı çözümünün tercih edilen olay alımı katmanıdır. Aşağıdaki kullanım örneklerine hizmet vermek üzere eksiksiz veri akışı işlem hattınızı oluşturmak için Azure içindeki ve dışındaki veri ve analiz hizmetleriyle sorunsuz bir şekilde tümleştirilir.
- Akış verilerinden gerçek zamanlı içgörüler oluşturmak için Azure Stream Analytics ile gerçek zamanlı analiz.
- Azure Veri Gezgini ile akış verilerini analiz edin ve keşfedin.
- Event Hubs'dan akış verileri üzerinde çalışan kendi buluta özel uygulamalarınızı, işlevlerinizi veya mikro hizmetlerinizi oluşturun.
- Akış verilerinin kalitesini ve uyumluluğunu sağlamak için yerleşik şema kayıt defterini kullanarak şema doğrulamasıyla olayları akışla aktarın.
Önemli özellikler
Azure Event Hubs üzerinde Apache Kafka
Azure Event Hubs, AMQP, Apache Kafka ve HTTPs protokollerini yerel olarak destekleyen çok protokollü bir olay akış altyapısıdır. Apache Kafka'yı desteklediğinden, kod değişikliği yapmadan Kafka iş yüklerini Azure Event Hubs'a getirirsiniz. Kendi Kafka kümelerinizi ayarlamanız, yapılandırmanız ve yönetmeniz veya Azure'da yerel olmayan bir Hizmet olarak Kafka teklifi kullanmanız gerekmez.
Event Hubs sıfırdan buluta özel aracı altyapısı olarak oluşturulur. Bu nedenle Kafka iş yüklerini daha iyi performans, daha iyi maliyet verimliliği ve operasyonel ek yük olmadan çalıştırabilirsiniz.
Daha fazla bilgi için bkz . Apache Kafka için Azure Event Hubs.
Azure Event Hubs'da Şema Kayıt Defteri
Event Hubs'daki Azure Schema Registry, olay akış uygulamalarının şemalarını yönetmek için merkezi bir depo sağlar. Azure Schema Registry her Event Hubs ad alanıyla birlikte ücretsiz olarak sunulur ve Kafka uygulamalarınızla veya Event Hubs SDK tabanlı uygulamalarınızla sorunsuz bir şekilde tümleştirilir.
Olay üreticileri ve tüketicileri arasında veri uyumluluğu ve tutarlılığı sağlar. Schema Registry sorunsuz şema evrimi, doğrulaması ve idaresi sağlar ve verimli veri değişimini ve birlikte çalışabilirliği destekler.
Schema Registry, mevcut Kafka uygulamalarınızla sorunsuz bir şekilde tümleştirilir ve Avro ve JSON Şemaları gibi birden çok şema biçimlerini destekler.
Daha fazla bilgi için bkz . Event Hubs'da Azure Schema Registry.
Azure Stream Analytics ile akış olaylarının gerçek zamanlı işlenmesi
Event Hubs, gerçek zamanlı akış işlemeyi etkinleştirmek için Azure Stream Analytics ile sorunsuz bir şekilde tümleşir. Yerleşik kod içermeyen düzenleyici ile, hiçbir kod yazmadan sürükleyip bırakma işlevini kullanarak zahmetsizce bir Stream Analytics işi geliştirebilirsiniz.
Alternatif olarak, geliştiriciler gerçek zamanlı akış işleme gerçekleştirmek ve akış verilerini analiz etmek için çok çeşitli işlevlerden yararlanmak için SQL tabanlı Stream Analytics sorgu dilini kullanabilir.
Daha fazla bilgi için içindekiler tablosunun Azure Stream Analytics tümleştirmesi bölümündeki makalelere bakın.
Azure Veri Gezgini ile akış verilerini keşfetme
Azure Veri Gezgini, yüksek performans sunan ve büyük hacimli verilerin neredeyse gerçek zamanlı olarak analiz edilmesini sağlayan tam olarak yönetilen bir büyük veri analizi platformudur. Event Hubs'ı Azure Veri Gezgini ile tümleştirerek neredeyse gerçek zamanlı analiz ve akış verilerini keşfetme işlemlerini kolayca gerçekleştirebilirsiniz.
Daha fazla bilgi için bkz. Bir olay hub'ından Azure Veri Gezgini veri alma ve aynı bölümdeki makaleler.
Zengin ekosistem– Azure işlevleri, SDK'lar ve Kafka ekosistemi
Eyleme dönüştürülebilir içgörüler elde etmek için akışınızı gerçek zamanlı olarak ekleyin, arabelleğe alın, depolayın ve işleyin. Event Hubs, birden çok uygulamanın akışı eşzamanlı olarak işlemesini ve işleme hızını denetlemenizi sağlayan bölümlenmiş bir tüketici modeli kullanır. Azure Event Hubs, sunucusuz mimariler için Azure İşlevleri ile de tümleşir.
Endüstri standardı AMQP 1.0 protokolü ve .NET, Java, Python, JavaScript gibi çeşitli dillerde kullanılabilen SDK'lar için geniş bir ekosistemle akışlarınızı Event Hubs'dan kolayca işlemeye başlayabilirsiniz. Desteklenen tüm istemci dilleri, düşük düzeyde tümleştirme sağlar.
Ekosistem ayrıca sorunsuz tümleştirme Azure İşlevleri, Azure Spring Apps, Kafka Bağlan ors ve Apache Spark ve Apache Flink gibi diğer veri analizi platformları ve teknolojileri sağlar.
Esnek ve uygun maliyetli olay akışı
Event Hubs'ın Standart, Premium ve Ayrılmış dahil olmak üzere çeşitli katman seçenekleri aracılığıyla esnek ve uygun maliyetli olay akışı deneyimi yaşayabilirsiniz. Bu seçenekler, birkaç MB/sn ile birkaç GB/sn arasında değişen veri akışı gereksinimlerini karşılar ve gereksinimleriniz için mükemmel eşleşmeyi seçmenize olanak sağlar.
Ölçeklenebilir
Event Hubs ile megabayt boyutunda veri akışlarıyla başlayıp gigabayt veya terabayt boyutlarına ulaşabilirsiniz. Otomatik şişir özelliği, kullanım gereksinimlerinizi karşılayacak aktarım hızı birimi veya işleme birimi sayısını ölçeklendirmek için kullanılabilen birçok seçenek arasında yer alır.
Uzun süreli saklama ve toplu analiz için akış verilerini yakalama
Uzun süreli saklama veya mikro toplu işlem için azure blob depolama veya Azure Data Lake Depolama verilerinizi neredeyse gerçek zamanlı olarak yakalayın. Bu davranışı gerçek zamanlı analiz türetmek için kullandığınız akışta gerçekleştirebilirsiniz. Olay verilerinin yakalanması hızlı bir şekilde ayarlanır.
Nasıl çalışır
Event Hubs, olay üreticilerini olay tüketicilerinden ayırarak zaman saklama arabelleğine sahip birleşik bir olay akış platformu sağlar. Üreticiler ve tüketici uygulamaları birden çok protokol aracılığıyla büyük ölçekli veri alımı gerçekleştirebilir.
Aşağıdaki şekilde Event Hubs mimarisinin temel bileşenleri gösterilmektedir:
Event Hubs'ın temel işlevsel bileşenleri şunlardır:
- Üretici uygulamaları Event Hubs SDK'larını veya herhangi bir Kafka üretici istemcisini kullanarak bir olay hub'ına veri alabilir.
- Ad alanı , bir veya daha fazla olay hub'ı veya Kafka konusu için yönetim kapsayıcısıdır. Akış kapasitesini ayırma, ağ güvenliğini yapılandırma, Coğrafi Olağanüstü Durum kurtarmayı etkinleştirme vb. gibi yönetim görevleri ad alanı düzeyinde işlenir.
- Olay Hub'ı/Kafka konusu: Event Hubs'da olayları bir olay hub'ında veya Kafka konusunda düzenleyebilirsiniz. Yalnızca bir veya daha fazla bölümden oluşabilen bir ekleme dağıtılmış günlüğü.
- Bölümler bir olay hub'ına ölçeklendirmek için kullanılır. Otobandaki şeritler gibiler. Daha fazla akış aktarım hızına ihtiyacınız varsa, daha fazla bölüm eklemeniz gerekir.
- Tüketici uygulamaları , olay günlüğü aracılığıyla arama yaparak ve tüketici uzaklığını koruyarak verileri tüketir. Tüketiciler Kafka tüketici istemcileri veya Event Hubs SDK istemcileri olabilir.
- Tüketici Grubu , bir olay hub'ı/Kafka konusundan verileri okuyan mantıksal bir tüketici örnekleri grubudur. Birden çok tüketicinin bir olay hub'ında aynı akış verilerini kendi hızlarında ve kendi uzaklıklarıyla bağımsız olarak okumasına olanak tanır.
Sonraki adımlar
Event Hubs'ı kullanmaya başlamak için aşağıdaki hızlı başlangıç kılavuzlarına bakın.
Event Hubs SDK'sı (AMQP) kullanarak veri akışı
SDK'ları kullanarak Event Hubs'a veri akışı yapmak için aşağıdaki örneklerden herhangi birini kullanabilirsiniz.
- .NET Core
- Java
- Spring
- Python
- JavaScript
- Git
- C (yalnızca gönder)
- Apache Storm (yalnızca alma)
Apache Kafka kullanarak veri akışı
Kafka uygulamalarınızdan Event Hubs'a veri akışı yapmak için aşağıdaki örnekleri kullanabilirsiniz.
Şema Kayıt Defteri ile şema doğrulama
Olay akış uygulamalarınız için şema doğrulaması gerçekleştirmek için Event Hubs Şema Kayıt Defteri'ni kullanabilirsiniz.