Azure'da akış işleme teknolojisi seçme
Bu makalede, Azure'da gerçek zamanlı akış işlemeye yönelik teknoloji seçenekleri karşılaştırır.
Gerçek zamanlı akış işleme kuyruk veya dosya tabanlı depolamadan gelen iletileri kullanır, iletileri işler ve sonucu başka bir ileti kuyruğuna, dosya deposuna veya veritabanına iletir. İşleme, iletileri sorgulamayı, filtrelemeyi ve toplamayı içerebilir. Akış işleme altyapılarının sonsuz veri akışlarını kullanabilmesi ve minimum gecikme süresiyle sonuç üretmesi gerekir. Daha fazla bilgi için bkz . Gerçek zamanlı işleme.
Gerçek zamanlı işleme için bir teknoloji seçerken seçenekleriniz nelerdir?
Azure'da, aşağıdaki veri depolarının tümü gerçek zamanlı işlemeyi destekleyen temel gereksinimleri karşılayacaktır:
- Azure Stream Analytics
- Spark Akışı ile HDInsight
- Azure Databricks'te Apache Spark
- Azure Functions
- Azure App Service Web İşleri
- Apache Kafka akışlar API'si
Anahtar Seçim Ölçütleri
Gerçek zamanlı işleme senaryoları için şu soruları yanıtlayarak ihtiyaçlarınıza uygun hizmeti seçmeye başlayın:
Akış işleme mantığı yazma konusunda bildirim temelli veya kesinlik temelli bir yaklaşım mı tercih ediyorsunuz?
Geçici işleme veya pencereleme için yerleşik desteğe mi ihtiyacınız var?
Verileriniz Avro, JSON veya CSV dışında biçimlerde mi geliyor? Evet ise, özel kod kullanarak herhangi bir biçimi destekleyen seçenekleri göz önünde bulundurun.
İşlemlerinizi 1 GBps'nin ötesine ölçeklendirmeniz gerekiyor mu? Evet ise, küme boyutuyla ölçeklendirilen seçenekleri göz önünde bulundurun.
Yetenek matrisi
Aşağıdaki tablolarda, özelliklerdeki temel farklar özetlemektedir.
Genel özellikler
Özellik | Azure Stream Analytics | Spark Akışı ile HDInsight | Azure Databricks’te Apache Spark | Azure İşlevleri | Azure App Service Web İşleri |
---|---|---|---|---|---|
Programlanabilirlik | SQL, JavaScript | C#/F#, Java, Python, Scala | C#/F#, Java, Python, R, Scala | C#, F#, Java, Node.js, Python | C#, Java, Node.js, PHP, Python |
Programlama paradigması | Bildirim temelli | Bildirim temelli ve kesinlik temelli karışımı | Bildirim temelli ve kesinlik temelli karışımı | Kesinlik temelli | Kesinlik temelli |
Fiyatlandırma modeli | Akış birimleri | Dakika başına düğüm maliyeti | Databricks birimleri | İşlev yürütme ve kaynak tüketimi başına | App Service plan saati başına |
Tümleştirme özellikleri
Özellik | Azure Stream Analytics | Spark Akışı ile HDInsight | Azure Databricks’te Apache Spark | Azure İşlevleri | Azure App Service Web İşleri |
---|---|---|---|---|---|
Girişler | Azure Event Hubs, Azure IoT Hub, Azure Blob depolama/Data Lake Storage 2. Nesil | Event Hubs, IoT Hub, Kafka, HDFS, Depolama Blobları, Azure Data Lake Store | Event Hubs, IoT Hub, Kafka, HDFS, Depolama Blobları, Azure Data Lake Store | Desteklenen bağlamalar | Service Bus, Depolama Kuyrukları, Depolama Blobları, Event Hubs, Web Kancaları, Azure Cosmos DB, Dosyalar |
Lavabo | Azure Data Lake Storage 1. Nesil, Azure Veri Gezgini, PostgreSQL için Azure Veritabanı, Azure SQL Veritabanı, Azure Synapse Analytics, Blob depolama ve Azure Data Lake 2. Nesil, Azure Event Hubs, Power BI, Azure Tablo depolama, Azure Service Bus kuyrukları, Azure Service Bus konuları, Azure Cosmos DB, Azure İşlevleri | HDFS, Kafka, Depolama Blobları, Azure Data Lake Store, Azure Cosmos DB | HDFS, Kafka, Depolama Blobları, Azure Data Lake Store, Azure Cosmos DB | Desteklenen bağlamalar | Service Bus, Depolama Kuyrukları, Depolama Blobları, Event Hubs, Web Kancaları, Azure Cosmos DB, Dosyalar |
İşleme özellikleri
Özellik | Azure Stream Analytics | Spark Akışı ile HDInsight | Azure Databricks’te Apache Spark | Azure İşlevleri | Azure App Service Web İşleri |
---|---|---|---|---|---|
Yerleşik zamana bağlı/pencereleme desteği | Yes | Evet | Evet | Hayır | Hayır |
Giriş veri biçimleri | Avro, JSON veya CSV, UTF-8 kodlanmış | Özel kod kullanan herhangi bir biçim | Özel kod kullanan herhangi bir biçim Özel kod kullanan herhangi bir biçim | Özel kod kullanan herhangi bir biçim | |
Ölçeklenebilirlik | Sorgu bölümleri | Küme boyutuna göre sınırlanmış | Databricks küme ölçek yapılandırmasıyla sınırlandı | Paralel olarak işleyen en fazla 200 işlev uygulaması örneği | App Service planı kapasitesiyle sınırlandı |
Geç varış ve sipariş dışı olay işleme desteği | Yes | Evet | Evet | Hayır | Hayır |
Katkıda Bulunanlar
Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.
Asıl yazar:
- Zoiner Tejada | CEO ve Mimar
Sonraki adımlar
- App Service’e genel bakış
- Azure İşlevleri keşfedin
- Azure Stream Analytics'i kullanmaya başlama
- Gelişmiş akış veri dönüştürmeleri gerçekleştirme
- HDInsight'ta kümeleri ayarlama
- Azure Databricks'te Apache Spark kullanma