Azure Stream Analytics çıkışları

Azure Stream Analytics işi giriş, sorgu ve çıktıdan oluşur. Dönüştürülmüş verileri çeşitli çıkış türlerine gönderebilirsiniz. Bu makalede desteklenen Stream Analytics çıkışları listelenmektedir. Stream Analytics sorgunuzu tasarlarken INTO yan tümcesini kullanarak çıktının adına bakın. Sorguya birden çok INTO deyimi ekleyerek bir işte tek bir çıktı veya bir akış işinde birden çok çıktı kullanabilirsiniz.

Stream Analytics iş çıkışlarını oluşturmak, düzenlemek ve test etmek için Azure portalını, Azure PowerShell'i, .NET API'sini, REST API'yi, Visual Studio'yu ve Visual Studio Code'u kullanabilirsiniz.

Uyarı

En iyi yerel geliştirme deneyimi için Visual Studio Code için Stream Analytics araçlarını kullanın. Visual Studio 2019 (sürüm 2.6.3000.0) için Stream Analytics araçları bilinen özellik boşluklarına sahiptir ve bundan sonra geliştirilmeyecektir.

Bazı çıkış türleri, aşağıdaki tabloda gösterildiği gibi bölümlendirmeyi destekler.

Tüm çıkışlar toplu işlemi destekler, ancak yalnızca bazıları çıktı toplu iş boyutunu açıkça ayarlamayı destekler. Daha fazla bilgi için çıkış yığın boyutları bölümüne bakın.

Çıkış türü	Partitioning	Security
Azure Veri Gezgini	Evet	Yönetimli Kimlik
Azure İşlevleri	Evet	Erişim anahtarı
Azure Synapse Analytics	Evet	SQL kullanıcı kimlik doğrulaması, Yönetilen Kimlik
Blob depolama ve Azure Data Lake 2. Nesil	Evet	Erişim anahtarı, Yönetilen Kimlik
Azure Cosmos DB	Evet	Erişim anahtarı, Yönetilen Kimlik
Azure Data Lake Storage Gen 2	Evet	Microsoft Entra kullanıcı yönetilen kimliği
Azure Event Hubs	Evet, çıkış yapılandırmasında bölüm anahtarı sütununu ayarlamanız gerekir.	Erişim anahtarı, Yönetilen Kimlik
Kafka (önizleme)	Evet, çıkış yapılandırmasında bölüm anahtarı sütununu ayarlamanız gerekir.	Erişim anahtarı, Yönetilen Kimlik
PostgreSQL için Azure Veritabanı	Evet	Kullanıcı adı ve parola kimlik doğrulaması
Power BI	Hayı	Microsoft Entra kullanıcısı, Yönetilen Kimlik
Azure Service Bus kuyrukları	Evet	Erişim anahtarı, Yönetilen Kimlik
Azure Service Bus konuları	Evet	Erişim anahtarı, Yönetilen Kimlik
Azure SQL Veritabanı	Evet, isteğe bağlı.	SQL kullanıcı kimlik doğrulaması, Yönetilen Kimlik
Azure Tablo Depolama	Evet	Hesap anahtarı

Önemli

Azure Stream Analytics, API'yi tasarıma göre ekle veya değiştir'i kullanır. Bu işlem var olan bir varlığın yerini alır veya tabloda yoksa yeni bir varlık ekler.

Partitioning

Stream Analytics, Power BI dışındaki tüm çıkışlar için bölümleri destekler. Bölüm anahtarları ve çıkış yazıcılarının sayısı hakkında daha fazla bilgi için ilgilendiğiniz belirli çıkış türüne ilişkin makaleye bakın. Çıkış türlerine yönelik makaleler önceki bölümde bağlantılıdır.

Bölümleri daha gelişmiş bir şekilde ayarlamak için, sorgunuzda bir INTO <partition count> (INTO) yan tümcesi kullanarak çıktı yazıcılarının sayısını denetleyebilirsiniz. Bu denetim, istediğiniz iş topolojisine ulaşmanıza yardımcı olabilir. Çıkış bağdaştırıcınız bölümlenmemişse, bir giriş bölümündeki veri eksikliği geç varış süresine kadar gecikmeye neden olur. Bu gibi durumlarda, çıkış tek bir yazara birleştirilir ve bu, hattınızda tıkanıklıklara neden olabilir. Geç varış ilkesi hakkında daha fazla bilgi edinmek için bkz. Azure Stream Analytics olay sırasıyla ilgili dikkat edilmesi gerekenler.

Çıktı toplu işleme boyutu

Tüm çıkışlar toplu işlemi destekler, ancak yalnızca bazıları toplu iş boyutunu açıkça ayarlamayı destekler. Azure Stream Analytics, olayları işlemek ve çıkışlara yazmak için değişken boyutlu toplu işlemler kullanır. Stream Analytics altyapısı genellikle tek seferde tek bir ileti yazmaz ve verimlilik için toplu işlemler kullanır. Hem gelen hem de giden olayların oranı yüksek olduğunda Stream Analytics daha büyük toplu işlemler kullanır. Çıkış oranı düşük olduğunda gecikme süresini düşük tutmak için daha küçük toplu işlemler kullanır.

Avro ve Parquet dosyalarını bölme davranışı

Stream Analytics sorgusu, belirli bir çıkış için birden çok şema oluşturabilir. Yansıtılan sütunların listesi ve türleri satır satır değişebilir. Tasarım gereği Avro ve Parquet biçimleri tek bir dosyadaki değişken şemaları desteklemez.

Değişken şemaları olan bir akışı bu biçimler kullanılarak bir çıkışa yönlendirirken aşağıdaki davranışlar oluşabilir:

• Şema değişikliği algılanabilirse, geçerli çıkış dosyası kapatılır ve yeni şemada yeni bir tane başlatılır. Şema değişiklikleri sık sık gerçekleştiğinde dosyaların bu şekilde bölünmesi çıkışı ciddi ölçüde yavaşlatır. Bu davranış, işin genel performansını ciddi şekilde etkileyebilir.
• Eğer şema değişikliği algılanamazsa, satır büyük olasılıkla reddedilir ve satır çıktı alınamadığı için iş durur. İç içe sütunlar veya çok türlü diziler, bulunup reddedilmeyen durumlardır.

Avro veya Parquet formatında, yazarken şemayı veya tipleri güçlü bir şekilde uygulamayı, ayrıca tek bir şema için açık dönüşüm ve projeksiyonlar kullanarak bunları hedef alan sorgular yazmayı düşünün.

Birden çok şema oluşturmanız gerekiyorsa, yan WHERE tümcesi kullanarak birden çok çıkış oluşturmayı ve kayıtları her hedefe bölmeyi göz önünde bulundurun.

Parquet çıktı toplu işlem penceresi özellikleri

Azure Resource Manager şablon dağıtımını veya REST API'sini kullandığınızda, iki toplu işlem penceresi özelliği ayarlarsınız:

1. timeWindow

   Birim başına en uzun bekleme süresi. değeri bir dize olarak Timespan ayarlayın. Örneğin, 00:02:00 iki dakika kullanın. Bu süreden sonra, asgari satır gereksinimi karşılanmasa bile veri grubu çıktıya yazılır. Varsayılan değer bir dakikadır ve izin verilen maksimum değer iki saattir. Blob çıkışınızda yol deseni belirli aralıklarla tekrarlıyorsa, bekleme süresi bölümleme zaman aralığından yüksek olamaz.

2. sizeWindow

   İşlem başına minimum satır sayısı. Parquet için her toplu iş yeni bir dosya oluşturur. Geçerli varsayılan değer 2.000 satırdır ve izin verilen en fazla 10.000 satırdır.

API sürüm 2017-04-01-preview veya üzeri bu toplu işlem penceresi özelliklerini destekler. Rest API çağrısı için JSON yükü örneği aşağıda verilmiştir:

"type": "stream",
      "serialization": {
        "type": "Parquet",
        "properties": {}
      },
      "timeWindow": "00:02:00",
      "sizeWindow": "2000",
      "datasource": {
        "type": "Microsoft.Storage/Blob",
        "properties": {
          "storageAccounts" : [
          {
            "accountName": "{accountName}",
            "accountKey": "{accountKey}",
          }
          ],

Sonraki Adımlar

Hızlı Başlangıç: Azure portalını kullanarak Stream Analytics işi oluşturma