Azure IoT İşlemlerinde veri akışı hedefi yapılandırma

Hedef, bir veri akışının veya veri akışı grafiğinin işlenen verileri gönderdiği yerdir. Uç nokta başvurusu ve veri hedefi (konu, kapsayıcı veya tablo) belirterek hedefi yapılandırırsınız.

Bu sayfa hem veri akışları hem de veri akışı grafikleri için geçerlidir. Veri akışlarında, hedef Dataflow kaynağındaki bir işlemdir. Veri akışı grafları için hedef, kaynaktaki Destination bir DataflowGraph düğümdür.

Önemli

Veri akışları tüm uç nokta türlerini hedef olarak destekler: MQTT, Kafka, Azure Data Lake Storage, Microsoft Fabric OneLake, Azure Veri Gezgini, OpenTelemetry ve yerel depolama. Veri akışı grafikleri yalnızca MQTT, Kafka ve OpenTelemetry hedeflerini destekler. Yerel MQTT aracısı dışındaki bir hedefe veri göndermek için bir veri akışı uç noktası oluşturun. Depolama uç noktaları, serileştirme için bir şema gerektirir.

Hedef uç noktayı yapılandırma

İşlem deneyimi

1. Hedef olarak kullanılacak veri akışı uç noktasını seçin.

   

   Depolama uç noktaları, serileştirme için bir şema gerektirir. Microsoft Fabric OneLake, Azure Data Lake Storage, Azure Veri Gezgini veya Yerel Storage hedef uç noktasını seçerseniz, bir şema referansı belirtmeniz gerekir.

   

2. Hedefi yapılandırmak için Devam Et'i seçin.

3. Verilerin göndereceği konu veya tablo da dahil olmak üzere hedef için gerekli ayarları girin. Daha fazla bilgi için bkz. Veri hedefini yapılandırma .

Azure CLI

{
  "destinationSettings": {
    "endpointRef": "<CUSTOM_ENDPOINT_NAME>",
    "dataDestination": "<TOPIC_OR_TABLE>"
  }
}

Biceps

destinationSettings: {
  endpointRef: '<CUSTOM_ENDPOINT_NAME>'
  dataDestination: '<TOPIC_OR_TABLE>'
}

Kubernetes (yalnızca hata ayıklama)

Önemli

Kubernetes dağıtım bildirimlerinin kullanımı üretim ortamlarında desteklenmez ve yalnızca hata ayıklama ve test için kullanılmalıdır.

destinationSettings:
  endpointRef: <CUSTOM_ENDPOINT_NAME>
  dataDestination: <TOPIC_OR_TABLE>

Veri hedefini yapılandırma (konu, kapsayıcı veya tablo)

Veri kaynakları gibi veri hedefleri de veri akışı uç noktalarını birden çok veri akışında yeniden kullanılabilir hale getirir. Veri hedefi, veri akışı uç noktası yapılandırmasındaki alt dizini temsil eder. Örneğin, veri akışı uç noktası bir depolama uç noktasıysa, veri hedefi kapsayıcıdır. Veri akışı uç noktası bir Kafka uç noktasıysa, veri hedefi Kafka konusudur.

Uç nokta türü	Veri hedefi anlamı	Açıklama
MQTT (veya Event Grid)	Başlık	Verilerin gönderildiği MQTT konusu. ve ${inputTopic}gibi ${inputTopic.index} değişkenleri kullanarak hem statik konuları hem de dinamik konu yönlendirmeyi destekler. Daha fazla bilgi için bkz . Dinamik hedef konuları.
Kafka (veya Event Hubs)	Başlık	Verilerin gönderildiği Kafka başlığı. Yalnızca statik konular desteklenir, joker karakterler desteklenmez. Uç nokta bir Event Hubs ad alanıysa, veri hedefi ad alanındaki tek olay hub'ıdır.
Azure Data Lake Storage	Container	depolama hesabı içindeki kapsayıcı. Masa değil.
Microsoft Fabric OneLake	Tablo veya Klasör	Uç nokta için yapılandırılmış yol türüne karşılık gelir.
Azure Veri Araştırıcısı	Tabela	Azure Veri Gezgini veritabanındaki tablo.
Yerel Depolama	Folder	Yerel depolama kalıcı birim montajındaki klasör veya dizin adı. Azure Arc Cloud Ingest Edge Hacimleri tarafından etkinleştirilen Azure Container Storage kullanılırken, bu değerin spec.path oluşturduğunuz alt birim parametresiyle eşleşmesi gerekir.
OpenTelemetry	Başlık	Verilerin gönderildiği OpenTelemetry konusu. Yalnızca statik konular desteklenir.

İşlem deneyimi

İşlem deneyimini kullandığınızda, veri hedefi alanını uç nokta türüne göre otomatik olarak yorumlar. Örneğin, veri akışı uç noktası bir depolama uç noktasıysa, hedef ayrıntılar sayfası kapsayıcı adını girmenizi ister. Veri akışı uç noktası bir MQTT uç noktasıysa, hedef ayrıntılar sayfası konuyu girmenizi ister.

Azure CLI

Verileri yerel MQTT aracısına geri göndermek için statik bir MQTT konusu kullanın:

{
  "destinationSettings": {
    "endpointRef": "default",
    "dataDestination": "example-topic"
  }
}

Özel bir olay hub'ı uç noktasına sahipseniz:

{
  "destinationSettings": {
    "endpointRef": "my-eh-endpoint",
    "dataDestination": "individual-event-hub"
  }
}

Biceps

Verileri yerel MQTT aracısına geri göndermek için:

destinationSettings: {
  endpointRef: 'default'
  dataDestination: 'example-topic'
}

Özel bir olay hub'ı uç noktasına sahipseniz:

destinationSettings: {
  endpointRef: 'my-eh-endpoint'
  dataDestination: 'individual-event-hub'
}

Bu örnekte bir depolama uç noktası kullanılır:

destinationSettings: {
  endpointRef: 'my-adls-endpoint'
  dataDestination: 'my-container'
}

Kubernetes (yalnızca hata ayıklama)

Önemli

Kubernetes dağıtım bildirimlerinin kullanımı üretim ortamlarında desteklenmez ve yalnızca hata ayıklama ve test için kullanılmalıdır.

Verileri yerel MQTT aracısına geri göndermek için:

destinationSettings:
  endpointRef: default
  dataDestination: example-topic

Özel bir olay hub'ı uç noktasına sahipseniz:

destinationSettings:
  endpointRef: my-eh-endpoint
  dataDestination: individual-event-hub

Bu örnekte bir depolama uç noktası kullanılır:

destinationSettings:
  endpointRef: my-adls-endpoint
  dataDestination: my-container

Dinamik hedef konuları

MQTT uç noktaları için, kaynak konu yapısına veya ileti içeriğine göre iletileri yönlendirmek için alandaki dinamik konu değişkenlerini dataDestination kullanabilirsiniz.

Kaynak konusuna göre yönlendirme

Hem veri akışlarında hem de veri akışı grafiklerinde, alandaki kaynak konunun dataDestination segmentlerine başvurmak için aşağıdaki değişkenleri kullanın:

• ${inputTopic}: Orjinal giriş konusunun tamamı
• ${inputTopic.index}: Giriş konusunun bir bölümü (dizin 1'de başlar)

Örneğin, processed/factory/${inputTopic.2} iletileri 'den factory/1/data adresine processed/factory/1yönlendirir. Konu segmentleri 1-indeksli ve baştaki veya sondaki eğik çizgiler yoksayılır.

Bir konu değişkeni çözümlenemiyorsa (örneğin, ${inputTopic.5} giriş konusunun yalnızca üç kesimi olduğunda), ileti bırakılır ve bir uyarı günlüğe kaydedilir. Hedef konu başlıklarında joker karakterlere (# ve +) izin verilmez.

İşlem deneyimi

İşlem deneyiminde, hedefi yapılandırırken Konu alanına dinamik konu değişkenini girin. Örneğin, processed/factory/${inputTopic.2} adresini girin.

Azure CLI

{
  "destinationSettings": {
    "endpointRef": "default",
    "dataDestination": "processed/factory/${inputTopic.2}"
  }
}

Biceps

destinationSettings: {
  endpointRef: 'default'
  dataDestination: 'processed/factory/${inputTopic.2}'
}

Kubernetes (yalnızca hata ayıklama)

Önemli

Kubernetes dağıtım bildirimlerinin kullanımı üretim ortamlarında desteklenmez ve yalnızca hata ayıklama ve test için kullanılmalıdır.

destinationSettings:
  endpointRef: default
  dataDestination: processed/factory/${inputTopic.2}

Uyarı

$, { ve } karakterleri MQTT konu adlarında geçerli olduğundan, factory/$inputTopic.2 gibi bir konu kullanılabilir ancak dinamik konu değişkeni kullanmayı amaçladıysanız yanlıştır.

Veri akışı grafikleri: ileti içeriğine göre yönlendirme

Veri akışı grafikleri ek bir yaklaşımı destekler: Bir eşleme dönüşümünü değişkeniyle ${outputTopic} birleştirerek hedef konuyu ileti içeriğine göre dinamik olarak ayarlayabilirsiniz:

1. Eşleme dönüşümünde, mesaj içeriğine göre $metadata.topic öğesine bir değer yazın. Örneğin, gibi if($1 > 1000, "alerts", "historian")bir ifade kullanın.
2. Hedefte, ${outputTopic} alanında dataDestination değerine başvurun.

Bu yaklaşım, hedef konuyu yalnızca kaynak konu yapısına değil iletideki herhangi bir alana veya hesaplanan değere göre ayarlamanıza olanak sağladığından kaynak konu yönlendirmesinden daha esnektir.

Daha fazla bilgi ve eksiksiz örnekler için bkz . İletileri farklı konulara yönlendirme.

Çıktıyı bir şemayla seri hale getirme

Verileri hedefe göndermeden önce seri hale getirmek istiyorsanız, bir şema ve serileştirme biçimi belirtin. Aksi takdirde, sistem verileri, türler otomatik olarak belirlenerek, JSON formatında serileştirir. Microsoft Fabric veya Azure Data Lake gibi depolama uç noktaları, veri tutarlılığını sağlamak için bir şema gerektirir. Desteklenen serileştirme biçimleri Parquet ve Delta'dır.

Tip

Şemayı örnek bir veri dosyasından oluşturmak için Schema Gen Yardımcısı kullanın.

İşlem deneyimi

Veri akışı uç noktası ayrıntılarında şema ve serileştirme biçimini belirtin. Serileştirme biçimlerini destekleyen uç noktalar Microsoft Fabric OneLake, Azure Data Lake Storage 2. Nesil, Azure Veri Gezgini ve yerel depolamadır. Örneğin, verileri Delta biçiminde seri hale getirmek için şema kayıt defterine bir şema yükleyin ve veri akışı hedef uç noktası yapılandırmasında bu şemaya başvurun.

Azure CLI

Şema kayıt defterine bir şema yükledikten sonra, buna veri akışı yapılandırmasında başvurun.

{
  "builtInTransformationSettings": {
    "serializationFormat": "Delta",
    "schemaRef": "aio-sr://<SCHEMA_NAMESPACE>/<SCHEMA>:<VERSION>"
  }
}

Biceps

Şema kayıt defterine bir şema yükledikten sonra, buna veri akışı yapılandırmasında başvurun.

builtInTransformationSettings: {
  serializationFormat: 'Delta'
  schemaRef: 'aio-sr://<SCHEMA_NAMESPACE>/<SCHEMA>:<VERSION>'
}

Kubernetes (yalnızca hata ayıklama)

Önemli

Kubernetes dağıtım bildirimlerinin kullanımı üretim ortamlarında desteklenmez ve yalnızca hata ayıklama ve test için kullanılmalıdır.

Şema kayıt defterine bir şema yükledikten sonra, buna veri akışı yapılandırmasında başvurun.

builtInTransformationSettings:
  serializationFormat: Delta
  schemaRef: 'aio-sr://<SCHEMA_NAMESPACE>/<SCHEMA>:<VERSION>'

Şema kayıt defteri hakkında daha fazla bilgi için bkz . İleti şemalarını anlama.

Sonraki Adımlar

• Veri akışı kaynağını yapılandırma
• Veri akışı oluşturma
• Veri akışı graflarına genel bakış
• Veri akışı graflarıyla iletileri farklı konulara yönlendirme