Veri akışı uç noktalarını yapılandırma

Veri akışlarını kullanmaya başlamak için önce veri akışı uç noktaları oluşturun. Veri akışı uç noktası, veri akışının bağlantı noktasıdır. Uç noktayı kaynak, hedef veya her ikisi olarak kullanabilirsiniz. Bazı uç nokta türleri hem kaynak hem de hedef olarak kullanılabilirken, diğerleri yalnızca hedeflere yöneliktir.

Yapılandıracak uç nokta türünü seçmek için aşağıdaki tabloyu kullanın:

Uç nokta türü	Açıklama	Kaynak olarak kullanılabilir	Hedef olarak kullanılabilir	Veri akışı grafikleri desteği
MQTT	Azure IoT İşlemleri ve Event Grid'de yerleşik olanlar dahil, MQTT aracılarıyla çift yönlü mesajlaşma için.	Evet	Evet	Kaynak ve hedef
Kafka	Azure Event Hubs dahil olmak üzere Kafka aracılarıyla çift yönlü mesajlaşma için.	Evet	Evet	Kaynak ve hedef
OpenTelemetry	Ölçümleri ve günlükleri OpenTelemetry toplayıcılarına ve Grafana ve Azure İzleyici gibi gözlemlenebilirlik platformlarına göndermek için.	Hayır	Evet	Yalnızca hedef
Veri Gölü	Azure Data Lake 2. Nesil depolama hesaplarına veri yüklemek için.	Hayır	Evet	Desteklenmez
Microsoft Fabric OneLake	Microsoft Fabric OneLake lakehouses'a veri yüklemek için.	Hayır	Evet	Desteklenmez
Azure Veri Gezgini	Azure Veri Gezgini veritabanlarına veri yüklemek için.	Hayır	Evet	Desteklenmez
Yerel depolama	Verileri yerel olarak kullanılabilir kalıcı bir birime göndermek için isteğe bağlı olarak Azure Arc tarafından etkinleştirilen Azure Kapsayıcı Depolama ile yapılandırılabilir.	Hayır	Evet	Desteklenmez

Önemli

Veri akışı grafikleri sınırlaması: Veri akışı grafikleri (WASM) şu anda yalnızca MQTT, Kafka ve OpenTelemetry uç noktalarını destekler. OpenTelemetry uç noktaları yalnızca veri akışı grafiklerinde hedef olarak kullanılabilir. Veri akışı grafları için diğer uç nokta türleri desteklenmez. Daha fazla bilgi için bkz. Bilinen sorunlar.

Önemli

Depolama uç noktaları, serileştirme için bir şema gerektirir. Veri akışını Microsoft Fabric OneLake, Azure Data Lake Storage, Azure Veri Gezgini veya Yerel Depolama ile kullanmak için şema başvurusu belirtmeniz gerekir.

Şemayı örnek bir veri dosyasından oluşturmak için Şema Nesil Yardımcısı'nı kullanın.

Veri akışları yerel MQTT aracı uç noktasını kullanmalıdır

Bir veri akışı oluşturduğunuzda, kaynak ve hedef uç noktaları belirtirsiniz. Veri akışı, verileri kaynaktan hedefe taşır. Birden çok veri akışı için aynı uç noktayı kullanabilir ve hem kaynak hem de hedefle aynı uç noktayı kullanabilirsiniz.

Ancak, hem kaynak hem de hedef olarak özel uç noktaları kullanamazsınız. Azure IoT İşlemleri'daki yerleşik MQTT aracısı en az bir uç nokta (kaynak, hedef veya her ikisi) olmalıdır. Dağıtım hatalarını önlemek için her veri akışı için kaynak veya hedef olarak varsayılan MQTT veri akışı uç noktasını kullanın.

Her veri akışının kaynağı veya hedefi, konağı aio-brokerolan bir MQTT uç noktasıyla yapılandırılmış olmalıdır. Özel olarak varsayılan uç noktayı kullanmanız gerekmez. Sunucu aio-broker olduğu sürece yerel MQTT aracısını işaret eden diğer veri akışı uç noktaları oluşturabilirsiniz. Ancak, varsayılan uç noktanın kullanılması önerilen yaklaşımdır.

Aşağıdaki tabloda desteklenen senaryolar gösterilmektedir:

Senaryo	Desteklenir
Kaynak olarak varsayılan uç nokta	Evet
Hedef olarak varsayılan uç nokta	Evet
Kaynak olarak özel uç nokta	Evet, hedef varsayılan uç noktaysa veya konağı olan bir MQTT uç noktasıysa aio-broker
Hedef olarak özel uç nokta	Evet, kaynak varsayılan uç noktaysa veya konağı olan bir MQTT uç noktasıysa aio-broker
Kaynak ve hedef olarak özel uç nokta	Hayır, bunlardan biri konağı aio-broker olan bir MQTT uç noktası değil ise

Yerel MQTT aracısının bir hedef uç nokta kullanılamadığında verileri nasıl arabelleğe aldığı hakkında bilgi için bkz. Veri akışları için veri arabelleği ve disk kalıcılığını yapılandırma.

Uç noktaları yeniden kullanma

Her veri akışı uç noktasını bir yapılandırma ayarları paketi olarak düşünün: verilerin nereden gelmesi veya nereye gitmesi gerektiği ( host değer), kimlik doğrulaması ve TLS yapılandırması veya toplu işlem tercihi gibi diğer ayarlar. Bir kez bir uç nokta oluşturur ve aynı ayarları paylaşan birden çok veri akışında yeniden kullanırsınız.

Uç noktaların yeniden kullanılmasını kolaylaştırmak için MQTT veya Kafka konu filtresi uç nokta yapılandırmasının bir parçası değildir. Bunun yerine, veri akışı yapılandırmasında konu filtresini belirtirsiniz. Bu, farklı konu filtreleri kullanan birden çok veri akışı için aynı uç noktayı kullanabileceğiniz anlamına gelir.

Örneğin, varsayılan MQTT aracısı veri akışı uç noktasını kullanabilirsiniz. Bunu farklı konu filtreleri olan hem kaynak hem de hedef için kullanabilirsiniz:

İşlem deneyimi

Azure CLI

Veri akışı oluşturmak veya değiştirmek için az iot ops dataflow apply komutunu kullanın.

az iot ops dataflow apply --resource-group <ResourceGroupName> --instance <AioInstanceName> --profile <DataflowProfileName> --name <DataflowName> --config-file <ConfigFilePathAndName>

--config-file parametresi, kaynak özelliklerini içeren bir JSON yapılandırma dosyasının yolu ve dosya adıdır.

Bu örnekte, kullanıcının giriş dizininde depolanan aşağıdaki içeriğe sahip adlı data-flow.json bir yapılandırma dosyası varsayın:

{
  "mode": "Enabled",
  "operations": [
    {
      "operationType": "Source",
      "sourceSettings": {
        "endpointRef": "default",
        "dataSources": [
          "example/topic/1"
        ]
      }
    },
    {
      "operationType": "Destination",
      "destinationSettings": {
        "endpointRef": "default",
        "dataDestination": "example/topic/2"
      }
    }
  ]
}

Bicep

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-broker'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/1'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          endpointRef: 'default'
          dataDestination: 'example/topic/2'
        }
      }
    ]
  }
}

Kubernetes (yalnızca hata ayıklama)

Önemli

Kubernetes dağıtım bildirimlerinin kullanımı üretim ortamlarında desteklenmez ve yalnızca hata ayıklama ve test için kullanılmalıdır.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
  name: broker-to-broker
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/1
    - operationType: Destination
      destinationSettings:
        endpointRef: default
        dataDestination: example/topic/2

Benzer şekilde, diğer uç noktalar ve konular için aynı MQTT uç noktasını kullanan birden çok veri akışı oluşturabilirsiniz. Örneğin, Event Hubs uç noktasına veri gönderen bir veri akışı için aynı MQTT uç noktasını kullanabilirsiniz.

İşlem deneyimi

Azure CLI

Veri akışı oluşturmak veya değiştirmek için az iot ops dataflow apply komutunu kullanın.

az iot ops dataflow apply --resource-group <ResourceGroupName> --instance <AioInstanceName> --profile <DataflowProfileName> --name <DataflowName> --config-file <ConfigFilePathAndName>

--config-file parametresi, kaynak özelliklerini içeren bir JSON yapılandırma dosyasının yolu ve dosya adıdır.

Bu örnekte, kullanıcının giriş dizininde depolanan aşağıdaki içeriğe sahip adlı data-flow.json bir yapılandırma dosyası varsayın:

{
  "mode": "Enabled",
  "operations": [
    {
      "operationType": "Source",
      "sourceSettings": {
        "endpointRef": "default",
        "dataSources": [
          "example/topic/3"
        ]
      }
    },
    {
      "operationType": "Destination",
      "destinationSettings": {
        // The endpoint needs to be created before you can reference it here
        "endpointRef": "example-event-hub-endpoint",
        "dataDestination": "example/topic/4"
      }
    }
  ]
}

Bicep

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-eh'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/3'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          // The endpoint needs to be created before you can reference it here
          endpointRef: 'example-event-hub-endpoint'
          dataDestination: 'example/topic/4'
        }
      }
    ]
  }
}

Kubernetes (yalnızca hata ayıklama)

Önemli

Kubernetes dağıtım bildirimlerinin kullanımı üretim ortamlarında desteklenmez ve yalnızca hata ayıklama ve test için kullanılmalıdır.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
  name: broker-to-eh
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/3
    - operationType: Destination
      destinationSettings:
        # The endpoint needs to be created before you can reference it here
        endpointRef: example-event-hub-endpoint
        dataDestination: example/topic/4

MQTT örneğine benzer şekilde, farklı konular için aynı Kafka uç noktasını veya farklı tablolar için aynı Veri Gölü uç noktasını kullanan birden çok veri akışı oluşturabilirsiniz.

Sonraki adımlar

Tip

Veri akışı trafiğini genel uç noktalar yerine Özel Bağlantı aracılığıyla bulut hedeflerine yönlendirmek için bkz. Özel uç noktalarla veri akışı hedeflerini yapılandırma.

Veri akışı uç noktası oluşturma:

• MQTT veya Event Grid
• Kafka veya Olay Merkezleri
• OpenTelemetry
• Veri Gölü
• Microsoft Fabric OneLake
• Yerel depolama