Konfigurace koncových bodů toku dat

Důležité

Tato stránka obsahuje pokyny ke správě komponent operací Azure IoT pomocí manifestů nasazení Kubernetes, které jsou ve verzi Preview. Tato funkce je poskytována s několika omezeními a neměla by se používat pro produkční úlohy.

Další podmínky použití pro Microsoft Azure Preview najdete v právních podmínkách, které se vztahují na funkce Azure, které jsou v beta verzi, preview nebo jinak dosud nebyly vydány v obecné dostupnosti.

Pokud chcete začít s toky dat, nejprve vytvořte koncové body toku dat. Koncový bod toku dat je spojovacím bodem toku dat. Koncový bod můžete použít jako zdroj nebo cíl pro tok dat. Některé typy koncových bodů je možné použít jako zdroje i cíle, zatímco jiné jsou určené jenom pro cíle. Tok dat potřebuje alespoň jeden zdrojový koncový bod a jeden cílový koncový bod.

Ke konfiguraci typu koncového bodu použijte následující tabulku:

Typ koncového bodu	Popis	Lze použít jako zdroj.	Lze použít jako cíl.	Podpora grafů toku dat
MQTT	Pro obousměrné zasílání zpráv pomocí zprostředkovatelů MQTT, včetně jednoho integrovaného do Azure IoT Operations a Event Gridu.	Ano	Ano	Zdroj a cíl
Kafka	Obousměrné zasílání zpráv s zprostředkovateli Kafka, včetně Azure Event Hubs.	Ano	Ano	Zdroj a cíl
OpenTelemetry	Pro odesílání metrik a logů do kolektorů OpenTelemetry a nástrojů pro observabilitu, jako je Grafana a Azure Monitor.	Ne	Ano	Pouze cíl
Data Lake	Pro nahrání dat do účtů úložiště Azure Data Lake Gen2.	Ne	Ano	Není podporováno
Microsoft Fabric OneLake	Pro nahrání dat do Microsoft Fabric OneLake Lakehouses.	Ne	Ano	Není podporováno
Azure Data Explorer	Pro nahrání dat do databází Azure Data Exploreru.	Ne	Ano	Není podporováno
Místní úložiště	Pokud chcete odesílat data do místně dostupného trvalého svazku, volitelně můžete nakonfigurovat službu Azure Container Storage povolenou službou Azure Arc.	Ne	Ano	Není podporováno

Důležité

Omezení grafů toku dat: Grafy toku dat(WASM) v současné době podporují pouze koncové body MQTT, Kafka a OpenTelemetry. Koncové body OpenTelemetry se dají použít jenom jako cíle v grafech toku dat. Grafy toku dat nepodporují jiné typy koncových bodů. Další informace najdete v tématu Známé problémy.

Důležité

Koncové body úložiště vyžadují schéma pro serializaci. Pokud chcete použít tok dat s Microsoft Fabric OneLake, Azure Data Lake Storage, Azure Data Explorerem nebo místním úložištěm, musíte zadat odkaz na schéma.

K vygenerování schématu z ukázkového datového souboru použijte pomocníka Schema Gen.

Toky dat musí používat místní koncový bod zprostředkovatele MQTT.

Při vytváření toku dat zadáte zdrojové a cílové koncové body. Tok dat přesouvá data ze zdrojového koncového bodu do cílového koncového bodu. Stejný koncový bod můžete použít pro více toků dat a stejný koncový bod jako zdroj i cíl v toku dat.

Použití vlastních koncových bodů jako zdroje i cíle v toku dat se ale nepodporuje. Toto omezení znamená, že integrovaný zprostředkovatel MQTT v operacích Azure IoT musí mít alespoň jeden koncový bod. Může to být buď zdroj, cíl, nebo obojí. Pokud se chcete vyhnout selháním nasazení toku dat, použijte výchozí koncový bod toku dat MQTT jako zdroj nebo cíl pro každý tok dat.

Konkrétní požadavek je, že každý tok dat musí mít buď zdroj, nebo cíl nakonfigurovaný s koncovým bodem MQTT, který má hostitele aio-broker. Proto není nezbytně nutné používat výchozí bod a můžete vytvořit další koncové body toku dat směřující na místního zprostředkovatele MQTT, pokud je hostitel aio-broker. Pokud se ale chcete vyhnout nejasnostem a problémům s možností správy, doporučujeme použít výchozí koncový bod.

Následující tabulka uvádí podporované scénáře:

Scénář	Podporováno
Výchozí koncový bod jako zdroj	Ano
Výchozí koncový bod jako cíl	Ano
Vlastní koncový bod jako zdroj	Ano, pokud je cílem výchozí koncový bod nebo koncový bod MQTT s hostitelem aio-broker
Vlastní koncový bod jako cíl	Ano, pokud je zdrojem výchozí koncový bod nebo koncový bod MQTT s hostitelem aio-broker
Vlastní koncový bod jako zdroj a cíl	Ne, ledaže jeden z nich je koncový bod MQTT s hostitelem aio-broker

Opakované použití koncových bodů

Představte si každý koncový bod toku dat jako balík nastavení, který obsahuje informace o tom, odkud mají data přicházet nebo kam by měla jít (hodnota host), jak se ověřovat na koncovém bodu, a další nastavení jako je konfigurace TLS nebo předvolba dávkování. Stačí ho tedy vytvořit jen jednou a pak ho můžete znovu použít ve více tocích dat, kde by tato nastavení byla stejná.

Aby bylo snadnější znovu použít koncové body, není filtr tématu MQTT nebo Kafka součástí konfigurace koncového bodu. Místo toho zadáte filtr tématu v konfiguraci toku dat. To znamená, že můžete použít stejný koncový bod pro více toků dat, které používají různé filtry témat.

Můžete například použít výchozí koncový bod toku dat zprostředkovatele MQTT. Můžete ho použít pro zdroj i cíl s různými filtry témat:

Zkušenosti s provozem

Azure CLI

K vytvoření nebo změně datového toku použijte příkaz az iot ops dataflow apply.

az iot ops dataflow apply --resource-group <ResourceGroupName> --instance <AioInstanceName> --profile <DataflowProfileName> --name <DataflowName> --config-file <ConfigFilePathAndName>

Parametr --config-file je cesta a název souboru JSON, který obsahuje vlastnosti prostředku.

V tomto příkladu předpokládejme konfigurační soubor s následujícím data-flow.json obsahem uloženým v domovském adresáři uživatele:

{
  "mode": "Enabled",
  "operations": [
    {
      "operationType": "Source",
      "sourceSettings": {
        "endpointRef": "default",
        "dataSources": [
          "example/topic/1"
        ]
      }
    },
    {
      "operationType": "Destination",
      "destinationSettings": {
        "endpointRef": "default",
        "dataDestination": "example/topic/2"
      }
    }
  ]
}

Biceps

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-broker'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/1'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          endpointRef: 'default'
          dataDestination: 'example/topic/2'
        }
      }
    ]
  }
}

Kubernetes (Preview)

apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
  name: broker-to-broker
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/1
    - operationType: Destination
      destinationSettings:
        endpointRef: default
        dataDestination: example/topic/2

Podobně můžete vytvořit více toků dat, které používají stejný koncový bod MQTT pro ostatní koncové body a témata. Můžete například použít stejný koncový bod MQTT pro tok dat, který odesílá data do koncového bodu služby Event Hubs.

Zkušenosti s provozem

Azure CLI

K vytvoření nebo změně datového toku použijte příkaz az iot ops dataflow apply.

az iot ops dataflow apply --resource-group <ResourceGroupName> --instance <AioInstanceName> --profile <DataflowProfileName> --name <DataflowName> --config-file <ConfigFilePathAndName>

Parametr --config-file je cesta a název souboru JSON, který obsahuje vlastnosti prostředku.

V tomto příkladu předpokládejme konfigurační soubor s následujícím data-flow.json obsahem uloženým v domovském adresáři uživatele:

{
  "mode": "Enabled",
  "operations": [
    {
      "operationType": "Source",
      "sourceSettings": {
        "endpointRef": "default",
        "dataSources": [
          "example/topic/3"
        ]
      }
    },
    {
      "operationType": "Destination",
      "destinationSettings": {
        // The endpoint needs to be created before you can reference it here
        "endpointRef": "example-event-hub-endpoint",
        "dataDestination": "example/topic/4"
      }
    }
  ]
}

Biceps

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-eh'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/3'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          // The endpoint needs to be created before you can reference it here
          endpointRef: 'example-event-hub-endpoint'
          dataDestination: 'example/topic/4'
        }
      }
    ]
  }
}

Kubernetes (Preview)

apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
  name: broker-to-eh
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/3
    - operationType: Destination
      destinationSettings:
        # The endpoint needs to be created before you can reference it here
        endpointRef: example-event-hub-endpoint
        dataDestination: example/topic/4

Podobně jako v příkladu MQTT můžete vytvořit několik toků dat, které používají stejný koncový bod Kafka pro různá témata, nebo stejný koncový bod Data Lake pro různé tabulky.

Další kroky

Vytvoření koncového bodu toku dat:

• MQTT nebo Event Grid
• Kafka nebo Event Hubs
• OpenTelemetry
• Data Lake
• Microsoft Fabric OneLake
• Místní úložiště