Configurar pontos de extremidade de fluxo de dados

Importante

Esta página inclui instruções para gerir componentes do Azure IoT Operations usando manifestos de implementação do Kubernetes, que estão em pré-visualização. Esse recurso é fornecido com várias limitações e não deve ser usado para cargas de trabalho de produção.

Veja os Termos de Utilização Complementares das Pré-visualizações do Microsoft Azure para obter os termos legais que se aplicam aos recursos do Azure que estão na versão beta, em pré-visualização ou que ainda não foram lançados para disponibilidade geral.

Para começar a usar fluxos de dados, primeiro crie endpoints de dados. Um ponto final de fluxo de dados é o ponto de conexão para o fluxo de dados. Você pode usar um ponto de extremidade como origem ou destino para o fluxo de dados. Alguns tipos de endpoint podem ser usados como fontes e destinos, enquanto outros apenas servem como destinos. Um fluxo de dados precisa de pelo menos um ponto de extremidade de origem e um ponto de extremidade de destino.

Use a tabela a seguir para escolher o tipo de ponto de extremidade a ser configurado:

Tipo de ponto final	Descrição	Pode ser usado como fonte	Pode ser usado como destino	Suporte a gráficos de fluxo de dados
MQTT	Para mensagens bidirecionais com brokers MQTT, incluindo o integrado ao Azure IoT Operations e Event Grid.	Sim	Sim	Origem e destino
Kafka	Para mensagens bidirecionais com agentes Kafka, incluindo Hubs de Eventos do Azure.	Sim	Sim	Origem e destino
OpenTelemetria	Para enviar métricas e logs para coletores OpenTelemetry e plataformas de observabilidade como Grafana e Azure Monitor.	Não	Sim	Apenas destino
Lago de Dados	Para carregar dados para contas de armazenamento do Azure Data Lake Gen2.	Não	Sim	Não suportado
Microsoft Fabric OneLake	Para carregar dados para o Microsoft Fabric OneLake lakehouses.	Não	Sim	Não suportado
Azure Data Explorer	Para carregar dados para bancos de dados do Azure Data Explorer.	Não	Sim	Não suportado
Armazenamento local	Para enviar dados para um volume persistente disponível localmente, opcionalmente configurável com o Armazenamento de Contêiner do Azure habilitado pelo Azure Arc.	Não	Sim	Não suportado

Importante

Limitação de gráficos de fluxo de dados: Atualmente, os gráficos de fluxo de dados (WASM) suportam apenas pontos de extremidade MQTT, Kafka e OpenTelemetry . Os pontos de extremidade OpenTelemetry só podem ser usados como destinos em gráficos de fluxo de dados. Não há suporte para outros tipos de ponto final para gráficos de fluxo de dados. Para obter mais informações, consulte Problemas conhecidos.

Importante

Os pontos de extremidade de armazenamento exigem um esquema para serialização. Para usar o fluxo de dados com o Microsoft Fabric OneLake, o Azure Data Lake Storage, o Azure Data Explorer ou o Armazenamento Local, você deve especificar uma referência de esquema.

Para gerar o esquema a partir de um arquivo de dados de exemplo, use o Schema Gen Helper.

Os fluxos de dados devem usar o ponto de extremidade local do broker MQTT

Ao criar um fluxo de dados, você especifica os pontos de extremidade de origem e destino. O fluxo de dados move dados do ponto de extremidade de origem para o ponto de extremidade de destino. Você pode usar o mesmo ponto de extremidade para vários fluxos de dados e pode usar o mesmo ponto de extremidade como origem e destino em um fluxo de dados.

No entanto, não há suporte para o uso de pontos de extremidade personalizados como origem e destino em um fluxo de dados. Essa restrição significa que o broker MQTT incorporado nas Operações do Azure IoT deve ser pelo menos um ponto de extremidade. Pode ser a origem, o destino ou ambos. Para evitar falhas de implantação do fluxo de dados, use o ponto de extremidade padrão do fluxo de dados MQTT como origem ou destino para cada fluxo de dados.

O requisito específico é que cada fluxo de dados deve ter a origem ou o destino configurado com um endpoint MQTT cujo host seja aio-broker. Portanto, não é estritamente necessário usar o ponto de extremidade padrão, e você pode criar pontos de extremidade de fluxo de dados adicionais apontando para o broker MQTT local, desde que o host seja aio-broker. No entanto, para evitar confusão e problemas de gestão, o ponto de extremidade padrão é a abordagem recomendada.

A tabela a seguir mostra os cenários suportados:

Cenário	Suportado
Ponto de extremidade padrão como origem	Sim
Ponto de extremidade padrão como destino	Sim
Ponto final personalizado como fonte	Sim, se o destino for um endpoint padrão ou um endpoint MQTT com o host aio-broker
Ponto de extremidade personalizado como destino	Sim, se a origem for um endpoint padrão ou um endpoint MQTT com host aio-broker
Ponto de extremidade personalizado como origem e destino	Não, a menos que um deles seja um endpoint MQTT com host aio-broker

Reutilizar terminais

Pense em cada ponto de extremidade de fluxo de dados como um pacote de definições de configuração que contém de onde os dados devem vir ou para onde devem ir (o host valor), como se autenticar no ponto de extremidade e outras configurações, como configuração TLS ou preferência de processamento em lotes. Então você só precisa criá-lo uma vez e, em seguida, você pode reutilizá-lo em vários fluxos de dados onde essas configurações seriam as mesmas.

Para facilitar a reutilização de endpoints, o filtro de tópicos MQTT ou Kafka não faz parte da configuração do ponto final. Em vez disso, especifique o filtro de tópico na configuração de fluxo de dados. Isso significa que você pode usar o mesmo ponto de extremidade para vários fluxos de dados que usam filtros de tópico diferentes.

Por exemplo, pode utilizar o endpoint de fluxo de dados padrão do corretor MQTT. Você pode usá-lo para a origem e o destino com diferentes filtros de tópico:

Experiência em operações

CLI do Azure

Use o comando az iot ops dataflow apply para criar ou alterar um fluxo de dados.

az iot ops dataflow apply --resource-group <ResourceGroupName> --instance <AioInstanceName> --profile <DataflowProfileName> --name <DataflowName> --config-file <ConfigFilePathAndName>

O --config-file parâmetro é o caminho e o nome do arquivo de arquivo de configuração JSON que contém as propriedades do recurso.

Neste exemplo, suponha um arquivo de configuração nomeado data-flow.json com o seguinte conteúdo armazenado no diretório inicial do usuário:

{
  "mode": "Enabled",
  "operations": [
    {
      "operationType": "Source",
      "sourceSettings": {
        "endpointRef": "default",
        "dataSources": [
          "example/topic/1"
        ]
      }
    },
    {
      "operationType": "Destination",
      "destinationSettings": {
        "endpointRef": "default",
        "dataDestination": "example/topic/2"
      }
    }
  ]
}

Bíceps

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-broker'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/1'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          endpointRef: 'default'
          dataDestination: 'example/topic/2'
        }
      }
    ]
  }
}

Kubernetes (visualização)

apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
  name: broker-to-broker
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/1
    - operationType: Destination
      destinationSettings:
        endpointRef: default
        dataDestination: example/topic/2

Da mesma forma, você pode criar vários fluxos de dados que usam o mesmo ponto de extremidade MQTT para outros pontos de extremidade e tópicos. Por exemplo, poderá usar o mesmo ponto de extremidade MQTT para um fluxo que envia dados para um endpoint de Event Hubs.

Experiência em operações

CLI do Azure

Use o comando az iot ops dataflow apply para criar ou alterar um fluxo de dados.

az iot ops dataflow apply --resource-group <ResourceGroupName> --instance <AioInstanceName> --profile <DataflowProfileName> --name <DataflowName> --config-file <ConfigFilePathAndName>

O --config-file parâmetro é o caminho e o nome do arquivo de arquivo de configuração JSON que contém as propriedades do recurso.

Neste exemplo, suponha um arquivo de configuração nomeado data-flow.json com o seguinte conteúdo armazenado no diretório inicial do usuário:

{
  "mode": "Enabled",
  "operations": [
    {
      "operationType": "Source",
      "sourceSettings": {
        "endpointRef": "default",
        "dataSources": [
          "example/topic/3"
        ]
      }
    },
    {
      "operationType": "Destination",
      "destinationSettings": {
        // The endpoint needs to be created before you can reference it here
        "endpointRef": "example-event-hub-endpoint",
        "dataDestination": "example/topic/4"
      }
    }
  ]
}

Bíceps

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-eh'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/3'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          // The endpoint needs to be created before you can reference it here
          endpointRef: 'example-event-hub-endpoint'
          dataDestination: 'example/topic/4'
        }
      }
    ]
  }
}

Kubernetes (visualização)

apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
  name: broker-to-eh
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/3
    - operationType: Destination
      destinationSettings:
        # The endpoint needs to be created before you can reference it here
        endpointRef: example-event-hub-endpoint
        dataDestination: example/topic/4

Semelhante ao exemplo MQTT, você pode criar vários fluxos de dados que usam o mesmo ponto de extremidade Kafka para tópicos diferentes ou o mesmo ponto de extremidade Data Lake para tabelas diferentes.

Próximos passos

Crie um ponto de extremidade de fluxo de dados:

• MQTT ou grade de eventos
• Kafka ou Hubs de Eventos
• OpenTelemetria
• Lago de Dados
• Microsoft Fabric OneLake
• Armazenamento local