Compartilhar via

Processar e rotear dados com os fluxos de dados

Os fluxos de dados simplificam a configuração de caminhos de dados para mover, transformar e enriquecer dados. Usando fluxos de dados, você pode conectar várias fontes de dados e executar operações de dados. O componente de fluxo de dados faz parte do Azure IoT Operations, que você implanta como uma extensão Azure Arc. Configure um fluxo de dados usando CRDs (definições de recursos personalizados) do Kubernetes.

Você pode escrever configurações para vários casos de uso, como:

  • Transforme os dados e envie-os de volta para o MQTT.
  • Transforme dados e envie-os para a nuvem.
  • Enviar dados para a nuvem ou borda sem transformação.

Os fluxos de dados não estão limitados à região em que você implanta a instância de Operações de IoT. Você pode usar fluxos de dados para enviar dados para pontos de extremidade de nuvem em regiões diferentes.

Principais recursos

Esta seção descreve as principais características de fluxos de dados.

Processamento e roteamento de dados

Os fluxos de dados habilitam a ingestão, o processamento e o roteamento das mensagens para os coletores especificados. É possível especificar:

  • Fontes: de onde você ingere mensagens.
  • Destinos: Para onde você direciona mensagens, incluindo suporte para roteamento dinâmico de tópicos com base no conteúdo da mensagem, especificamente para pontos de extremidade MQTT.
  • Transformações (opcional): configuração para operações de processamento de dados.

Funcionalidades de transformação

Você pode aplicar transformações aos dados durante o estágio de processamento para executar várias operações. Essas operações podem incluir:

  • Computando novas propriedades: com base nas propriedades existentes na mensagem.
  • Renomeando propriedades: para padronizar ou esclarecer dados.
  • Convertendo unidades: converta valores em diferentes unidades de medida.
  • Valores de padronização: dimensionar valores de propriedade para um intervalo definido pelo usuário.
  • Contextualizando dados: adicione dados de referência a mensagens para aprimoramento e geração de insights.

Configuração e implantação

Especifique a configuração usando CRDs do Kubernetes. Com base nessa configuração, o operador do fluxo de dados cria instâncias de fluxo de dados para garantir alta disponibilidade e confiabilidade.

Benefícios

  • Configuração simplificada: conecte facilmente fontes de dados e destinos.
  • Transformações flexíveis: execute uma ampla gama de operações de dados.
  • Configuração escalonável: use CRDs do Kubernetes para configurações escalonáveis e gerenciáveis.
  • Alta disponibilidade: o recurso nativo do Kubernetes garante a confiabilidade.

Usando fluxos de dados, você pode gerenciar com eficiência seus caminhos de dados. Você pode garantir que os dados sejam enviados, transformados e enriquecidos com precisão para atender às suas necessidades operacionais.

Registro de esquema

O registro de esquema, um recurso fornecido pelo Registro de Dispositivo do Azure, é um repositório sincronizado na nuvem e na borda. O registro de esquema armazena as definições de mensagens provenientes de ativos de borda e, em seguida, expõe uma API para acessar esses esquemas na borda. Conectores sul, como o conector para OPC UA, podem criar esquemas de mensagens e adicioná-los ao registro de esquemas, ou você pode carregar esquemas na interface web da experiência de operações.

Os fluxos de dados usam esquemas de mensagem para transformar a mensagem no formato esperado pelo ponto de extremidade de destino.

Para obter mais informações, veja Entender esquemas de mensagens.

Armazenamento de mensagens de ponto de extremidade do broker MQTT local

Quando você usa o agente MQTT local como ponto de extremidade de origem em um fluxo de dados, o sistema armazena mensagens durante uma perda de conectividade entre o fluxo de dados e o ponto de extremidade de destino. Como um cenário de exemplo, suponha que você crie um fluxo de dados usando o agente MQTT local padrão como o ponto de extremidade de origem e Azure Event Hubs como o ponto de extremidade de destino. Se a conectividade entre o fluxo de dados e o Azure Event Hubs for perdida, a fila de mensagens do assinante do broker MQTT armazenará as mensagens. Quando a conectividade é restaurada, o fluxo de dados envia as mensagens na fila de mensagens do assinante para Azure Event Hubs.

A fila de mensagens do agente MQTT local é armazenada na memória por padrão. Você pode configurar o broker MQTT para armazenar mensagens em disco usando a configuração de buffer de mensagens com suporte em disco. Para obter mais informações sobre a configuração do agente MQTT, consulte Definir as configurações do agente para alta disponibilidade, dimensionamento e uso de memória. Para obter mais informações sobre o buffer de mensagens com backup de disco, consulte Configurar o comportamento do buffer de mensagens com backup de disco.

Conteúdo relacionado

  • Last updated on