Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Os fluxos de dados permitem conectar várias fontes de dados e executar operações de dados, simplificando a configuração de caminhos de dados para mover, transformar e enriquecer dados. O componente de fluxo de dados faz parte do Azure IoT Operations, que é implantado como uma extensão do Azure Arc. A configuração para um fluxo de dados é feita por meio de definições de recursos personalizados (CRDs) do Kubernetes.
Você pode escrever configurações para vários casos de uso, como:
- Transforme dados e envie-os de volta para o MQTT
- Transforme dados e envie-os para a nuvem
- Envie dados para a nuvem ou borda sem transformação
Os fluxos de dados não estão limitados à região onde a instância de Operações IoT é implantada. Você pode usar fluxos de dados para enviar dados para pontos finais na nuvem em várias regiões.
Funcionalidades principais
Aqui estão as principais características dos fluxos de dados.
Processamento e encaminhamento de dados
Os fluxos de dados permitem a ingestão, o processamento e o encaminhamento das mensagens para coletores especificados. Pode especificar:
- Fontes: de onde as mensagens são ingeridas
- Destinos: para onde as mensagens são drenadas, incluindo suporte para roteamento dinâmico de tópicos com base no conteúdo da mensagem para pontos de extremidade MQTT
- Transformações (opcional): Configuração para operações de processamento de dados
Capacidades de transformação
As transformações podem ser aplicadas aos dados durante o estágio de processamento para executar várias operações. Estas operações podem incluir:
- Calcular novas propriedades: com base nas propriedades existentes na mensagem
- Renomear propriedades: para padronizar ou esclarecer dados
- Converter unidades: converta valores em diferentes unidades de medida
- Padronizar valores: dimensionar valores de propriedade para um intervalo definido pelo usuário
- Contextualizar dados: adicione dados de referência a mensagens para enriquecimento e gerar insights
Configuração e implementação
A configuração é especificada usando CRDs do Kubernetes. Com base nessa configuração, o operador de fluxo de dados cria instâncias de fluxo de dados para garantir alta disponibilidade e confiabilidade.
Benefícios
- Configuração simplificada: conecte facilmente fontes de dados e destinos.
- Transformações flexíveis: execute uma ampla gama de operações de dados.
- Configuração escalável: use CRDs do Kubernetes para configurações escaláveis e geríveis.
- Alta disponibilidade: o recurso nativo do Kubernetes garante confiabilidade.
Usando fluxos de dados, você pode gerenciar com eficiência seus caminhos de dados. Você pode garantir que os dados sejam enviados, transformados e enriquecidos com precisão para atender às suas necessidades operacionais.
Registro de esquema
O Registo de Esquemas, um recurso fornecido pelo Registo de Dispositivo do Azure, é um repositório sincronizado na nuvem e na periferia. O registro de esquema armazena as definições de mensagens provenientes de ativos de borda e, em seguida, expõe uma API para acessar esses esquemas na borda. Conectores Southbound, como o conector para OPC UA, podem criar esquemas de mensagem e adicioná-los ao registo de esquemas, ou os clientes podem carregar esquemas para a interface da experiência de operações na web.
Os fluxos de dados usam esquemas de mensagem para transformar a mensagem no formato esperado pelo ponto de extremidade de destino.
Para obter mais informações, consulte Esquemas de mensagem.
Armazenamento de mensagens no endpoint do broker MQTT local
Quando você usa o agente MQTT local como um ponto de extremidade de origem em um fluxo de dados, as mensagens são armazenadas durante uma perda de conectividade entre o fluxo de dados e o ponto de extremidade de destino. Como um cenário de exemplo, suponha que você crie um fluxo de dados usando o agente MQTT local padrão como o ponto de extremidade de origem e os Hubs de Eventos do Azure como o ponto de extremidade de destino. Se a conectividade entre o fluxo de dados e os Hubs de Eventos do Azure for perdida, as mensagens serão armazenadas na fila de mensagens do assinante no broker MQTT. Quando a conectividade é restaurada, o fluxo de dados envia as mensagens na fila de mensagens do assinante para os Hubs de Eventos do Azure.
A fila de mensagens do broker MQTT local é armazenada na memória por padrão. Você pode configurar o agente MQTT para armazenar mensagens no disco usando a configuração do buffer de mensagens com backup de disco. Para obter mais informações sobre a configuração do broker MQTT, consulte Configurar as definições do broker para alta disponibilidade, escalonamento e uso de memória. Para obter mais informações sobre o buffer de mensagens com backup em disco, consulte Configurar o comportamento do buffer de mensagens com backup em disco.