Compartilhar via

Configurar um conjunto de dados de referência no Processador de Dados da Internet das Coisas do Azure Versão Prévia

  • Artigo

Importante

O recurso Pré-visualização de Operações do Azure IoT — habilitado pelo Azure Arc — está atualmente em VERSÃO PRÉVIA. Você não deve usar esse software em versão prévia em ambientes de produção.

Veja os Termos de Uso Complementares para Versões Prévias do Microsoft Azure para obter termos legais que se aplicam aos recursos do Azure que estão em versão beta, versão prévia ou que, de outra forma, ainda não foram lançados em disponibilidade geral.

Os conjuntos de dados de referência dentro do Processador de Dados da Internet das Coisas do Azure Versão Prévia armazenam dados de referência que os pipelines podem usar para enriquecimento e contextualização. Os dados dentro do armazenamento de dados de referência são organizados em conjuntos de dados, cada um com várias chaves.

Pré-requisitos

  • Uma instância implantada da Versão prévia do Processador de Dados IoT do Azure que inclui o componente opcional do Processador de Dados.
  • Um pipeline do Processador de Dados com um estágio de entrada que desserializa os dados de entrada.

Configurar um armazenamento de dados de referência

Para adicionar um conjunto de dados ao armazenamento de dados, você tem duas opções:

  • Selecione a guia Conjuntos de dados de referência na página de configuração do pipeline.
  • Selecione Criar novo quando o tipo de destino for selecionado como conjuntos de dados de Referência de no estágio de saída de um pipeline.
Campo Descrição Necessário Exemplo
Nome Nome do conjunto de dados. Sim mes-sql
Descrição Descrição do conjunto de dados. Não erp data
Conteúdo Caminho para os dados dentro da mensagem a serem armazenados no conjunto de dados Não .payload
Hora de expiração Validade de tempo para os dados de referência aplicados a cada mensagem ingerida. Não 12h
Carimbo de data/hora O caminho jq é para o campo de carimbo de data/hora nos dados de referência. Esse campo é usado para junções baseadas em carimbo de data/hora no estágio de enriquecimento. Não .payload.saptimestamp
simétricas Consulte a configuração de chaves na tabela a seguir.

Os carimbos de data/hora referenciados devem estar no formato RFC3339, ISO 8601 ou Unix timestamp. Por padrão, o tempo de expiração de um conjunto de dados é definido como 24h. Esse padrão garante que nenhum dado obsoleto seja enriquecido além de 24 horas (se os dados não forem atualizados) ou cresça sem associação, o que pode preencher o disco.

Cada chave inclui:

Campo Descrição Necessário Seleção Exemplo
Nome da propriedade Nome da chave. Essa chave é usada para junções baseadas em nome no estágio de enriquecimento. Não Nenhum assetSQL
Caminho da propriedade caminho jq para a chave dentro da mensagem Não Nenhum .payload.unique_id
Chave primária Determina se a propriedade é uma chave primária. Usado para atualizar ou acrescentar dados ingeridos em um conjunto de dados. Não Yes/No Yes

As chaves no conjunto de dados não são necessárias, mas são recomendadas para manter o conjunto de dados atualizado.

Importante

Lembre-se de que .payload é acrescentado automaticamente ao caminho jq. Os dados de referência armazenam apenas os dados dentro do objeto .payload da mensagem. Especifique o caminho excluindo o prefixo .payload.

Dica

Leva alguns segundos para implantar o conjunto de dados em seu cluster e ficar visível na exibição de lista de conjuntos de dados.

As seguintes notas estão relacionadas às opções de configuração do conjunto de dados nas tabelas anteriores:

  • Os nomes de propriedade diferenciam maiúsculas de minúsculas.
  • Você pode ter até 10 propriedades por conjunto de dados.
  • Somente uma chave primária pode ser selecionada em cada conjunto de dados.
  • Cadeia de caracteres é o único tipo de dados válido para os valores de chave do conjunto de dados.
  • As chaves primárias são usadas para atualizar ou acrescentar dados ingeridos em um conjunto de dados. Se uma nova mensagem chegar com a mesma chave primária, a entrada anterior será atualizada. Se um novo valor chegar para a chave primária, essa nova chave e o valor associado serão acrescentados ao conjunto de dados
  • O carimbo de data/hora no conjunto de dados de referência é usado para condições de junção baseadas em carimbo de data/hora no estágio de enriquecimento.
  • Você pode usar o estágio de transformação para transferir dados para o objeto de carga, pois os conjuntos de dados de referência armazenam apenas os dados dentro do objeto .payload da mensagem e excluem os metadados associados.

Exibir seus conjuntos de dados

Para exibir os conjuntos de dados disponíveis:

  1. Selecione conjuntos de dados de referência na experiência do editor de pipeline. Uma lista de todos os conjuntos de dados disponíveis está visível na exibição Conjuntos de dados de Referência.
  2. Selecione um conjunto de dados para exibir seus detalhes de configuração, incluindo chaves de conjunto de dados e carimbos de data/hora.

Exemplo

Este exemplo descreve uma instalação de fabricação em que vários equipamentos são instalados em locais diferentes. Um sistema ERP rastreia as instalações, armazena os dados no banco de dados e registra os seguintes detalhes para cada equipamento: nome, local, data de instalação e um booliano que indica se é sobressalente. Por exemplo:

usuário do 5G local installationDate isSpare
Forno Seattle 5/3/2002 FALSE
Misturador Tacoma 15/11/2005 FALSE
Segmentação de Dados Seattle 25/4/2021 TRUE

Esses dados ERP são uma fonte útil de dados contextuais para os dados de série temporal provenientes de cada local. Você pode enviar esses dados ao Processador de Dados para armazenar em um conjunto de dados de referência e usá-los para enriquecer mensagens em outros pipelines.

Quando você envia dados de um banco de dados, como o Microsoft SQL Server, para o Processador de Dados, ele os desserializa em um formato que ele pode processar. O JSON a seguir mostra um exemplo de conteúdo que representa os dados de um banco de dados no Processador de Dados:

{
    "payload": { 
        { 
            "equipment": "Oven", 
            "location": "Seattle", 
            "installationDate": "2002-03-05T00:00:00Z", 
            "isSpare": "FALSE" 
        }, 
        { 
            "equipment": "Mixer", 
            "location": "Tacoma", 
            "installationDate": "2005-11-15T00:00:00Z", 
            "isSpare": "FALSE"
        }, 
        { 
            "equipment": "Slicer", 
            "location": "Seattle", 
            "installationDate": "2021-04-25T00:00:00Z", 
            "isSpare": "TRUE"
        } 
    }
}

Use a seguinte configuração para o conjunto de dados de referência:

Campo Exemplo
Nome equipment
Carimbo de data/hora .installationDate
Hora de expiração 12h

As duas chaves:

Campo Exemplo
Nome da propriedade equipment name
Caminho da propriedade .equipment
Chave primária Sim
Campo Exemplo
Nome da propriedade location
Caminho da propriedade .location
Chave primária Não

Cada conjunto de dados só pode ter uma chave primária.

Todos os dados de entrada dentro do pipeline são armazenados no conjunto de dados equipment no armazenamento de dados de referência. Os dados armazenados incluem o carimbo de data/hora installationDate e chaves, como equipment name e location.

Essas propriedades estão disponíveis nos estágios de enriquecimento de outros pipelines em que você pode usá-las para fornecer contexto e adicionar informações adicionais às mensagens que estão sendo processadas. Por exemplo, você pode usar esses dados para complementar as leituras do sensor de um equipamento específico com a data e o local da instalação. Para saber mais, confira o estágio Enriquecer.

Dentro do conjunto de dados equipment, a chave equipment name serve como a chave primária. Quando o pipeline ingere novos dados, o Processador de Dados verifica essa propriedade para determinar como lidar com os dados de entrada:

  • Se uma mensagem chegar com uma chave equipment name que ainda não existe no conjunto de dados (como Pump), o Processador de Dados adicionará uma nova entrada ao conjunto de dados. Essa entrada inclui o novo tipo de equipment name e seus dados associados, como location, installationDate e isSpare.
  • Se uma mensagem chegar com uma chave equipment name que corresponda a uma entrada existente no conjunto de dados (como Slicer), o Processador de Dados atualizará essa entrada. Os dados associados para esse equipamento, como location, installationDate e atualizações isSpare com os valores da mensagem de entrada.

O conjunto de dados equipment no armazenamento de dados de referência é uma fonte atualizada de informações que pode aprimorar e contextualizar os dados que fluem por outros pipelines no Processador de Dados usando o estágio Enrich.

Conteúdo relacionado