Dela via

Konfigurera en referensdatauppsättning i förhandsversionen av Azure IoT Data Processor

  • Artikel

Viktigt!

Förhandsversion av Azure IoT Operations – aktiverad av Azure Arc finns för närvarande i FÖRHANDSVERSION. Du bör inte använda den här förhandsgranskningsprogramvaran i produktionsmiljöer.

Juridiska villkor för Azure-funktioner i betaversion, förhandsversion eller som av någon annan anledning inte har gjorts allmänt tillgängliga ännu finns i kompletterande användningsvillkor för Microsoft Azure-förhandsversioner.

Referensdatauppsättningar i Azure IoT Data Processor Preview store referensdata som pipelines kan använda för berikande och kontextualisering. Data i referensdatalagret är ordnade i datauppsättningar, var och en med flera nycklar.

Förutsättningar

  • En distribuerad instans av Azure IoT Data Processor Preview som innehåller den valfria dataprocessorkomponenten.
  • En databehandlingspipeline med ett indatasteg som deserialiserar inkommande data.

Konfigurera ett referensdatalager

Om du vill lägga till en datauppsättning i datalagret har du två alternativ:

  • Välj fliken Referensdatauppsättningar på konfigurationssidan för pipelinen.
  • Välj Skapa ny när måltypen har valts som Referensdatauppsättningar i utdatafasen för en pipeline.
Fält beskrivning Obligatoriskt Exempel
Name Namnet på datauppsättningen. Ja mes-sql
beskrivning Beskrivning av datamängden. Nej erp data
Nyttolast Sökväg till data i meddelandet som ska lagras i datauppsättningen Nej .payload
Förfallotid Tids giltighet för referensdata som tillämpas på varje inmatat meddelande. Nej 12h
Tidsstämpel Jq-sökvägen är för tidsstämpelfältet i referensdata. Det här fältet används för tidsstämpelbaserade kopplingar i berikningssteget. Nej .payload.saptimestamp
Nycklar Se konfiguration av nycklar i följande tabell.

Tidsstämplar som refereras ska vara i tidsstämpelformatet RFC3339, ISO 8601 eller Unix. Som standard är förfallotiden för en datauppsättning inställd på 24h. Den här standardinställningen säkerställer att inga inaktuella data utökas längre än 24 timmar (om data inte uppdateras) eller växer obundna som kan fylla disken.

Varje nyckel innehåller:

Fält beskrivning Obligatoriskt Urval Exempel
Egenskapsnamn Namnet på nyckeln. Den här nyckeln används för namnbaserade kopplingar i berikningssteget. Nej Ingen assetSQL
Egenskapssökväg jq-sökväg till nyckeln i meddelandet Nej Ingen .payload.unique_id
Primärnyckel Avgör om egenskapen är en primärnyckel. Används för att uppdatera eller lägga till inmatade data i en datauppsättning. Nej Yes/No Yes

Nycklar i datauppsättningen krävs inte, men vi rekommenderar att du håller datamängden uppdaterad.

Viktigt!

Kom ihåg att .payload läggs till automatiskt i jq-sökvägen. Referensdata lagrar endast data i .payload meddelandets objekt. Ange sökvägen exklusive .payload prefixet.

Dricks

Det tar några sekunder att distribuera datamängden till klustret och bli synlig i datamängdslistan.

Följande kommentarer gäller konfigurationsalternativen för datauppsättningen i de föregående tabellerna:

  • Egenskapsnamn är skiftlägeskänsliga.
  • Du kan ha upp till 10 egenskaper per datauppsättning.
  • Endast en primärnyckel kan väljas i varje datauppsättning.
  • Strängen är den enda giltiga datatypen för datamängdens nyckelvärden.
  • Primära nycklar används för att uppdatera eller lägga till inmatade data i en datauppsättning. Om ett nytt meddelande kommer in med samma primärnyckel uppdateras den tidigare posten. Om ett nytt värde kommer in för primärnyckeln läggs den nya nyckeln och det associerade värdet till i datauppsättningen
  • Tidsstämpeln i referensdatauppsättningen används för tidsstämpelbaserade kopplingsvillkor i berikande fasen.
  • Du kan använda transformeringssteget för att överföra data till nyttolastobjektet eftersom referensdatauppsättningar endast lagrar data i .payload meddelandets objekt och exkluderar associerade metadata.

Visa dina datauppsättningar

Så här visar du tillgängliga datauppsättningar:

  1. Välj Referensdatauppsättningar i pipelineredigerarens upplevelse. En lista över alla tillgängliga datauppsättningar visas i vyn Referensdatauppsättningar .
  2. Välj en datauppsättning för att visa dess konfigurationsinformation, inklusive datamängdsnycklar och tidsstämplar.

Exempel

I det här exemplet beskrivs en tillverkningsanläggning där flera utrustningsdelar installeras på olika platser. Ett ERP-system spårar installationerna, lagrar data i databasen och registrerar följande information för varje utrustning: namn, plats, installationsdatum och ett booleskt värde som anger om det är en reserv. Till exempel:

utrustning plats installationDate isSpare
Ugn Seattle 3/5/2002 Falskt
Mixer Tacoma 11/15/2005 Falskt
Segment Seattle 4/25/2021 Sant

Dessa ERP-data är en användbar källa till kontextuella data för tidsseriedata som kommer från varje plats. Du kan skicka dessa data till dataprocessorn för att lagra i en referensdatauppsättning och använda dem för att utöka meddelanden i andra pipelines.

När du skickar data från en databas, till exempel Microsoft SQL Server, till dataprocessorn, deserialiserar den till ett format som den kan bearbeta. Följande JSON visar ett exempel på nyttolast som representerar data från en databas i dataprocessorn:

{
    "payload": { 
        { 
            "equipment": "Oven", 
            "location": "Seattle", 
            "installationDate": "2002-03-05T00:00:00Z", 
            "isSpare": "FALSE" 
        }, 
        { 
            "equipment": "Mixer", 
            "location": "Tacoma", 
            "installationDate": "2005-11-15T00:00:00Z", 
            "isSpare": "FALSE"
        }, 
        { 
            "equipment": "Slicer", 
            "location": "Seattle", 
            "installationDate": "2021-04-25T00:00:00Z", 
            "isSpare": "TRUE"
        } 
    }
}

Använd följande konfiguration för referensdatauppsättningen:

Fält Exempel
Name equipment
Tidsstämpel .installationDate
Förfallotid 12h

De två nycklarna:

Fält Exempel
Egenskapsnamn equipment name
Egenskapssökväg .equipment
Primärnyckel Ja
Fält Exempel
Egenskapsnamn location
Egenskapssökväg .location
Primärnyckel Nej

Varje datauppsättning kan bara ha en primärnyckel.

Alla inkommande data i pipelinen lagras i datamängden equipment i referensdatalagret. Lagrade data innehåller tidsstämpeln installationDate och nycklar som equipment name och location.

Dessa egenskaper är tillgängliga i berikningsstegen i andra pipelines där du kan använda dem för att ge kontext och lägga till ytterligare information i de meddelanden som bearbetas. Du kan till exempel använda dessa data för att komplettera sensoravläsningar från en viss utrustning med installationsdatum och plats. Mer information finns i fasen Berika .

I datauppsättningen equipmentequipment name fungerar nyckeln som primärnyckel. När den här pipelinen matar in nya data kontrollerar dataprocessorn den här egenskapen för att avgöra hur inkommande data ska hanteras:

  • Om ett meddelande kommer med en equipment name nyckel som ännu inte finns i datamängden (till exempel Pump) lägger dataprocessorn till en ny post i datauppsättningen. Den här posten innehåller den nya equipment name typen och dess associerade data, till exempel location, installationDateoch isSpare.
  • Om ett meddelande kommer med en equipment name nyckel som matchar en befintlig post i datamängden (till exempel Slicer) uppdaterar dataprocessorn posten. Associerade data för utrustningen, till exempel location, installationDateoch isSpare uppdateras med värdena från det inkommande meddelandet.

Datamängden equipment i referensdatalagret är en uppdaterad informationskälla som kan förbättra och kontextualisera data som flödar genom andra pipelines i dataprocessorn Enrich med hjälp av fasen.

Relaterat innehåll