Konfigurera en referensdatauppsättning i dataprocessorn
Viktigt!
Förhandsversion av Azure IoT Operations – aktiverad av Azure Arc finns för närvarande i FÖRHANDSVERSION. Du bör inte använda den här förhandsgranskningsprogramvaran i produktionsmiljöer.
Du måste distribuera en ny Azure IoT Operations-installation när en allmänt tillgänglig version görs tillgänglig. Du kommer inte att kunna uppgradera en förhandsversionsinstallation.
Juridiska villkor för Azure-funktioner i betaversion, förhandsversion eller som av någon annan anledning inte har gjorts allmänt tillgängliga ännu finns i kompletterande användningsvillkor för Microsoft Azure-förhandsversioner.
Referensdatauppsättningar i databehandlingsarkivets referensdata som pipelines kan använda för berikande och kontextualisering. Data i referensdatalagret är ordnade i datauppsättningar, var och en med flera nycklar.
Förutsättningar
- En distribuerad instans av dataprocessorn som innehåller den valfria dataprocessorkomponenten.
- En databehandlingspipeline med ett indatasteg som deserialiserar inkommande data.
Konfigurera ett referensdatalager
Om du vill lägga till en datauppsättning i datalagret har du två alternativ:
- Välj fliken Referensdatauppsättningar på konfigurationssidan för pipelinen.
- Välj Skapa ny när måltypen har valts som Referensdatauppsättningar i utdatafasen för en pipeline.
Fält | beskrivning | Obligatoriskt | Exempel |
---|---|---|---|
Name | Namnet på datauppsättningen. | Ja | mes-sql |
beskrivning | Beskrivning av datamängden. | Nej | erp data |
Nyttolast | Sökväg till data i meddelandet som ska lagras i datauppsättningen | Nej | .payload |
Förfallotid | Tids giltighet för referensdata som tillämpas på varje inmatat meddelande. | Nej | 12h |
Tidsstämpel | Jq-sökvägen är för tidsstämpelfältet i referensdata. Det här fältet används för tidsstämpelbaserade kopplingar i berikningssteget. | Nej | .payload.saptimestamp |
Nycklar | Se konfiguration av nycklar i följande tabell. |
Tidsstämplar som refereras ska vara i tidsstämpelformatet RFC3339, ISO 8601 eller Unix.
Som standard är förfallotiden för en datauppsättning inställd på 24h
. Den här standardinställningen säkerställer att inga inaktuella data utökas längre än 24 timmar (om data inte uppdateras) eller växer obundna som kan fylla disken.
Varje nyckel innehåller:
Fält | beskrivning | Obligatoriskt | Urval | Exempel |
---|---|---|---|---|
Egenskapsnamn | Namnet på nyckeln. Den här nyckeln används för namnbaserade kopplingar i berikningssteget. | Nej | Ingen | assetSQL |
Egenskapssökväg | jq-sökväg till nyckeln i meddelandet | Nej | Ingen | .payload.unique_id |
Primärnyckel | Avgör om egenskapen är en primärnyckel. Används för att uppdatera eller lägga till inmatade data i en datauppsättning. | Nej | Yes /No |
Yes |
Nycklar i datauppsättningen krävs inte, men vi rekommenderar att du håller datamängden uppdaterad.
Viktigt!
Kom ihåg att .payload
läggs till automatiskt i jq-sökvägen. Referensdata lagrar endast data i .payload
meddelandets objekt. Ange sökvägen exklusive .payload
prefixet.
Dricks
Det tar några sekunder att distribuera datamängden till klustret och bli synlig i datamängdslistan.
Följande kommentarer gäller konfigurationsalternativen för datauppsättningen i de föregående tabellerna:
- Egenskapsnamn är skiftlägeskänsliga.
- Du kan ha upp till 10 egenskaper per datauppsättning.
- Endast en primärnyckel kan väljas i varje datauppsättning.
- Strängen är den enda giltiga datatypen för datamängdens nyckelvärden.
- Primära nycklar används för att uppdatera eller lägga till inmatade data i en datauppsättning. Om ett nytt meddelande kommer in med samma primärnyckel uppdateras den tidigare posten. Om ett nytt värde kommer in för primärnyckeln läggs den nya nyckeln och det associerade värdet till i datauppsättningen
- Tidsstämpeln i referensdatauppsättningen används för tidsstämpelbaserade kopplingsvillkor i berikande fasen.
- Du kan använda transformeringssteget för att överföra data till nyttolastobjektet eftersom referensdatauppsättningar endast lagrar data i
.payload
meddelandets objekt och exkluderar associerade metadata.
Visa dina datauppsättningar
Så här visar du tillgängliga datauppsättningar:
- Välj Referensdatauppsättningar i pipelineredigerarens upplevelse. En lista över alla tillgängliga datauppsättningar visas i vyn Referensdatauppsättningar .
- Välj en datauppsättning för att visa dess konfigurationsinformation, inklusive datamängdsnycklar och tidsstämplar.
Exempel
I det här exemplet beskrivs en tillverkningsanläggning där flera utrustningsdelar installeras på olika platser. Ett ERP-system spårar installationerna, lagrar data i databasen och registrerar följande information för varje utrustning: namn, plats, installationsdatum och ett booleskt värde som anger om det är en reserv. Till exempel:
utrustning | plats | installationDate | isSpare |
---|---|---|---|
Ugn | Seattle | 3/5/2002 | Falskt |
Mixer | Tacoma | 11/15/2005 | Falskt |
Segment | Seattle | 4/25/2021 | Sant |
Dessa ERP-data är en användbar källa till kontextuella data för tidsseriedata som kommer från varje plats. Du kan skicka dessa data till dataprocessorn för lagring i en referensdatauppsättning och använda dem för att utöka meddelanden i andra pipelines.
När du skickar data från en databas, till exempel Microsoft SQL Server, till dataprocessorn, deserialiserar den till ett format som den kan bearbeta. Följande JSON visar ett exempel på nyttolast som representerar data från en databas i dataprocessorn:
{
"payload": {
{
"equipment": "Oven",
"location": "Seattle",
"installationDate": "2002-03-05T00:00:00Z",
"isSpare": "FALSE"
},
{
"equipment": "Mixer",
"location": "Tacoma",
"installationDate": "2005-11-15T00:00:00Z",
"isSpare": "FALSE"
},
{
"equipment": "Slicer",
"location": "Seattle",
"installationDate": "2021-04-25T00:00:00Z",
"isSpare": "TRUE"
}
}
}
Använd följande konfiguration för referensdatauppsättningen:
Fält | Exempel |
---|---|
Name | equipment |
Tidsstämpel | .installationDate |
Förfallotid | 12h |
De två nycklarna:
Fält | Exempel |
---|---|
Egenskapsnamn | equipment name |
Egenskapssökväg | .equipment |
Primärnyckel | Ja |
Fält | Exempel |
---|---|
Egenskapsnamn | location |
Egenskapssökväg | .location |
Primärnyckel | Nej |
Varje datauppsättning kan bara ha en primärnyckel.
Alla inkommande data i pipelinen lagras i datamängden equipment
i referensdatalagret. Lagrade data innehåller tidsstämpeln installationDate
och nycklar som equipment name
och location
.
Dessa egenskaper är tillgängliga i berikningsstegen i andra pipelines där du kan använda dem för att ge kontext och lägga till ytterligare information i de meddelanden som bearbetas. Du kan till exempel använda dessa data för att komplettera sensoravläsningar från en viss utrustning med installationsdatum och plats. Mer information finns i fasen Berika .
I datauppsättningen equipment
equipment name
fungerar nyckeln som primärnyckel. När den här pipelinen matar in nya data kontrollerar dataprocessorn den här egenskapen för att avgöra hur inkommande data ska hanteras:
- Om ett meddelande kommer med en
equipment name
nyckel som ännu inte finns i datamängden (till exempelPump
) lägger dataprocessorn till en ny post i datauppsättningen. Den här posten innehåller den nyaequipment name
typen och dess associerade data, till exempellocation
,installationDate
ochisSpare
. - Om ett meddelande kommer med en
equipment name
nyckel som matchar en befintlig post i datamängden (till exempelSlicer
) uppdaterar dataprocessorn posten. Associerade data för utrustningen, till exempellocation
,installationDate
ochisSpare
uppdateras med värdena från det inkommande meddelandet.
Datamängden equipment
i referensdatalagret är en uppdaterad informationskälla som kan förbättra och kontextualisera data som flödar genom andra pipelines i dataprocessorn med hjälp av Enrich
fasen.