Gegevens aan de rand verwerken met pijplijnen voor gegevensverwerking
Belangrijk
Azure IoT Operations Preview: ingeschakeld door Azure Arc is momenteel in PREVIEW. Gebruik deze preview-software niet in productieomgevingen.
U moet een nieuwe Installatie van Azure IoT Operations implementeren wanneer er een algemeen beschikbare release beschikbaar wordt gesteld. U kunt geen preview-installatie upgraden.
Raadpleeg de Aanvullende voorwaarden voor Microsoft Azure-previews voor juridische voorwaarden die van toepassing zijn op Azure-functies die in bèta of preview zijn of die anders nog niet algemeen beschikbaar zijn.
Industriële assets genereren gegevens in veel verschillende indelingen en gebruiken verschillende communicatieprotocollen. Deze diversiteit aan gegevensbronnen, in combinatie met verschillende schema's en eenheidsmaatregelen, maakt het moeilijk om onbewerkte industriële gegevens effectief te gebruiken en te analyseren. Bovendien kunt u om naleving, beveiliging en prestatieredenen niet alle gegevenssets uploaden naar de cloud.
Voor het verwerken van deze gegevens is traditioneel dure, complexe en tijdrovende data engineering vereist. De gegevensverwerker is een configureerbare gegevensverwerkingsservice die de complexiteit en diversiteit van industriële gegevens kan beheren. Gebruik de gegevensprocessor om gegevens uit verschillende bronnen begrijpelijker, bruikbaarder en waardevoler te maken.
Wat is de gegevensverwerker?
De gegevensverwerker is een optioneel onderdeel van Azure IoT Operations Preview. Met de gegevensprocessor kunt u de gegevens van uw apparaten aggregeren, verrijken, normaliseren en filteren. De gegevensverwerker is een engine voor gegevensverwerking op basis van pijplijnen waarmee u gegevens aan de rand kunt verwerken voordat u deze naar de andere services verzendt aan de rand of in de cloud:
De gegevensprocessor neemt realtime streaminggegevens op uit bronnen zoals OPC UA-servers, historici en andere industriële systemen. Deze gegevens worden genormaliseerd door verschillende gegevensindelingen te converteren naar een gestandaardiseerde, gestructureerde indeling, waardoor u gemakkelijker query's kunt uitvoeren en analyseren. De gegevensprocessor kan de gegevens ook contextueel maken, deze verrijken met referentiegegevens of laatst bekende waarden (LKV) om een uitgebreid overzicht te geven van uw industriële activiteiten.
De uitvoer van de gegevensverwerker is schone, verrijkte en gestandaardiseerde gegevens die gereed zijn voor downstreamtoepassingen, zoals realtime analyse- en inzichtenhulpprogramma's. De gegevensverwerker vermindert de tijd die nodig is om onbewerkte gegevens te transformeren in bruikbare inzichten.
Belangrijke functies voor gegevensverwerker zijn onder andere:
Flexibele gegevensnormalisatie om meerdere gegevensindelingen te converteren naar een gestandaardiseerde structuur.
Verrijking van gegevensstromen met referentie- of LKV-gegevens om context te verbeteren en betere inzichten mogelijk te maken.
Ingebouwde Microsoft Fabric-integratie om de analyse van schone gegevens te vereenvoudigen.
Mogelijkheid om gegevens uit verschillende bronnen te verwerken en de gegevens naar verschillende bestemmingen te publiceren.
Als gegevensagnostisch gegevensverwerkingsplatform kan de gegevensverwerker gegevens opnemen in elke indeling, de gegevens verwerken en vervolgens naar een bestemming schrijven. Ter ondersteuning van deze mogelijkheden kan de gegevensprocessor verschillende indelingen deserialiseren en serialiseren. Het kan bijvoorbeeld serialiseren naar Parquet om bestanden naar Microsoft Fabric te schrijven.
Beleid voor automatische en configureerbare nieuwe pogingen voor het afhandelen van tijdelijke fouten bij het verzenden van gegevens naar cloudbestemmingen.
De gegevensverwerker implementeren
De gegevensverwerker is standaard niet opgenomen in een Azure IoT Operations Preview-implementatie. Als u van plan bent om de gegevensverwerker te gebruiken, moet u deze opnemen wanneer u Azure IoT Operations Preview implementeert. U kunt deze later niet toevoegen. Als u de gegevensverwerker wilt implementeren, gebruikt u het --include-dp argument wanneer u de opdracht az iot ops init uitvoert. Zie Azure IoT Operations Preview implementeren in een Kubernetes-cluster met Arc voor meer informatie.
Wat is een pijplijn?
Een gegevensprocessorpijplijn heeft een invoerbron waaruit gegevens worden gelezen, een bestemming waar verwerkte gegevens naar worden geschreven en een variabel aantal tussenliggende fasen om de gegevens te verwerken.
De tussenliggende fasen vertegenwoordigen de verschillende beschikbare mogelijkheden voor gegevensverwerking:
- U kunt zoveel tussenliggende fasen toevoegen als u nodig hebt voor een pijplijn.
- U kunt de tussenliggende fasen van een pijplijn naar behoefte bestellen. Nadat u een pijplijn hebt gemaakt, kunt u de volgorde van fasen wijzigen.
- Elke fase voldoet aan een gedefinieerde implementatieinterface en een schemacontract voor invoer/uitvoer.
- Elke fase is onafhankelijk van de andere fasen in de pijplijn.
- Alle fasen werken binnen het bereik van een partitie. Gegevens worden niet gedeeld tussen verschillende partities.
- Gegevens stromen van de ene fase naar de volgende.
Pijplijnen voor gegevensverwerker kunnen de volgende fasen gebruiken:
| Fase | Beschrijving |
|---|---|
| Bron - MQ | Hiermee worden gegevens opgehaald van een MQTT-broker. |
| Bron - HTTP-eindpunt | Haalt gegevens op uit een HTTP-eindpunt. |
| Bron - SQL | Hiermee worden gegevens opgehaald uit een Microsoft SQL Server-database. |
| Bron - InstroomDB | Hiermee worden gegevens opgehaald uit een Instroomdatabase. |
| Filteren | Hiermee filtert u gegevens die in de fase komen. Filter bijvoorbeeld een bericht met temperatuur buiten het 50F-150F bereik. |
| Transformeren | Normaliseert de structuur van de gegevens. Wijzig bijvoorbeeld de structuur van {"Name": "Temp", "value": 50} in {"temp": 50}. |
| LKV | Hiermee worden geselecteerde metrische waarden opgeslagen in een LKV-archief. Sla bijvoorbeeld alleen temperatuur- en vochtigheidsmetingen op in LKV, negeer de rest. Een volgende fase kan een bericht verrijken met de opgeslagen LKV-gegevens. |
| Verrijken | Verrijkt berichten met gegevens uit het referentiegegevensarchief. Voeg bijvoorbeeld een operatornaam en een lotnummer toe uit de gegevensset voor bewerkingen. |
| Samenvoegen | Hiermee worden waarden geaggregeerd die door de fase worden doorgegeven. Wanneer temperatuurwaarden bijvoorbeeld elke 100 milliseconden worden verzonden, verzendt u elke 30 seconden een gemiddelde temperatuurmetriek. |
| Uitbellen | Hiermee wordt een aanroep naar een externe HTTP- of gRPC-service aangeroepen. Roep bijvoorbeeld een Azure-functie aan om te converteren van een aangepaste berichtindeling naar JSON. |
| Bestemming - MQ | Schrijft uw verwerkte, schone en contextuele gegevens naar een MQTT-onderwerp. |
| Bestemming - Naslaginformatie | Schrijft uw verwerkte gegevens naar het ingebouwde referentiearchief. Andere pijplijnen kunnen het referentiearchief gebruiken om hun berichten te verrijken. |
| Bestemming - gRPC | Verzendt uw verwerkte, schone en contextuele gegevens naar een gRPC-eindpunt. |
| Bestemming - HTTP | Verzendt uw verwerkte, schone en contextuele gegevens naar een HTTP-eindpunt. |
| Bestemming - Fabric Lakehouse | Verzendt uw verwerkte, schone en contextuele gegevens naar een Microsoft Fabric Lakehouse in de cloud. |
| Bestemming - Azure Data Explorer | Verzendt uw verwerkte, schone en contextuele gegevens naar een Azure Data Explorer-eindpunt in de cloud. |
Volgende stap
Zie voor meer informatie over de gegevensverwerker: