Zpracování dat na hraničních zařízeních pomocí kanálů Azure IoT Data Processor Preview
Důležité
Azure IoT Operations Preview – Služba Azure Arc je aktuálně ve verzi PREVIEW. Tento software ve verzi Preview byste neměli používat v produkčních prostředích.
Právní podmínky, které platí pro funkce Azure, které jsou ve verzi beta, verzi Preview nebo které zatím nejsou veřejně dostupné, najdete v Dodatečných podmínkách použití pro Microsoft Azure verze Preview.
Průmyslové prostředky generují data v mnoha různých formátech a používají různé komunikační protokoly. Tato rozmanitost zdrojů dat v kombinaci s různými schématy a jednotkovými mírami znesnadňuje efektivní použití a analýzu nezpracovaných průmyslových dat. Z důvodů dodržování předpisů, zabezpečení a výkonu navíc nemůžete nahrát všechny datové sady do cloudu.
Pro zpracování těchto dat tradičně vyžaduje nákladné, složité a časově náročné datové inženýrství. Azure IoT Data Processor Preview je konfigurovatelná služba pro zpracování dat, která dokáže spravovat složitosti a rozmanitost průmyslových dat. Pomocí Zpracovatele dat můžete vytvářet data z různorodých zdrojů srozumitelnějších, použitelných a cenných.
Co je Azure IoT Data Processor Preview?
Azure IoT Data Processor Preview je součástí Azure IoT Operations Preview. Zpracovatel dat umožňuje agregovat, rozšiřovat, normalizovat a filtrovat data ze zařízení. Zpracovatel dat je modul pro zpracování dat založený na kanálu, který umožňuje zpracovávat data na hraničních zařízeních předtím, než je odešlete do ostatních služeb na hraničních zařízeních nebo v cloudu:
Zpracovatel dat ingestuje streamovaná data ze zdrojů, jako jsou servery OPC UA, historici a další průmyslové systémy. Tato data normalizuje převodem různých formátů dat do standardizovaného strukturovaného formátu, který usnadňuje dotazování a analýzu. Zpracovatel údajů může také data kontextovat a rozšířit je o referenční data nebo poslední známé hodnoty (LKV), aby poskytl komplexní přehled o vašich průmyslových operacích.
Výstup zpracovatele dat je čistý, obohacený a standardizovaná data, která jsou připravená pro podřízené aplikace, jako jsou analytické nástroje a nástroje pro přehledy v reálném čase. Zpracovatel dat výrazně zkracuje dobu potřebnou k transformaci nezpracovaných dat na užitečné přehledy.
Mezi klíčové funkce zpracovatele dat patří:
Flexibilní normalizace dat pro převod více formátů dat na standardizovanou strukturu.
Rozšiřování datových proudů s odkazy nebo daty LKV za účelem vylepšení kontextu a umožnění lepších přehledů
Integrovaná integrace Microsoft Fabric pro zjednodušení analýzy čistých dat
Schopnost zpracovávat data z různých zdrojů a publikovat je do různých cílů.
Jako platforma pro zpracování dat nezávislá na datech může zpracovatel dat ingestovat data v libovolném formátu, zpracovávat data a pak je zapisovat do cíle. Aby bylo možné tyto funkce podporovat, může zpracovatel dat deserializovat a serializovat různé formáty. Může například serializovat parquet za účelem zápisu souborů do Microsoft Fabric.
Automatické a konfigurovatelné zásady opakování pro zpracování přechodných chyb při odesílání dat do cílů cloudu.
Co je kanál?
Kanál zpracovatele dat má vstupní zdroj, ze kterého čte data, cíl, do kterého zapisuje zpracovávaná data, a proměnlivý počet přechodných fází pro zpracování dat.
Mezifázové fáze představují různé dostupné možnosti zpracování dat:
- Do kanálu můžete přidat tolik přechodných fází, kolik potřebujete.
- Přechodné fáze kanálu můžete uspořádat podle potřeby. Po vytvoření kanálu můžete změnit pořadí fází.
- Každá fáze dodržuje definované rozhraní implementace a kontrakt schématu vstupu a výstupu.
- Každá fáze je nezávislá na ostatních fázích kanálu.
- Všechny fáze fungují v rámci oboru oddílu. Data se mezi různými oddíly nesdílí.
- Data proudí pouze z jedné fáze do další.
Kanály zpracovatele dat můžou používat následující fáze:
| Fáze | Popis |
|---|---|
| Zdroj – MQ | Načte data zprostředkovatele MQTT. |
| Zdroj – koncový bod HTTP | Načte data z koncového bodu HTTP. |
| Zdroj – SQL | Načte data z databáze Microsoft SQL Serveru. |
| Zdroj – InfluxDB | Načte data z databáze InfluxDB. |
| Filtr | Filtruje data procházející fází. Vyfiltrujte například všechny zprávy s teplotou 50F-150F mimo rozsah. |
| Transformace | Normalizuje strukturu dat. Například změňte strukturu z {"Name": "Temp", "value": 50} na {"temp": 50}. |
| LKV | Ukládá vybrané hodnoty metrik do úložiště LKV. Například do LKV uložte pouze měření teploty a vlhkosti, ignorujte zbytek. Další fáze může rozšířit zprávu o uložených datech LKV. |
| Obohatit | Rozšiřuje zprávy o data z referenčního úložiště dat. Přidejte například název operátoru a číslo lotu z datové sady operací. |
| Agregovat | Agreguje hodnoty procházející fází. Například když se hodnoty teploty odesílají každých 100 milisekund, vygenerují průměrnou metriku teploty každých 30 sekund. |
| Bublinový popisek | Volá externí službu HTTP nebo gRPC. Voláním funkce Azure Functions můžete například převést z vlastního formátu zprávy na JSON. |
| Cíl – MQ | Zapíše zpracovávaná, čistá a kontextová data do tématu MQTT. |
| Cíl – referenční dokumentace | Zapíše zpracovávaná data do integrovaného referenčního úložiště. Jiné kanály můžou k obohacení svých zpráv použít referenční úložiště. |
| Cíl – gRPC | Odešle zpracovávaná, čistá a kontextová data do koncového bodu gRPC. |
| Cíl – HTTP | Odešle zpracovávaná, čistá a kontextová data do koncového bodu HTTP. |
| Cíl – Fabric Lakehouse | Odešle zpracovávaná, čistá a kontextová data do Microsoft Fabric Lakehouse v cloudu. |
| Cíl – Azure Data Explorer | Odešle zpracovávaná, čistá a kontextová data do koncového bodu Azure Data Exploreru v cloudu. |
| Cíl – Azure Blob Storage | Odešle zpracovávaná, čistá a kontextová data do koncového bodu služby Azure Blob Storage v cloudu. |
Další krok
Pokud si chcete vyzkoušet kanály zpracovatele dat, projděte si rychlé starty operací Azure IoT.
Další informace o zpracovateli dat najdete tady: