Przetwarzanie danych na brzegu za pomocą potoków przetwarzania danych usługi Azure IoT w wersji zapoznawczej

Ważne

Usługa Azure IoT Operations Preview — włączona przez usługę Azure Arc jest obecnie dostępna w wersji zapoznawczej. Nie należy używać tego oprogramowania w wersji zapoznawczej w środowiskach produkcyjnych.

Zobacz Dodatkowe warunki użytkowania wersji zapoznawczych platformy Microsoft Azure, aby zapoznać się z postanowieniami prawnymi dotyczącymi funkcji platformy Azure, które są w wersji beta lub wersji zapoznawczej albo w inny sposób nie zostały jeszcze wydane jako ogólnie dostępne.

Zasoby przemysłowe generują dane w wielu różnych formatach i używają różnych protokołów komunikacyjnych. Ta różnorodność źródeł danych, w połączeniu z różnych schematów i miar jednostkowych, utrudnia efektywne używanie i analizowanie nieprzetworzonych danych przemysłowych. Ponadto ze względu na zgodność, bezpieczeństwo i wydajność nie można przekazać wszystkich zestawów danych do chmury.

Przetwarzanie tych danych tradycyjnie wymaga kosztownej, złożonej i czasochłonnej inżynierii danych. Wersja zapoznawcza procesora danych usługi Azure IoT to konfigurowalna usługa przetwarzania danych, która może zarządzać złożonościami i różnorodnością danych przemysłowych. Użyj procesora danych, aby dane z różnych źródeł było bardziej zrozumiałe, użyteczne i cenne.

Co to jest wersja zapoznawcza procesora danych usługi Azure IoT?

Wersja zapoznawcza procesora danych usługi Azure IoT jest opcjonalnym składnikiem usługi Azure IoT Operations Preview. Procesor danych umożliwia agregowanie, wzbogacanie, normalizację i filtrowanie danych z urządzeń. Procesor danych to aparat przetwarzania danych oparty na potoku, który umożliwia przetwarzanie danych na brzegu sieci przed wysłaniem ich do innych usług na brzegu lub w chmurze:

Procesor danych pozyskuje dane przesyłane strumieniowo w czasie rzeczywistym ze źródeł, takich jak serwery OPC UA, historycy i inne systemy przemysłowe. Normalizuje te dane, konwertując różne formaty danych na ustandaryzowany, ustrukturyzowany format, co ułatwia wykonywanie zapytań i analizowanie. Podmiot przetwarzający dane może również kontekstować dane, wzbogacając je danymi referencyjnymi lub ostatnimi znanymi wartościami (LKV), aby zapewnić kompleksowy widok operacji przemysłowych.

Dane wyjściowe z procesora danych są czyste, wzbogacone i ustandaryzowane dane, które są gotowe do obsługi aplikacji podrzędnych, takich jak analiza w czasie rzeczywistym i narzędzia do analizy szczegółowych informacji. Procesor danych znacznie skraca czas wymagany do przekształcenia danych pierwotnych w szczegółowe informacje umożliwiające podejmowanie działań.

Najważniejsze funkcje procesora danych obejmują:

• Elastyczna normalizacja danych w celu konwertowania wielu formatów danych na ustandaryzowaną strukturę.

• Wzbogacanie strumieni danych przy użyciu odwołań lub danych LKV w celu ulepszenia kontekstu i umożliwienia lepszego wglądu w szczegółowe informacje.

• Wbudowana integracja z usługą Microsoft Fabric w celu uproszczenia analizy czystych danych.

• Możliwość przetwarzania danych z różnych źródeł i publikowania danych w różnych miejscach docelowych.

• Jako niezależna platforma przetwarzania danych procesor danych może pozyskiwać dane w dowolnym formacie, przetwarzać dane, a następnie zapisywać je w miejscu docelowym. Aby obsługiwać te możliwości, procesor danych może deserializować i serializować różne formaty. Na przykład można serializować do parquet, aby zapisywać pliki w usłudze Microsoft Fabric.

• Automatyczne i konfigurowalne zasady ponawiania w celu obsługi błędów przejściowych podczas wysyłania danych do miejsc docelowych w chmurze.

Wdrażanie procesora danych

Domyślnie procesor danych nie jest uwzględniony we wdrożeniu usługi Azure IoT Operations Preview. Jeśli planujesz używać procesora danych, musisz uwzględnić go podczas wdrażania usługi Azure IoT Operations Preview — nie możesz dodać jej później. Aby wdrożyć procesor danych, użyj argumentu --include-dp podczas uruchamiania polecenia az iot ops init . Aby dowiedzieć się więcej, zobacz Wdrażanie rozszerzeń usługi Azure IoT Operations w wersji zapoznawczej w klastrze Kubernetes.

Co to jest potok?

Potok procesora danych ma źródło wejściowe, z którego odczytuje dane, miejsce docelowe, w którym zapisuje przetworzone dane, oraz zmienną liczbę etapów pośrednich do przetwarzania danych.

Etapy pośrednie reprezentują różne dostępne możliwości przetwarzania danych:

• Do potoku można dodać dowolną liczbę etapów pośrednich.
• Etapy pośrednie potoku można porządkować zgodnie z potrzebami. Etapy można zmienić kolejność po utworzeniu potoku.
• Każdy etap jest zgodny ze zdefiniowanym interfejsem implementacji i kontraktem schematu wejściowego/wyjściowego.
• Każdy etap jest niezależny od innych etapów w potoku.
• Wszystkie etapy działają w zakresie partycji. Dane nie są udostępniane między różnymi partycjami.
• Dane przepływa z jednego etapu do następnego.

Potoki przetwarzania danych mogą używać następujących etapów:

Etap	opis
Źródło — MQ	Pobiera dane z brokera MQTT.
Źródło — punkt końcowy HTTP	Pobiera dane z punktu końcowego HTTP.
Źródło — SQL	Pobiera dane z bazy danych programu Microsoft SQL Server.
Źródło — InfluxDB	Pobiera dane z bazy danych InfluxDB.
Filtr	Filtruje dane przechodzące przez etap. Na przykład odfiltruj dowolny komunikat z temperaturą spoza 50F-150F zakresu.
Przekształcać	Normalizuje strukturę danych. Na przykład zmień strukturę z {"Name": "Temp", "value": 50} na {"temp": 50}.
LKV	Przechowuje wybrane wartości metryk w magazynie LKV. Na przykład przechowuj tylko pomiary temperatury i wilgotności w LKV, ignoruj resztę. Kolejny etap może wzbogacić komunikat o przechowywane dane LKV.
Wzbogacać	Wzbogaca komunikaty o dane z magazynu danych referencyjnych. Na przykład dodaj nazwę operatora i numer lotowy z zestawu danych operacji.
Agreguj	Agreguje wartości przechodzące przez etap. Na przykład gdy wartości temperatury są wysyłane co 100 milisekund, emituje średnią metrykę temperatury co 30 sekund.
Objaśnienie	Wykonuje wywołanie zewnętrznej usługi HTTP lub gRPC. Na przykład wywołaj funkcję platformy Azure, aby przekonwertować z niestandardowego formatu komunikatu na format JSON.
Miejsce docelowe — MQ	Zapisuje przetworzone, czyste i kontekstowe dane w temacie MQTT.
Miejsce docelowe — odwołanie	Zapisuje przetworzone dane w wbudowanym magazynie referencyjnym. Inne potoki mogą używać magazynu odwołań do wzbogacania komunikatów.
Miejsce docelowe — gRPC	Wysyła przetworzone, czyste i kontekstowe dane do punktu końcowego gRPC.
Miejsce docelowe — HTTP	Wysyła przetworzone, czyste i kontekstowe dane do punktu końcowego HTTP.
Miejsce docelowe — Fabric Lakehouse	Wysyła przetworzone, czyste i kontekstowe dane do usługi Microsoft Fabric lakehouse w chmurze.
Miejsce docelowe — Azure Data Explorer	Wysyła przetworzone, czyste i kontekstowe dane do punktu końcowego usługi Azure Data Explorer w chmurze.

Następny krok

Aby wypróbować potoki procesora danych, zobacz przewodniki Szybki start dotyczące operacji usługi Azure IoT.

Aby dowiedzieć się więcej na temat przetwarzania danych, zobacz:

• Omówienie struktury komunikatów
• Omówienie formatów serializacji i deserializacji