使用 Azure IoT 數據處理器預覽管線在邊緣處理數據

重要

已啟用 Azure Arc 的 Azure IoT 操作預覽版目前為預覽狀態。 請勿在生產環境使用此預覽版軟體。

請參閱 Microsoft Azure 預覽版增補使用規定，以了解適用於 Azure 功能 (搶鮮版 (Beta)、預覽版，或尚未正式發行的版本) 的法律條款。

工業資產會產生許多不同格式的資料，並使用各種通訊協定。 這種資料來源的多樣性，加上不同的結構描述和單位量值，使得難以有效地使用及分析原始工業資料。 此外，基於合規性、安全性和效能考量，您無法將所有資料集上傳至雲端。

若要處理此資料，傳統上需要昂貴、複雜且耗時的資料工程。 Azure IoT 數據處理者預覽是可設定的數據處理服務，可管理產業數據的複雜性和多樣性。 使用資料處理器讓不同來源的資料更容易理解、可用且有價值。

什麼是 Azure IoT 數據處理器預覽？

Azure IoT 數據處理器預覽是 Azure IoT 作業預覽的選擇性元件。 資料處理器可協助您彙總、擴充、正規化及篩選來自裝置的資料。 資料處理器為管線型資料處理引擎，可協助您先在邊緣處理資料，再傳送至邊緣或雲端中的其他服務：

資料處理者會從 OPC UA 伺服器、歸檔工具和其他工業系統等來源擷取即時串流資料。 它會藉由將各種資料格式轉換成標準結構化格式來正規化此資料，讓查詢和分析變得更容易。 資料處理器也可將資料情境化，用參考資料或上一個已知的值 (LKV) 來擴充資料，以提供產業作業的完整檢視。

資料處理器的輸出是全新、擴充和標準化的資料，可供下游即時分析和深入解析工具等應用程式使用。 資料處理器可大幅減少將原始資料轉換成可採取動作深入解析所需的時間。

資料處理器主要功能包括：

• 彈性資料正規化，可將多個資料格式轉換成標準化結構。

• 使用參考或 LKV 資料擴充資料串流，以增強內容並啟用更佳的深入解析。

• 內建 Microsoft Fabric 整合，以簡化清除資料的分析。

• 能夠處理來自各種來源的資料，並將資料發佈至各種目的地。

• 作為資料無關的資料處理平台，資料處理器可以使用任何格式擷取資料、處理資料，然後將資料寫至目的地。 為了支持這些功能，資料處理器可以還原序列化和序列化各種格式。 例如，它可以序列化為 parquet，以便將檔案寫入 Microsoft Fabric。

• 將數據傳送至雲端目的地時，自動且可設定的重試原則，以處理暫時性錯誤。

部署數據處理者

根據預設，數據處理器不會包含在 Azure IoT Operations Preview 部署中。 如果您打算使用數據處理器，則必須在部署 Azure IoT Operations Preview 時包含它 - 您稍後無法新增它。 若要部署數據處理器，請在執行 az iot ops init 命令時使用 --include-dp 自變數。 若要深入瞭解，請參閱 將 Azure IoT Operations Preview 延伸模組部署至 Kubernetes 叢集。

什麼是管線？

資料處理器管線具有輸入來源，可從中讀取資料、將資料寫入目的地，還有可變的中繼階段數量來處理資料。

中繼階段代表不同的可用資料處理功能：

• 您可以新增所要的中繼階段數量至管線。
• 您可以視需要排序管線的中繼階段。 您可以在建立管線之後重新排序階段。
• 每個階段都遵守定義的實作介面和輸入/輸出結構描述合約。
• 每個階段都與管線中的其他階段無關。
• 所有階段都會在分割區的範圍內運作。 資料不會在不同的分割區之間共用。
• 資料只會從一個階段流向下一個階段。

資料處理器管線可以使用下列階段：

階段	描述
來源 - MQ	從 MQTT 代理擷取資料。
來源 - HTTP 端點	從 HTTP 端點擷取資料。
來源 - SQL	從 Microsoft SQL Server 資料庫擷取資料。
來源 - InfluxDB	從 InfluxDB 資料庫擷取數據。
Filter	篩選來自階段的資料。 例如，篩選除去溫度超出 50F-150F 範圍外的任何訊息。
轉換	正規化資料結構。 例如，將結構從 {"Name": "Temp", "value": 50} 變更為 {"temp": 50}。
LKV	將選取的計量值儲存到 LKV 存放區。 例如，只將溫度和濕度測量儲存到 LKV 中，忽略其餘部分。 後續階段可以使用儲存的 LKV 資料來擴充訊息。
擴充	使用參考資料存放區中的資料擴充訊息。 例如，從作業資料集新增運算子名稱和批號。
彙總	彙總通過階段的值。 例如，每 100 毫秒傳送溫度值時，每隔 30 秒發出平均溫度計量。
呼叫	呼叫外部 HTTP 或 gRPC 服務。 例如，呼叫 Azure 函式，將自訂訊息格式轉換成 JSON。
目的地 - MQ	將已處理、清除和內容化的數據寫入 MQTT 主題。
目的地 - 參考	將已處理的資料寫入內建參考存放區。 其他管線可以使用參考存放區來擴充其訊息。
目的地 - gRPC	將已處理、清除和內容化的數據傳送至 gRPC 端點。
目的地 - HTTP	將已處理、清除和內容化的數據傳送至 HTTP 端點。
目的地 - Fabric Lakehouse	將已處理、清除和內容化的數據傳送至雲端中的 Microsoft Fabric Lakehouse。
目的地 - Azure 資料總管	將已處理、清除和內容化的數據傳送至雲端中的 Azure 數據總管端點。

後續步驟

若要試用資料處理器管線，請參閱 Azure IoT 操作快速入門。

若要深入了解資料處理器，請參閱：

• 訊息結構概觀
• 序列化及還原序列化格式概觀