數據流可讓您連接各種數據源並執行資料作業,簡化數據路徑的設定,以移動、轉換及擴充數據。 數據流元件是 Azure IoT 作業的一部分,其部署為 Azure Arc 延伸模組。 數據流的設定是透過 Kubernetes 自訂資源定義 (CRD) 來完成。
您可以撰寫各種使用案例的組態,例如:
- 轉換資料並將其傳回 MQTT
- 轉換資料並將其傳送至雲端
- 在不轉換的情況下將資料傳送至雲端或邊緣
數據流不限於部署IoT作業實例的區域。 您可以使用資料流將資料傳送至不同區域中的雲端端點。
主要功能
以下是數據流的主要功能。
資料處理和路由傳送
數據流可讓訊息擷取、處理和路由傳送至指定的接收。 您可以指定:
- 來源:從中擷取訊息的位置
- 目的地:將訊息清空到何處,包括根據 MQTT 端點的訊息內容支援動態主題路由
- 轉換 (選用):資料處理作業的組態
變換功能
轉換可以在處理階段套用至資料,以執行各種作業。 這些作業可能包括:
- 計算新屬性:根據訊息中的現有屬性
- 重新命名屬性:標準化或釐清資料
- 轉換單位:將值轉換成不同的度量單位
- 標準化值:將屬性值調整為使用者定義的範圍
- 內容化資料:將參考資料新增至訊息以便充實和推動深入解析
設定和部署
組態是使用 Kubernetes CRD 來指定。 根據此設定,數據流運算符會建立數據流實例,以確保高可用性和可靠性。
福利
- 簡化的設定:輕鬆地連接數據源和目的地。
- 彈性轉換:執行各種不同的數據作業。
- 可調整的組態:使用 Kubernetes CRD 進行可調整且可管理的設定。
- 高可用性:Kubernetes 原生資源可確保可靠性。
藉由使用數據流,您可以有效率地管理數據路徑。 您可以確保數據正確傳送、轉換和擴充,以符合您的作業需求。
架構登錄
架構登錄是 Azure Device Registry 所提供的功能,是雲端和邊緣的同步存放庫。 架構登錄會儲存來自邊緣資產的訊息定義,然後公開 API 以存取邊緣的這些架構。 OPC UA 連接器之類的南行連接器可以建立訊息架構,並將其新增至架構登錄,或者客戶可以將架構上傳至作業體驗 Web UI。
數據流會使用訊息架構,將訊息轉換成目的地端點所預期的格式。
如需詳細資訊,請參閱 瞭解訊息架構。
本地 MQTT 代理程式端點的訊息儲存
當您使用本機 MQTT 訊息代理程式做為數據流中的來源端點時,訊息會在數據流與目的地端點之間的連線中斷期間儲存。 例如,假設您使用預設的本機 MQTT 訊息代理程式作為來源端點和 Azure 事件中樞作為目的地端點來建立數據流。 如果數據流與 Azure 事件中樞之間的連線中斷,訊息會儲存在 MQTT 訊息代理程式訂閱者消息佇列中。 還原連線時,數據流會將訂閱者消息佇列中的訊息傳送至 Azure 事件中樞。
本機 MQTT 訊息佇列預設會儲存在記憶體中。 您可以使用磁碟支援的訊息緩衝區設定,將 MQTT 訊息代理程式設定為將訊息儲存在磁碟上。 如需 MQTT 訊息代理程式組態的詳細資訊,請參閱 設定高可用性、調整和記憶體使用量的訊息代理程式設定。 如需磁碟儲存的訊息緩衝區的詳細資訊,請參閱 設定磁碟儲存的訊息緩衝區行為。