Share via

Microsoft Fabric 事件串流 - 概觀

  • 發行項

Microsoft Fabric 即時智慧 體驗中的事件串流功能可讓您將即時事件帶入 Fabric、轉換事件，然後將事件路由傳送至各種目的地，而不需要撰寫任何程式代碼（無程式碼）。 您可以建立 Eventstream，這是 Fabric 中 Eventstream 專案的實例、將事件數據源新增至數據流、選擇性新增轉換以轉換事件數據，然後將數據路由傳送至支援的目的地。

將事件帶入網狀架構

事件串流功能提供您各種來源連接器，以從各種來源擷取事件數據。 當您在建立事件串流時啟用 增強功能 時，有更多可用的來源。

重要

Fabric 事件數據流的增強功能目前為預覽狀態。

來源 描述
Azure 事件中樞 如果您有 Azure 事件中樞，您可以使用 Eventstream 將事件中樞數據內嵌至 Microsoft Fabric。
Azure IoT 中樞 如果您有 Azure IoT 中樞，您可以使用 Eventstream 將 IoT 數據內嵌至 Microsoft Fabric。
Azure SQL 資料庫 異動數據擷取 （CDC） Azure SQL 資料庫 CDC 來源連接器可讓您擷取 Azure SQL 資料庫中目前數據的快照集。 接著，連接器會監視並記錄此數據的任何未來數據列層級變更。
Postgre SQL 資料庫 CDC Postgre SQL 資料庫 異動數據擷取 （CDC） 來源連接器可讓您擷取 PostgreSQL 資料庫中目前數據的快照集。 接著，連接器會監視並記錄此數據的任何未來數據列層級變更。
我的 SQL 資料庫 CDC Azure My SQL 資料庫 異動數據擷取 （CDC） 來源連接器可讓您擷取 適用於 MySQL 的 Azure 資料庫 資料庫中目前數據的快照集。 您可以指定要監視的數據表，而 eventstream 會記錄數據表的任何未來數據列層級變更。
Azure Cosmos DB CDC 適用於 Microsoft Fabric 事件數據流的 Azure Cosmos DB 異動數據擷取 （CDC） 來源連接器可讓您擷取 Azure Cosmos DB 資料庫中目前數據的快照集。 接著，連接器會監視並記錄此數據的任何未來數據列層級變更。
Google Cloud Pub/Sub Google Pub/Sub 是一項傳訊服務，可讓您發佈和訂閱事件的串流。 您可以將Google Pub/Sub新增為事件串流的來源，以擷取、轉換和路由即時事件至 Fabric 中的各種目的地。
Amazon Kinesis 數據流 Amazon Kinesis 數據流是可大幅調整、高度持久性的數據擷取，以及針對串流數據優化的處理服務。 藉由將 Amazon Kinesis 數據流整合為事件數據流內的來源，您就可以順暢地處理即時數據流，再將它們路由傳送至 Fabric 內的多個目的地。
Confluent Cloud Kafka Confluent Cloud Kafka 是一個串流平臺，使用 Apache Kafka 提供功能強大的數據流和處理功能。 藉由將 Confluent Cloud Kafka 整合為事件串流中的來源，您就可以順暢地處理實時數據流，再將它們路由至 Fabric 內的多個目的地。
Azure Blob 儲存體 事件 當用戶端建立、取代或刪除 Blob 時，就會觸發 Azure Blob 儲存體 事件。 連接器可讓您將 Blob 儲存體 事件連結至即時中樞的 Fabric 事件。 您可以將這些事件轉換成連續數據流，並在將事件路由至 Fabric 中的各種目的地之前加以轉換。
Fabric 工作區專案事件 Fabric 工作區專案事件是對網狀架構工作區進行變更時發生的離散網狀架構事件。 這些變更包括建立、更新或刪除 Fabric 專案。 使用 Fabric 事件串流，您可以擷取這些 Fabric 工作區事件、轉換它們，並將其路由傳送至 Fabric 中的各種目的地，以進行進一步分析。
範例資料 您可以選擇 [自行車]、[黃色計程車] 或 [股票市場] 事件作為範例數據源，以在設定事件串流時測試數據擷取。
自訂端點 （先前的自訂應用程式） 自定義端點功能可讓您的應用程式或 Kafka 用戶端使用 連接字串 連線到 Eventstream，讓串流數據順利擷取到 Eventstream。

使用無程式代碼體驗處理事件

拖放體驗可讓您直覺且輕鬆地建立事件數據處理、轉換和路由邏輯，而不需要撰寫任何程序代碼。 事件數據流中的端對端數據流流程圖可讓您全面了解數據流和組織。 事件處理器編輯器是一種無程式代碼體驗，可讓您拖放以設計事件數據處理邏輯。

轉換 描述
Filter 使用篩選轉換，根據輸入中的欄位值篩選事件。 根據資料型態（數位或文字），轉換會保留符合所選取條件的值，例如 is null 或 is not null。
管理欄位 [管理欄位] 轉換可讓您新增、移除、變更數據類型，或重新命名來自輸入或其他轉換的欄位。
彙總 使用匯總轉換來計算匯總（總和、最小值、最大值或平均），每次在一段時間內發生新事件時。 這項作業也可讓您重新命名這些計算結果欄，並根據資料中的其他維度來篩選或切割彙總。 您可以在相同的轉換中具有一或多個彙總。
分組依據 使用群組依據轉換來計算特定時間範圍內所有事件的彙總。 您可以依一或多個欄位中的值進行分組。 其和彙總轉換一樣可讓您重新命名計算結果欄，但提供更多彙總選項，且包含更複雜的時間範圍選項。 也像彙總一樣，您可以為每個轉換新增多個彙總。
Union 使用聯集轉換來連接兩個或多個節點，並將具有共用欄位的事件（具有相同名稱和數據類型）新增至一個數據表。 不相符的欄位將會卸除，且不會包含在輸出中。
展開 使用 [展開陣列] 轉換針對陣列內的每個值建立新的資料列。
聯結 使用聯結轉換，根據兩個數據流之間的比對條件結合數據。

如果您在建立事件串流時啟用 增強功能 ，則所有目的地都支援轉換作業（使用衍生數據流做為某些目的地的中繼網橋，例如自定義端點、Reflex）。 如果沒有，轉換作業僅適用於 Lakehouse 和 KQL Database（擷取之前的事件處理）目的地。

將事件路由傳送至目的地

Fabric 事件串流功能支援將數據傳送至下列支援的目的地。

Destination 描述
自訂端點 （先前的自訂應用程式） 透過此目的地，您可以輕鬆地將即時事件路由傳送至自定義端點。 您可以將自己的應用程式連線到 Eventstream，並即時取用事件數據。 當您想要將即時數據輸出至 Microsoft Fabric 外部的外部系統時，此目的地很有用。
KQL 資料庫 此目的地可讓您將即時事件資料內嵌至 KQL 資料庫，您可以使用功能強大的 Kusto 查詢語言 （KQL） 來查詢和分析數據。 透過 Kusto 資料庫中的數據，您可以深入瞭解事件數據，並建立豐富的報表和儀錶板。 您可以選擇兩種擷取模式： 直接擷取 和 事件處理，再擷取。
Lakehouse 此目的地可讓您在將即時事件擷取到 Lakehouse 之前轉換即時事件。 即時事件會轉換成 Delta Lake 格式，然後儲存在指定的 Lakehouse 數據表中。 此目的地支持數據倉儲案例。
Reflex 此目的地可讓您將即時事件數據直接連線到 Reflex。 Reflex 是一種智慧型手機代理程式，其中包含連線到數據、監視條件及採取行動所需的所有資訊。當數據達到特定閾值或符合其他模式時，Reflex 會自動採取適當的動作，例如警示使用者或啟動 Power Automate 工作流程。
衍生串流 衍生數據流是一種特製化的目的地類型，您可以在將串流作業，例如篩選或管理欄位新增至事件數據流之後建立。 衍生數據流代表數據流處理之後轉換的預設數據流。 您可以將衍生數據流路由至 Fabric 中的多個目的地，並在即時中樞檢視衍生數據流。

您可以在事件串流中附加多個目的地，以同時接收來自事件數據流的數據，而不會互相干擾。

顯示 Eventstream 專案概觀的螢幕快照。

注意

建議您使用至少 4 個容量單位的 Microsoft Fabric 事件串流功能（SKU：F4）

增強功能（預覽）

當您在建立事件串流時啟用 增強功能 （預覽） 選項時，有更多功能、來源和目的地可供使用。 使用增強功能（預覽）和標準功能索引標籤，了解增強功能所支援的其他來源和目的地。

以下是增強功能的其他一些值得注意的功能（預覽）：

  • 編輯模式和實時檢視。 探索兩種不同的模式，以可視化和設計串流處理。
  • 預設和衍生數據流。 使用您設計的格式建立數據流的連續流程，以及稍後可在即時中樞取用的事件處理器。
  • 根據內容進行數據流路由。 根據您使用事件處理器所設計的數據流內容，在 Fabric 內的任何位置轉換和路由您的數據流。

相關內容