Microsoft Fabric 事件串流 - 概觀
Microsoft Fabric 即時智慧 體驗中的事件串流功能讓您將即時事件帶入 Fabric、轉換事件並將事件路由至不同目的地，不需要撰寫任何程式碼(無程式碼)。 您可以建立 Eventstream，這是 Fabric 中 Eventstream 項目的實例，新增事件資料來源至串流，選擇性新增轉換以轉換事件資料，然後將資料路由至支援的目的地。 此外，透過 Eventstream 專案上提供的 Apache Kafka 端點，您可以使用 Kafka 通訊協定來傳送或取用即時事件。
將事件帶入 Fabric
事件串流功能提供您各種來源連接器，以從各種來源擷取事件資料。 當您在建立Eventstream時啟用 增強功能 時，有更多可用的來源。
重要
Fabric 事件串流的增強功能目前為預覽版。
| 來源 | 描述 |
|---|---|
| Azure 事件中樞 | 如果您有 Azure 事件中樞，您可以使用 Eventstream 將事件中樞資料擷取至 Microsoft Fabric。 |
| Azure IoT 中樞 | 如果您有 Azure IoT 中樞，您可以使用 Eventstream 將 IoT 資料擷取至 Microsoft Fabric。 |
| Azure SQL 資料庫異動資料擷取 (CDC) | Azure SQL 資料庫 CDC 來源連接器可讓您擷取 Azure SQL 資料庫中目前資料的快照集。 接著，連接器會監視並記錄此資料的任何未來資料列層級變更。 |
| PostgreSQL 資料庫 CDC | Postgre SQL 資料庫 異動資料擷取 (CDC) 來源連接器可讓您擷取 PostgreSQL 資料庫中目前資料的快照集。 接著，連接器會監視並記錄此資料的任何未來資料列層級變更。 |
| MySQL 資料庫 CDC | Azure My SQL 資料庫 異動資料擷取 (CDC) 來源連接器可讓您擷取 適用於 MySQL 的 Azure 資料庫 資料庫中目前資料的快照集。 您可以指定要監視的資料表，而 eventstream 會記錄資料表的任何未來資料列層級變更。 |
| Azure Cosmos DB CDC | Microsoft Fabric 事件串流的 Azure Cosmos DB 異動資料擷取 (CDC) 來源連接器，讓您擷取 Azure Cosmos DB 資料庫中目前資料的快照集。 接著，連接器會監視並記錄此資料的任何未來資料列層級變更。 |
| VM DB 上的 SQL Server （CDC） | 適用於 Fabric 事件數據流的 VM DB 上的 SQL Server （CDC） 來源連接器可讓您擷取 VM 上 SQL Server 資料庫中目前數據的快照集。 連接器接著會監視並記錄數據的任何未來數據列層級變更。 |
| Azure SQL 受控執行個體 CDC | Microsoft Fabric 事件數據流 Azure SQL 受控執行個體 CDC 來源連接器可讓您擷取 SQL 受管理執行個體 資料庫中目前數據的快照集。 接著，連接器會監視並記錄此資料的任何未來資料列層級變更。 |
| Google Cloud Pub/Sub | Google Pub/Sub 是一項傳訊服務，可讓您發佈和訂閱事件的串流。 您可以將 Google Pub/Sub 新增為 Eventstream 的來源，以擷取、轉換和路由即時事件至 Fabric 中的不同目的地。 |
| Amazon Kinesis 資料流 | Amazon Kinesis 資料流是可大幅調整、高度持久性的資料擷取，以及針對串流資料優化的處理服務。 藉由整合 Amazon Kinesis 資料流為 Eventstream 內的來源，您就可以順暢地處理即時資料流，再將它們路由至 Fabric 內的多個目的地。 |
| Confluent Cloud Kafka | Confluent Cloud Kafka 是一個串流平台，使用 Apache Kafka 提供功能強大的資料流和處理功能。 藉由整合 Confluent Cloud Kafka 為 Eventstream 中的來源，您就可以順暢地處理即時資料流，再將它們路由至 Fabric 內的多個目的地。 |
| Apache Kafka | Apache Kafka 是開放原始碼分散式平臺，可用於建置可調整的即時數據系統。 藉由將 Apache Kafka 整合到事件數據流中作為來源，您就可以順暢地從 Apache Kafka 引進即時事件，並在路由傳送至 Fabric 內的多個目的地之前加以處理。 |
| Amazon MSK Kafka | Amazon MSK Kafka 是完全受控的 Kafka 服務，可簡化設定、調整和管理。 藉由將 Amazon MSK Kafka 整合到事件串流中作為來源，您可以順暢地將 MSK Kafka 中的即時事件帶入，並加以處理，再將它們路由傳送至 Fabric 內的多個目的地。 |
| Blob 儲存體事件 | 當用戶端建立、取代或刪除 Blob 時，就會觸發 Azure Blob 儲存體事件。 連接器可讓您連結 Blob 儲存體事件至即時中樞中的 Fabric 事件。 您可以將這些事件轉換成連續資料流，並轉換資料流再將事件路由至 Fabric 中的不同目的地。 |
| Fabric 工作區項目事件 | Fabric 工作區項目事件是 Fabric 工作區進行變更時發生的離散 Fabric 事件。 這些變更包括建立、更新或刪除 Fabric 項目。 使用 Fabric 事件串流時，您可以擷取及轉換這些 Fabric 工作區事件，並將其路由至 Fabric 中的不同目的地，以執行進一步分析。 |
| 範例資料 | 您可以選擇自行車、黃色計程車或股票市場事件作為範例資料來源，藉此在設定 Eventstream 時測試資料擷取。 |
| 自訂端點 (亦即標準功能的自訂應用程式) | 自訂端點功能可讓應用程式或 Kafka 用戶端使用 連接字串 連線到 Eventstream，讓串流資料順利擷取到 Eventstream。 |
使用無程式碼體驗處理事件
拖放體驗可讓您直覺且輕鬆地建立事件資料處理、轉換和路由邏輯，而不需要撰寫任何程序代碼。 Eventstream 中的端對端資料流流程圖可讓您全面瞭解資料流和組織。 事件處理器編輯器是一種無程式碼體驗，可讓您拖放以設計事件資料處理邏輯。
| 轉換 | 描述 |
|---|---|
| Filter | 使用篩選轉換，根據輸入中的欄位值篩選事件。 根據資料型態 (數字或文字)，轉換會保留符合所選取條件的值，例如 is null 或 is not null。 |
| 管理欄位 | 管理欄位：此轉換可讓您新增、移除、變更資料類型，或重新命名來自輸入或其他轉換的欄位。 |
| 彙總 | 每次在一段時間內發生新事件時，您可以使用彙總轉換來計算彙總 (Sum、Minimum、Maximum 或 Average)。 這項作業也可讓您重新命名這些計算結果欄，並根據資料中的其他維度來篩選或切割彙總。 您可以在相同的轉換中具有一或多個彙總。 |
| 分組依據 | 使用群組依據轉換來計算特定時間範圍內所有事件的彙總。 您可以依一或多個欄位中的值進行分組。 其和彙總轉換一樣可讓您重新命名計算結果欄，但提供更多彙總選項，且包含更複雜的時間範圍選項。 也像彙總一樣，您可以為每個轉換新增多個彙總。 |
| Union | 使用聯合轉換可連接兩個以上的節點，並將具有共用欄位 (名稱與資料類型相同) 的事件新增到某個資料表中。 不相符的欄位將會卸除，且不會包含在輸出中。 |
| 展開 | 使用 展開陣列 轉換針對陣列內的每個值建立新的資料列。 |
| 聯結 | 使用聯結轉換可根據兩個串流之間的比對條件來合併資料。 |
如果您在建立Eventstream時啟用 增強功能 ，則所有目的地都支援轉換作業(使用衍生資料流做為某些目的地的中繼網橋，例如自訂端點、Reflex)。 如果沒有，轉換作業僅適用於 Lakehouse 和 Eventhouse（擷取之前的事件處理）目的地。
將事件路由傳送至目的地
Fabric 事件串流功能支援傳送資料至下列支援的目的地。
| Destination | 描述 |
|---|---|
| 自訂端點 (亦即標準功能的自訂應用程式) | 透過此目的地，您可以輕鬆地將即時事件路由傳送至自訂端點。 您可以將自己的應用程式連線到 Eventstream，並即時取用事件資料。 當您想要將即時資料輸出至 Microsoft Fabric 之外的外部系統時，此目的地很有用。 |
| Eventhouse | 此目的地可讓您將即時事件數據內嵌至 Eventhouse，您可以在其中使用功能強大的 Kusto 查詢語言 （KQL） 來查詢和分析數據。 透過 Eventhouse 中的數據，您可以深入瞭解事件數據，並建立豐富的報表和儀錶板。 您可以選擇兩種擷取模式： 直接擷取 和 事件處理，再擷取。 |
| Lakehouse | 此目的地可讓您在將即時事件擷取到 Lakehouse 之前轉換即時事件。 即時事件轉換為 Delta Lake 格式，然後儲存在指定的 Lakehouse 資料表中。 此目的地支持資料倉儲案例。 |
| Reflex | 此目的地可讓您將即時事件資料直接連線到 Reflex。 Reflex 是一種智慧型手機代理程式，其中包含連線到資料、監視條件及採取行動所需的所有資訊。當資料達到特定閾值或符合其他模式時，Reflex 會自動採取適當的動作，例如警示使用者或啟動 Power Automate 工作流程。 |
| 衍生串流 | 衍生的串流是特殊化的目的地類型，您可以在將篩選或管理欄位等串流作業新增至 Eventstream 後建立。 衍生串流代表串流處理之後轉換的預設串流。 您可以將衍生資料流路由至 Fabric 中的多個目的地，並在即時中樞檢視衍生資料流。 |
您可以在 Eventstream 中附加多個目的地，以同時接收來自 Eventstream 的資料，而不會相互干擾。
注意
建議您使用至少 4 個容量單位的 Microsoft Fabric 事件串流功能 (SKU：F4)
Fabric 事件數據流上的 Apache Kafka
Fabric 事件串流功能會在 Eventstream 專案上提供 Apache Kafka 端點，讓使用者能夠透過 Kafka 通訊協定連線及取用串流事件。 如果您已經有使用 Apache Kafka 通訊協定來傳送或取用具有特定 Kafka 主題的串流事件的應用程式，只要更新連線設定以指向事件串流中提供的 Kafka 端點，即可毫不費力地調整相同的應用程式來傳送或取用事件串流事件。
網狀架構事件串流功能是由完全受控的雲端原生服務 Azure 事件中樞 所提供。 建立事件串流時，系統會自動布建事件中樞命名空間，並將事件中樞配置至默認數據流，而不需要任何布建組態。 若要深入瞭解 Azure 事件中樞 服務中的 Kafka 相容功能，請參閱適用於 Apache Kafka 的 Azure 事件中樞
若要深入瞭解如何取得將事件傳送至 eventstream 的 Kafka 端點詳細數據，請參閱 將自定義端點來源新增至事件串流;如需從 eventstream 取用事件，請參閱 將自定義端點目的地新增至事件串流。
增強功能 (預覽版)
當您在建立Eventstream時啟用 增強功能 (預覽) 選項時，有更多功能、來源和目的地可供使用。 使用增強功能(預覽)和標準功能索引標籤，瞭解增強功能所支援的其他來源和目的地。
以下是增強功能的其他一些值得注意的功能(預覽)：
- 編輯模式和即時檢視。 探索兩種不同的模式，以可視化和設計串流處理。
- 預設和衍生資料流。 使用您設計的格式建立資料流的連續流程，以及稍後可在即時中樞取用的事件處理器。
- 根據內容進行資料流路由。 根據您使用事件處理者所設計的資料流內容，在 Fabric 內的任何位置轉換和路由您的資料流。