從 Eventstream 取得數據
在本文中,您將瞭解如何將數據從現有的事件數據流取得到新的或現有的數據表。
若要從新的事件串流取得數據,請參閱 從新的 Eventstream 取得數據。
必要條件
- 一個工作區,具有已啟用 Microsoft Fabric 的容量
- 具有編輯許可權的 KQL 資料庫
- 具有數據源的事件串流
來源
若要從 eventstream 取得數據,您必須選取 eventstream 作為數據源。 您可以透過下列方式選取現有的 Eventstream:
在 KQL 資料庫的下一個功能區上,任一項:
從 [取得數據] 下拉功能表中,選取 [連續] 底下的 [Eventstream 現有的事件串流>]。
選取 [ 取得數據 ],然後在 [取得數據] 視窗中,選取 [Eventstream]。
從 [取得數據] 下拉功能表的 [連續] 底下,選取 [實時數據中樞>現有事件串流]。
設定
選取目標數據表。 如果您想要將數據內嵌到新的資料表,請選取 [+ 新增數據表 ],然後輸入數據表名稱。
注意
數據表名稱最多可以有 1024 個字元,包括空格、英數位元、連字元和底線。 但不支援萬用字元。
在 [設定數據源] 底下,使用下表中的資訊填寫設定:
設定 說明 工作區 您的 eventstream 工作區位置。 從下拉式清單中選取工作區。 Eventstream 名稱 事件串流的名稱。 從下拉式清單中選取 eventstream。 資料連線名稱 用來在工作區中參考和管理數據連線的名稱。 數據連線名稱會自動填入。 或者,您可以輸入新的名稱。 名稱只能包含英數位元、虛線和點字元,長度最多為 40 個字元。 在 Eventstream 中擷取之前處理事件 此選項可讓您在將資料內嵌至目的地資料表之前設定數據處理。 如果選取,您可以在 Eventstream 中繼續數據擷取程式。 如需詳細資訊,請參閱 在 Eventstream 中擷取之前處理事件。 進階篩選 壓縮 來自事件中樞的事件數據壓縮。 選項為 None (預設值),或 Gzip 壓縮。 事件系統屬性 如果每個事件訊息有多個記錄,系統會將系統屬性新增至第一個記錄。 如需詳細資訊,請參閱 事件系統屬性。 事件擷取開始日期 數據聯機會擷取自事件擷取開始日期之後建立的現有事件。 它只能根據事件中樞的保留期間擷取事件。 時區為UTC。 如果未指定時間,則默認時間是建立數據連線的時間。 選取下一個
在 Eventstream 中擷取之前處理事件
[ 在 Eventstream 中擷取之前處理事件] 選項可讓您先處理數據,再將數據內嵌至目的地數據表。 使用此選項時,Get Data process 會順暢地在 Eventstream 中繼續,並自動填入目的地數據表和數據源詳細數據。
若要在 Eventstream 中擷取之前處理事件:
在 [設定] 索引標籤上,選取 [在 Eventstream 中擷取之前處理事件]。
在 [處理 Eventstream 中的事件] 對話框中,選取 [在 Eventstream 中繼續]。
重要
在 Eventstream 中選取 [繼續] 會結束即時智慧中的取得數據程式,並在 Eventstream 中繼續,並自動填入目的地數據表和數據源詳細數據。
在 Eventstream 中,選取 KQL Database 目的地節點,然後在 [KQL 資料庫] 窗格中,確認已選取 [擷取之前的事件處理],以及目的地詳細數據是否正確。
選取 [ 開啟事件處理器 ] 來設定數據處理,然後選取 [ 儲存]。 如需詳細資訊,請參閱 使用事件處理器編輯器處理事件數據。
回到 [ KQL 資料庫] 窗格中,選取 [新增 ] 以完成 KQL Database 目的地節點設定。
確認數據已內嵌至目的地數據表。
注意
在 Eventstream 進程中擷取之前處理事件已完成,而且本文中的其餘步驟並非必要。
檢查
[檢查] 索引標籤隨即開啟,並預覽數據。
若要完成擷取程式,請選取 [ 完成]。
或者:
- 選取 [命令檢視器 ] 以檢視和複製從輸入產生的自動命令。
- 從下拉式清單中選取所需的格式,以變更自動推斷的數據格式。 數據會以 EventData 物件的形式從事件中樞讀取。 支援的格式包括 CSV、JSON、PSV、SCsv、SOHsv TSV、TXT 和 TSVE。
- 編輯數據行。
- 根據數據類型探索進階選項。
編輯資料行
注意
- 對於表格式格式 (CSV、TSV、PSV),您無法對應資料行兩次。 若要對應至現有的數據行,請先刪除新的數據行。
- 您無法變更現有的資料行類型。 如果您嘗試對應至具有不同格式的數據行,最後可能會有空的數據行。
您可以在資料表中所做的變更取決於下列參數:
- 數據表 類型是新的或現有的
- 對應 類型是新的或現有的
資料表類型 | 對應類型 | 可用的調整 |
---|---|---|
新增資料表 | 新的對應 | 重新命名資料列, 變更資料型態, 變更資料來源, 對應轉換, 加入資料行, 刪除資料列 |
現有的資料表 | 新的對應 | 新增資料列(然後您可以變更資料類型、重新命名和更新) |
現有的資料表 | 現有的對應 | none |
對應轉換
某些數據格式對應 (Parquet、JSON 和 Avro) 支援簡單的擷取時間轉換。 若要套用對應轉換,請在 [ 編輯 數據行] 視窗中建立或更新數據行。
對應轉換可以在字串或 datetime 類型的數據行上執行,而來源具有數據類型 int 或 long。 支援的對應轉換如下:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
以數據類型為基礎的進階選項
表格式 (CSV、TSV、PSV):
表格式數據不一定包含用來將源數據對應至現有數據行的數據行名稱。 若要使用第一個數據列作為數據行名稱,請開啟 [第一列] 是數據行標頭。
JSON:
若要判斷 JSON 數據的數據行除法,請選取 [進階>巢狀層級],從 1 到 100。
摘要
在 [ 數據準備 ] 視窗中,當數據擷取成功完成時,所有三個步驟都會標示為綠色複選標記。 您可以選取要查詢的卡片、卸除內嵌的數據,或查看擷取摘要的儀錶板。 選取 [關閉] 即可關閉視窗。
相關內容
- 若要管理資料庫,請參閱 管理數據
- 若要建立、儲存和匯出查詢,請參閱 在 KQL 查詢集中查詢數據
意見反應
https://aka.ms/ContentUserFeedback。
即將登場:在 2024 年,我們將逐步淘汰 GitHub 問題作為內容的意見反應機制,並將它取代為新的意見反應系統。 如需詳細資訊,請參閱:提交並檢視相關的意見反應