從 Azure 記憶體取得數據

數據擷取是用來將數據從一或多個來源載入 Azure Data Explorer 數據表的程式。 一旦擷取之後,資料就會變成可供查詢。 在本文中,您將瞭解如何將數據從 Azure 記憶體 (ADLS Gen2 容器、Blob 容器或個別 blob) 到新的或現有的數據表中。

擷取可以做為一次性作業或連續方法。 只能透過入口網站設定連續擷取。

如需數據擷取的一般資訊,請參閱 Azure Data Explorer 數據擷取概觀

必要條件

取得資料

  1. 從左側功能表中,選取 [查詢]。

  2. 以滑鼠右鍵按下您要內嵌數據的資料庫。 選取 [取得數據]。

    查詢索引標籤的螢幕快照,其中以滑鼠右鍵按兩下資料庫,並開啟 [取得選項] 對話方塊。

Source

在 [ 取得數據 ] 視窗中,已選取 [ 來源] 索引 標籤。

從可用的清單中選取資料來源。 在此範例中,您會從 Azure 記憶體擷取數據。

[取得數據] 視窗的螢幕快照,其中已選取 [來源] 索引標籤。

設定

  1. 選取目標資料庫和數據表。 如果您想要將數據內嵌到新的資料表,請選取 [+ 新增數據表 ],然後輸入數據表名稱。

    注意

    數據表名稱最多可以有 1024 個字元,包括空格、英數位元、連字元和底線。 但不支援萬用字元。

  2. 若要新增來源,請選取 [選取容器 ] 或 [ 新增 URI]。

    1. 如果您選取 [ 選取容器],請填入下列欄位:

      [設定] 索引標籤的螢幕快照,其中已輸入新的數據表,並已選取一個範例數據檔。

      設定 欄位描述
      訂用帳戶 記憶體帳戶所在的訂用帳戶標識碼。
      儲存體帳戶 識別記憶體帳戶的名稱。
      容器 您要內嵌的記憶體容器。
      選擇性) (檔案篩選
      資料夾路徑 篩選數據以內嵌具有特定資料夾路徑的檔案。
      副檔名 僅篩選數據以擷取具有特定擴展名的檔案。
    2. 如果您選取 [新增 URI],請在 [URI] 字段中貼上 Blob 容器或個別檔案的記憶體 連接字串,然後選取 +

      注意

      • 您最多可以新增 10 個個別 Blob。 每個 Blob 最多可以解壓縮 1 GB。
      • 您可以從單一容器擷取最多 5000 個 Blob。

      [設定] 索引標籤的螢幕快照,其中 連接字串 貼到 [URI] 欄位中。

  3. 選取 [下一步]

檢查

[ 檢查 ] 索引標籤隨即開啟,並預覽數據。

若要完成擷取程式,請選取 [ 完成]。

[檢查] 索引標籤的螢幕快照。

選擇性:

編輯欄

注意

  • 對於表格式格式格式 (CSV、TSV、PSV) ,您無法對應數據行兩次。 若要對應到現有的資料行,請先刪除新的資料行。
  • 您無法變更現有的資料行類型。 如果您嘗試對應至具有不同格式的數據行,最後可能會有空的數據行。

您可對資料表進行的變更視下列參數而定:

  • 資料表類型是新的或現有的
  • 對應類型是新的或現有的
資料表類型 對應類型 可用的調整
新增資料表 新的對應 重新命名數據行、變更數據類型、變更數據源、 對應轉換、新增數據行、刪除數據行
現有的資料表 新的對應 新增資料行 (,然後您可以變更數據類型、重新命名和更新)
現有的資料表 現有的對應

開啟以進行編輯的數據行螢幕快照。

對應資訊

某些資料格式對應 (Parquet、JSON 和 Avro) 支援簡單的內嵌時間轉換。 若要套用對應轉換,請在 [編輯數據行] 視窗中建立或更新數據

對應轉換可以在字串或 datetime 類型的數據行上執行,而來源具有數據類型 int 或 long。 支援的對應轉換如下:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

以數據類型為基礎的進階選項

表格式 (CSV、TSV、PSV)

  • 如果您要內嵌 現有資料表中的表格式格式,您可以選取 [ 進階>保留目前的資料表架構]。 表格式數據不一定包含用來將源數據對應至現有數據行的數據行名稱。 核取此選項時,會依序完成對應,而且數據表架構保持不變。 如果未核取此選項,不論數據結構為何,都會針對傳入數據建立新的數據行。

  • 若要使用第一個數據列作為數據行名稱,請選取 [ 進階>第一列] 是數據行標頭

    進階 CSV 選項的螢幕快照。

JSON

  • 若要判斷 JSON 數據的數據行除法,請選取 [ 進階>巢狀層級],從 1 到 100。

  • 如果您選取 [ 進階>忽略數據格式錯誤],則會以 JSON 格式擷取數據。 如果您將此複選框保留為未選取,數據會以 multijson 格式擷取。

    進階 JSON 選項的螢幕快照。

摘要

在 [ 數據準備] 視窗中,當數據擷取成功完成時,所有三個步驟都會標示為綠色複選標記。 您可以檢視用於每個步驟的命令,或選取卡片來查詢、可視化或卸除擷取的數據。

已完成擷取的摘要頁面螢幕快照。