從 Azure 儲存體 獲取數據

在本文中，你會學習如何將 Azure 儲存體（Azure Data Lake Storage Gen2 容器、blob 容器或個別 blob）的資料轉換到 KQL 資料庫中的一個資料表。 你可以持續擷取資料，或進行一次性擷取。 資料擷取完成後，即可查詢。

• 持續擷取（預覽）：持續擷取建立一個擷取流程，讓事件屋能夠監聽 Azure 儲存體 事件。 訂閱事件發生時，管道會通知 Eventhouse 以提取資訊。 這些事件為 BlobCreated 和 BlobRenamed。

• 一次性擷取：使用此方法一次性從Azure 儲存體中擷取資料。

  注意

  • 連續數據導入流可能會影響您的帳單。 如需詳細資訊，請參閱 Eventhouse 和 KQL Database 耗用量。

必要條件

• 一個啟用 Microsoft Fabric 功能的 工作區 和 容量。
• 具有編輯許可權的 KQL 資料庫 。
• 一個Azure 儲存體帳戶。

連續導入的必要條件

• 一個Fabric 工作區識別。 我的工作區不受支持。 如有必要， 請建立新的工作區。

在 Azure 中：

• 請用你的Azure訂閱註冊事件網格資源提供者。
• 將 儲存體 Blob 資料讀取者 角色許可權指派給工作區身分識別。
• 建立Blob 容器 來保存數據檔。

  • 上傳數據檔。 數據檔案結構可用來定義資料表架構。 如需詳細資訊，請參閱 即時智慧支援的資料格式。

    注意

    您必須上傳資料檔案：

    • 在設定期間定義數據表架構的組態之前。
    • 在設定觸發連續擷取之後，要預覽數據並驗證連線。

    注意

    當儲存帳號設定為私有端點（Private Link）時，也支援從 Azure 儲存體 持續擷取。 確保 Fabric 工作區能透過設定的私有網路路徑存取儲存帳號。

將工作區身分識別角色指派新增至記憶體帳戶

1. 從 Fabric 的工作區設定中複製你的工作區身份 ID。

   

2. 在 Azure 管理入口網站中，瀏覽到您的 Azure 儲存體帳戶，然後選擇 存取控制（IAM）>，新增>，新增角色指派。

3. 選取 “Storage Blob Data Reader”。

4. 在 [ 新增角色指派 ] 對話框中，選取 [+ 選取成員]。

5. 貼上工作區身分識別標識符，選取應用程式，然後 選取 [>檢閱 + 指派]。

建立一個 blob 容器並上傳資料檔案

1. 在記憶體帳戶中，選取 [ 容器]。

2. 選擇 + 容器，輸入容器名稱，然後選擇 儲存。

3. 輸入容器，選取 [上傳]，然後上傳稍早備妥的數據檔。

   如需詳細資訊，請參閱 支援的格式 和支援 的壓縮。

4. 從上下文選單中，選取容器屬性，然後將 URL 複製到設置時的輸入。

   

選擇 Azure 儲存體 作為資料來源

打開 Get Data 流程，選擇 Azure 儲存體 作為來源。

1. 從你的工作區開啟事件屋，選擇資料庫。

2. 在 KQL 資料庫功能區上，選取 [取得數據]。

3. 從可用清單中選取資料來源。 在這個例子中，你是從 Azure 儲存體 匯入資料。

   

設定

連續擷取

1. 選取目的地數據表。 要將資料匯入新資料表，請選擇 + 新資料表 並輸入資料表名稱。

   注意

   表格名稱最多可達 1,024 個字元，包含空格、字母數字、連字號和底線。 但不支援特殊字元。

2. 在配置 Azure Blob 儲存體 連線時，請確保開啟持續擷取。 預設為開啟。

3. 透過建立新連線或使用現有連線來配置連線。

   若要建立新的連線：

   1. 選取 [連線到記憶體帳戶]。

      

   2. 使用下列描述來協助填入欄位。

      設定	欄位描述
      訂閱	儲存帳戶訂閱。
      Blob 儲存體帳戶	儲存體帳戶名稱。
      容器	包含您要匯入之檔案的儲存容器。

   3. 在 連線 欄位，打開下拉選單，選擇 + 新連線，然後選擇 儲存>關閉。 連線設定已預先填入。

   注意

   當你建立新連線時，也會建立一個新的事件串流。 名稱定義為 <storage_account_name>_eventstream。 不要把連續攝取事件串流從工作區移除。

   若要使用現有的連線：

   1. 選取 [選取現有的記憶體帳戶]。

      

   2. 使用下列描述來協助填入欄位。

      設定	欄位描述
      RTAStorageAccount	一個從 Fabric 連接到你的儲存帳號的事件串流。
      容器	包含您要匯入之檔案的儲存容器。
      連線	此欄位已預先填入連線字串。

   3. 在 Connection欄位，打開下拉選單，從列表中選擇現有的連接字串。 然後選取 [ 儲存>關閉]。

4. 選擇性地展開 [檔案篩選 ] 並指定下列篩選：

   設定	欄位描述
   資料夾路徑	過濾資料以擷取具有特定資料夾路徑的檔案。
   副檔名	過濾資料以只擷取特定副檔名的檔案。

5. 在事件串流設定區段中，於進階設定>>事件類型選取要監控的事件。 根據預設，會選擇 Blob created。 您也可以選取 已重新命名的 Blob。

   

6. 選取 [下一步 ] 預覽數據。

一次性導入

當你想載入一組現有的 blob 一次，而不想設定持續的事件型擷取時，可以使用一次性擷取。

1. 選取目的地數據表。 要將資料匯入新資料表，請選擇 + 新資料表 並輸入資料表名稱。

   注意

   表格名稱最多可達 1,024 個字元，包含空格、字母數字、連字號和底線。 但不支援特殊字元。

2. 在配置 Azure Blob 儲存體 連線時，請確保持續擷取已關閉。 預設為開啟。

3. 選擇一種連線方式：建立新的連線或使用現有連線。

   若要建立新的連線：

   1. 選取 [連線到記憶體帳戶]。

      

   2. 使用下列描述來協助填入欄位。

      設定	欄位描述
      訂閱	記憶體帳戶所在的訂用帳戶名稱。
      Blob 儲存體帳戶	識別您儲存帳戶的名稱。 如果你在 Azure 中重新命名帳號，你需要透過選擇新名稱來更新連線。
      容器	包含您要匯入之檔案的儲存容器。

   若要連線現有的帳戶：

   1. 選取 使用 SAS URL 從儲存體帳戶擷取，以使用 SAS URL 建立連線。

      螢幕擷取畫面顯示設定索引標籤，其中已輸入新資料表並選擇了一個樣本資料檔案。

   2. 在 「輸入 SAS URL 」欄位貼上 SAS URL，然後選擇 +。

      使用臨時令牌，且不要在共享文件或截圖中公開真實的令牌、金鑰或完整連線字串。 如果你需要文件中的範例值，可以使用像 <sas-token> 或 <account-key>這樣的佔位符。

      字串是由具有SAS令牌或帳戶密鑰的 Blob URI 所組成。 下表列出了支援的認證方法以及從 Azure 儲存體 匯入資料所需的權限。

      驗證方法	個別資料塊	Blob 容器	Azure Data Lake Storage Gen2
      共享存取 (SAS) 權杖	讀取和寫入	讀取和列示	讀取和列示
      儲存體帳戶存取金鑰

   注意

   • 您可以新增最多 10 個個別 Blob，或從單一容器內嵌最多 5,000 個 Blob。 您不能同時攝取兩者。
   • 每個 blob 最多可以為 1 GB (未壓縮)。

4. 選擇性地展開 [檔案篩選 ] 並指定下列篩選：

   設定	欄位描述
   資料夾路徑	篩選資料以擷取具有特定資料夾路徑的檔案。
   副檔名	篩選資料以僅擷取具有特定副檔名的檔案。

5. 選取 [下一步 ] 預覽數據。

在匯入前檢查預覽資料

檢視索引標籤開啟後，即可看到資料的預覽。

若要完成匯入程序，請選取完成。

注意

若要觸發持續擷取並預覽資料，請在完成設定後上傳新的 Blob。

可選：

• 使用架構定義檔案下拉式清單來變更從中推斷架構的檔案。

• 使用檔類型下拉式清單， 根據數據類型探索進階選項。

• 使用 Table_mapping 下拉式清單來定義新的對應。

• 選取 </> 以開啟命令查看器，以檢視和複製從輸入產生的自動命令。 你也可以在 KQL 查詢集裡開啟這些指令。

• 選取鉛筆圖示以 編輯數據行。

編輯欄位

注意

• 針對表格式檔案 (CSV、TSV、PSV)，您無法對應資料行兩次。 若要對應至現有的資料行，請先刪除新資料行。
• 您無法變更現有的資料行類型。 如果您嘗試映射到格式不同的資料行，最終可能會導致出現空資料行。

您可以在資料表中進行的變更取決於下列參數：

• 資料表類型是新的或現有的
• 映射類型是新的或現有的

資料表類型	對應類型	可用的調整
新增資料表	新的映射	重新命名資料行、變更資料類型、變更資料來源、映射轉換、新增資料行、刪除資料行
現有的資料表	新的映射	新增資料行 (然後您可以在其中變更資料類型、重新命名和更新)
現有的資料表	現有的對應	沒有

映射變換

某些資料格式映射 (Parquet、JSON 和 Avro) 支援簡單的匯入時轉換。 若要套用映射轉換，請在編輯資料行視窗中建立或更新資料行。

可以在 string 或 datetime 類型的資料行上進行映射轉換，源數據類型為 int 或 long。 如需進一步的資訊，請參閱支援之完整的對應轉換清單。

基於資料類型的進階選項

表格式 (CSV、TSV、PSV):

• 如果您要在現有資料表中導入表格格式，您可以選取進階>保留表結構。 表格資料不一定包含用來將來源資料對應至現有欄位的欄位名稱。 勾選此選項時，會按順序進行對應，資料表結構保持不變。 如果未勾選此選項，無論資料結構如何，都會為傳入資料建立新資料行。

  

• 表格資料不一定包含用來將來源資料對應至現有欄位的欄位名稱。 若要使用第一列作為資料行名稱，請選取 [以第一列作為資料行標題]。

  

表格式 (CSV、TSV、PSV):

• 如果你正在現有 資料表中匯入表格格式，請選擇 Table_mapping>使用現有結構。 表格資料不一定包含用來將來源資料對應至現有欄位的欄位名稱。 選擇此選項後，映射會依序進行，資料表結構保持不變。 如果你取消勾選此選項，系統都會為傳入的資料建立新欄，無論資料結構為何。

• 若要使用第一個數據列作為數據行名稱，請選取 [第一個數據列標頭]。

  

JSON：

• 若要判斷 JSON 數據的數據行除法，請選取 [ 巢狀層級]，從 1 到 100。

  

檢視攝取摘要

在 摘要 視窗中，當資料擷取成功完成時，所有步驟都會顯示綠色勾勾。 您可以選取卡片來探索數據、刪除內嵌的數據，或建立具有重要計量的儀錶板。

連續擷取

當您關閉視窗時，您可以在 [ 資料串流] 底下的 [檔案總管] 索引標籤中看到連線。 您可以從這裡篩選資料流並刪除資料流。

一次性導入

相關內容

• 要管理您的資料庫，請參閱 「管理資料」。
• 要建立、儲存及匯出查詢，請參閱 KQL 查詢集中的查詢資料。