分享方式:


使用 Azure Data Lake Storage Gen1 從事件中樞擷取資料

了解如何使用 Azure Data Lake Storage Gen1 來擷取 Azure 事件中樞所收到的資料。

必要條件

將權限指派給事件中樞

在本節中,您會在帳戶中建立一個資料夾,以便從事件中樞擷取資料並放入其中。 您也會將權限指派給事件中樞,以便它將資料寫入至 Data Lake Storage Gen1 帳戶。

  1. 開啟您要從事件中樞擷取資料並放入其中的 Data Lake Storage Gen1 帳戶,然後按一下資料總管

    Lake Storage Gen1 資料總管

  2. 按一下 [新增資料夾],然後輸入您要擷取資料的目的地資料夾名稱。

    在 Data Lake Storage Gen1 中建立新的資料夾

  3. 在 Data Lake Storage Gen1 根目錄指派權限。

    a. 按一下資料總管,選取 Data Lake Storage Gen1 帳戶的根目錄,然後按一下 [存取]

    資料總管的螢幕擷取畫面,其中已顯示帳戶的根目錄和 [存取] 選項。

    b. 在 [存取] 下,依序按一下 [新增] 和 [選取使用者或群組],然後搜尋 Microsoft.EventHubs

    [存取] 頁面的螢幕擷取畫面,其中已顯示 [新增] 選項、[選取使用者或群組] 選項,以及 [Microsoft 事件中樞] 選項。

    按一下 [選取]。

    c. 在 [指派權限] 下,按一下 [選取權限]。 將 [權限] 設定為 [執行]。 將 [新增至] 設定為 [此資料夾及所有子系]。 將 [新增為] 設定為 [存取權限項目及預設權限項目]

    重要

    建立新的資料夾階層 (用來擷取 Azure 事件中樞所接收的資料) 時,這個簡單的方法可確保您能夠存取目的地資料夾。 不過,如果最上層資料夾有許多子檔案和資料夾,為其所有子系新增權限可能需要很長的時間。 如果根資料夾包含大量的檔案和資料夾,為最終目的地資料夾的路徑中的每個資料夾個別新增對 Microsoft.EventHubsExecute 權限,可能更快。

    [指派權限] 區段的螢幕擷取畫面,其中已顯示 [選取權限] 選項。[選取權限] 區段位於其旁邊,其中已顯示 [執行] 選項、[新增至] 選項,以及 [新增為] 選項。

    按一下 [確定]。

  4. 為 Data Lake Storage Gen1 帳戶下要擷取資料的目的地資料夾指派權限。

    a. 按一下資料總管,選取 Data Lake Storage Gen1 帳戶中的資料夾,然後按一下 [存取]

    資料總管的螢幕擷取畫面,其中已顯示帳戶中的資料夾和 [存取] 選項。

    b. 在 [存取] 下,依序按一下 [新增] 和 [選取使用者或群組],然後搜尋 Microsoft.EventHubs

    [資料總管存取] 頁面的螢幕擷取畫面,其中已顯示 [新增] 選項、[選取使用者或群組] 選項,以及 [Microsoft 事件中樞] 選項。

    按一下 [選取]。

    c. 在 [指派權限] 下,按一下 [選取權限]。 將 [權限] 設定為 [讀取]、[寫入] 和 [執行]。 將 [新增至] 設定為 [此資料夾及所有子系]。 最後,將 [新增為] 設定為 [存取權限項目及預設權限項目]

    [指派權限] 區段的螢幕擷取畫面,其中已顯示 [選取權限] 選項。[選取權限] 區段位於其旁邊,其中已顯示 [讀取、寫入和執行] 選項、[新增至] 選項,以及 [新增為] 選項。

    按一下 [確定]。

設定事件中樞,以將資料擷取到 Data Lake Storage Gen1

在本節中,您會在事件中樞命名空間內建立事件中樞。 您也會設定事件中樞,以將資料擷取到 Azure Data Lake Storage Gen1 帳戶。 本節假設您已建立事件中樞命名空間。

  1. 從事件中樞命名空間的 [概觀] 窗格,按一下 [+ 事件中樞]

    [概觀] 窗格的螢幕擷取畫面,其中已顯示 [事件中樞] 選項。

  2. 提供下列值來設定事件中樞,以將資料擷取到 Data Lake Storage Gen1。

    [建立事件中樞] 對話方塊的螢幕擷取畫面,其中已顯示 [名稱] 文字方塊、[擷取] 選項、[擷取提供者] 選項、[選取 Data Lake Store] 選項和 [Data Lake Path] 選項。

    a. 提供事件中樞的名稱。

    b. 針對此教學課程,將 [分割區計數] 和 [訊息保留期] 設定為預設值。

    c. 將 [擷取] 設定為 [開啟]。 設定 [時間範圍] \(擷取頻率) 和 [大小範圍] \(擷取的資料大小)。

    d. 針對 [Capture Provider] \(擷取提供者\),選取 [Azure Data Lake Store],然後選取您稍早建立的 Data Lake Storage Gen1。 針對 [Data Lake Path] \(Data Lake 路徑\),輸入您在 Data Lake Storage Gen1 帳戶中建立的資料夾名稱。 您只需要提供資料夾的相對路徑。

    e. 將 [擷取檔案名稱格式範例] 保留為預設值。 此選項會掌管在擷取資料夾下建立的資料夾結構。

    f. 按一下 [建立]。

測試設定

您現在可以將資料傳送至 Azure 事件中樞來測試解決方案。 請遵循將事件傳送至 Azure 事件中樞的指示。 一旦您開始傳送資料,您就會看到 Data Lake Storage Gen1 中反映的資料使用您指定的資料夾結構。 例如,您會在 Data Lake Storage Gen1 中看到資料夾結構,如下列螢幕擷取畫面所示。

Data Lake Storage Gen1 中的範例事件中樞資料

注意

即使您沒有傳入事件中樞的訊息,事件中樞也會將只有標頭的空檔案寫入至 Data Lake Storage Gen1 帳戶。 這些檔案會依您在建立事件中樞時所提供的相同時間間隔來寫入。

分析 Data Lake Storage Gen1 中的資料

一旦資料位於 Data Lake Storage Gen1,您就可以執行分析作業來處理資料並進行大量運算。 請參閱 USQL Avro 範例,以了解如何使用 Azure Data Lake Analytics 來執行此動作。

另請參閱