這很重要
Azure Data Lake Analytics 於 2024 年 2 月 29 日淘汰。 透過此公告深入瞭解。
針對數據分析,您的組織可以使用 Azure Synapse Analytics 或 Microsoft Fabric。
當您開發 U-SQL 腳本時,您可以在本機執行腳本來節省時間和費用。 Azure Data Lake Tools for Visual Studio 支援在本機計算機上執行 U-SQL 腳本。
本機執行的基本概念
下圖顯示本地執行的元件,以及這些元件如何映射到雲端執行。
元件 | 本機執行 | 雲端運行 |
---|---|---|
存儲 | 本機數據根資料夾 | 默認 Azure Data Lake Store 帳戶 |
運算 | U-SQL 本機執行引擎 | Azure Data Lake Analytics 服務 |
執行環境 | 本機上的工作目錄 | Azure Data Lake Analytics 叢集 |
下列各節提供有關本機執行元件的詳細資訊。
本機數據根資料夾
本機數據根資料夾是本機計算帳戶的 本地存儲 。 本機電腦上本機檔系統中的任何資料夾都可以是本機數據根資料夾。 其與 Data Lake Analytics 帳戶的預設 Azure Data Lake Store 帳戶相同。 切換至不同的數據根資料夾就像切換至不同的預設存放區帳戶一樣。
資料根資料夾的使用方式如下:
- 儲存元數據。 範例包括資料庫、數據表、數據表值函式和元件。
- 查閱 U-SQL 腳本中定義為相對路徑的輸入和輸出路徑。 藉由使用相對路徑,將U-SQL腳本部署至 Azure 會比較容易。
U-SQL 本機執行引擎
U-SQL 本機執行引擎是 U-SQL 作業的 本機計算帳戶 。 用戶可以透過適用於Visual Studio的 Azure Data Lake Tools 在本機執行U-SQL 作業。 Azure Data Lake U-SQL SDK 命令行和程序設計介面也支援本機執行。 深入瞭解 Azure Data Lake U-SQL SDK。
工作目錄
當您執行 U-SQL 腳本時,需要工作目錄資料夾來快取編譯結果、執行記錄,以及執行其他函式。 在 Azure Data Lake Tools for Visual Studio 中,工作目錄是 U-SQL 專案的工作目錄。 位於<U-SQL project root path>/bin/debug>
之下。 每次觸發新的執行時,都會清除工作目錄。
Microsoft Visual Studio 中的本機執行
Azure Data Lake Tools for Visual Studio 具有內建的本機執行引擎。 這些工具會將引擎作為本地計算帳戶呈現。 若要在本機執行 U-SQL 腳本,請在腳本的編輯器邊界下拉功能表中選取 Local-machine 或 Local-project 帳戶。 然後,選取 [提交]。
使用本機電腦帳戶執行操作
Local-machine 帳戶是共用的本機計算帳戶,具有作為本地存儲帳戶的單一本機數據根資料夾。 根據預設,數據根資料夾位於 C:\Users username<>\AppData\Local\USQLDataRoot。 它也可以透過 [工具>][Data Lake>選項] 和 [設定] 來設定。
若要進行本機執行,必須有 U-SQL 專案。 U-SQL 專案的工作目錄被用作 U-SQL 本機執行的工作目錄。 編譯結果、執行記錄和其他作業執行相關檔案會在本機執行期間產生並儲存在工作目錄資料夾下。 每次重新執行文本時,都會清除並重新產生工作目錄中的所有檔案。
使用 Local-project 帳戶執行本機操作
Local-project 帳戶是每個專案所使用的專案隔離本機計算帳戶,並擁有一個獨立的本機數據根資料夾。 在 Visual Studio 中的 [方案總管] 中開啟的每個作用中 U-SQL 專案都有對應的 (Local-project: <project name>)
帳戶。 帳戶會同時列在 Visual Studio 的伺服器總管和 U-SQL 腳本編輯器邊界中。
Local-project 帳戶提供全新且隔離的開發環境。 本機計算機帳戶具有共用的本機數據根資料夾,可儲存所有本機作業的元數據和輸入和輸出數據。 但是,每次執行U-SQL腳本時, Local-project 帳戶都會在U-SQL專案工作目錄下建立暫存本機數據根資料夾。 重建或重新執行時,會清除此暫存數據根資料夾。
U-SQL 專案會透過專案參考和屬性來管理隔離的本機執行環境。 您可以在項目和參考的資料庫環境中設定U-SQL 文稿的輸入資料來源。
管理 Local-project 帳戶的輸入數據源
U-SQL 專案會建立本機數據根資料夾,並設定 Local-project 帳戶的數據。 每次重建和本機執行時,都會在U-SQL專案工作目錄下清除並重新建立暫存資料根資料夾。 U-SQL 專案所設定的所有數據源都會在本機作業執行之前,複製到這個暫存本機數據根資料夾。
您可以設定資料來源的根資料夾。 以滑鼠右鍵按兩下 [U-SQL 專案>屬性>測試數據源]。 當您在 Local-project 帳戶上執行 U-SQL 腳本時, 測試數據源 資料夾中的所有檔案和子資料夾都會複製到暫存的本機數據根資料夾。 子資料夾下的檔案會包含在內。 在本機作業執行之後,您也可以在專案工作目錄中的暫存本機數據根資料夾下找到輸出結果。 重建和清除專案時,會刪除並清除所有輸出。
管理 本機專案 帳戶的引用資料庫環境
如果U-SQL查詢使用或查詢搭配U-SQL資料庫物件,您必須先在本機備妥資料庫環境,才能在本機執行U-SQL腳本。 針對 Local-project 帳戶,U-SQL 資料庫相依性可由 U-SQL 專案參考管理。 您可以將 U-SQL 資料庫項目參考新增至 U-SQL 專案。 在 Local-project 帳戶上執行 U-SQL 腳本之前,所有參考的資料庫都會部署到暫存的本機數據根資料夾。 每次執行時,暫存數據根資料夾會被清除,以建立全新的隔離環境。
請參閱此相關文章:
- 瞭解如何管理 U-SQL 資料庫專案中的 U-SQL 資料庫定義和參考。
Local-machine 與 Local-project 帳戶之間的差異
本機電腦帳戶會在使用者的本機計算機上模擬 Azure Data Lake Analytics 帳戶。 它會與 Azure Data Lake Analytics 帳戶共用相同的體驗。 Local-project 帳戶提供方便使用的本機開發環境。 此環境可協助使用者在本機執行腳本之前,先部署資料庫參考和輸入數據。 本機電腦帳戶提供可透過所有專案存取的共用永久環境。 Local-project 帳戶會為每個專案提供隔離的開發環境。 它會在每次執行時重新整理。 本機項目帳戶藉由快速套用新的變更,提供更快速的開發體驗。
下表顯示 Local-machine 和 Local-project 帳戶之間的更多差異:
差異角度 | 本地機器 | 本地專案 |
---|---|---|
本機存取 | 所有專案都可以存取。 | 只有對應的專案可以存取此帳戶。 |
本機數據根資料夾 | 永久本機資料夾。 透過 [工具>][Data Lake>選項] 和 [設定] 進行設定。 | 針對U-SQL專案工作目錄下每個本機執行所建立的暫存資料夾。 重建或重新執行時,會清除資料夾。 |
U-SQL 腳本的輸入數據 | 永久本機資料根資料夾下的相對路徑。 | 透過 U-SQL專案屬性>測試資料源進行設定。 所有檔案和子資料夾都會在本機執行之前複製到暫存資料根資料夾。 |
U-SQL 腳本的輸出數據 | 永久本機數據根資料夾下的相對路徑。 | 輸出至暫存資料根資料夾。 重建或重新執行時會清除結果。 |
參照資料庫部署 | 針對 Local-machine 帳戶執行時,不會自動部署被引用的資料庫。 提交到 Azure Data Lake Analytics 帳戶的情況也是一樣。 | 參考的資料庫會在本機執行之前自動部署到 Local-project 帳戶。 當重建或重新執行時,會清除並重新部署所有資料庫環境。 |
使用U-SQL SDK 的本機執行
您可以在 Visual Studio 本機執行 U-SQL 腳本,也可以使用 Azure Data Lake U-SQL SDK 在本機使用命令行和程式設計介面在本機執行 U-SQL 腳本。 透過這些介面,您可以將U-SQL 本機執行和測試自動化。
深入瞭解 Azure Data Lake U-SQL SDK。