Azure Data Factory 中的原始檔控制

適用於：Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory，這是適用於企業的全方位分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告的所有項目。 了解如何免費啟動新的試用版！

根據預設，Azure Data Factory 使用者介面體驗 (UX) 會直接根據資料處理站製作。 此體驗有下列限制：

• Data Factory 服務不包含儲存您的修改的 JSON 實體存放庫。 儲存變更的唯一方法是透過全部發佈按鈕，所有變更都會直接發佈到資料處理站服務。
• Data Factory 服務並未針對共同作業和版本控制進行優化。
• 不包含部署 Data Factory 本身所需的 Azure Resource Manager 範本。

為了提供更好的製作體驗，Azure Data Factory 可讓您使用 Azure Repos 或 GitHub 來設定 Git 存放庫。 Git 是一種版本控制系統，可讓您更輕鬆地追蹤變更和共同作業。 本文概述如何在 Git 存放庫中設定及運作，以及醒目提示最佳做法和疑難解答指南。

您也可以參考 Azure Data Factory 中的持續整合和傳遞 （CI/CD），以深入瞭解較大的 CI/CD 模式，其中原始檔控制是關鍵層面。

注意

我們已在由 21Vianet 運作的 Azure Gov 和 Microsoft Azure 上新增 GitHub 公用支援。 請參閱公告部落格。

若要深入瞭解 Azure Data Factory 如何與 Git 整合，請觀看下列 15 分鐘的教學課程影片：

Git 整合的優點

以下列出 git 整合為製作體驗提供的一些優點：

• 原始檔控制： 當數據處理站工作負載變得至關重要時，您會想要將處理站與 Git 整合，以套用數個原始檔控制優點，如下所示：
  • 追蹤/稽核變更的能力。
  • 還原引入錯誤 (bug) 的變更的能力。
• 部分儲存： 針對 Data Factory 服務撰寫時，您無法將變更儲存為草稿，而且所有發行都必須通過數據處理站驗證。 無論您的管線未完成，或只是不想在計算機當機時遺失變更，Git 整合都允許累加變更數據處理站資源，而不論它們處於何種狀態。 設定 Git 存放庫可讓您儲存變更，讓您在測試變更後才發佈至您的滿意度。
• 共同作業和控制： 如果您有多個小組成員參與相同的處理站，您可能想要讓小組成員透過程式代碼檢閱程式彼此共同作業。 您也可以設定您的中心，讓每位參與者都有不同的權限。 某些小組成員可能只允許透過 Git 進行變更，而且只有小組中的某些人員能夠將變更發佈至處理站。
• 更好的 CI/CD：如果您要部署至具有持續傳遞程式的多個環境，Git 整合可讓某些動作更容易。 其中一些動作包括：
  • 將您的發行管線設定為當任何變更發生在您的「開發人員」中心時，則自動觸發。
  • 在中心內自訂可做為 Resource Manager 範本中參數的屬性。 只保留必要的屬性集做為參數，並讓其他所有屬性都硬式編碼很有用。
• 更好的效能： 使用 git 整合的一個一般中心與根據資料處理站服務製作的中心相較之下，載入速度快 10 倍。 效能的改善是因為資源是透過 Git 下載。

注意

當 Git 存放庫設定完成後，Azure Data Factory UX 會停用直接使用 Data Factory 服務製作的功能。 透過PowerShell或 SDK 所做的變更會直接發佈至 Data Factory 服務，而且不會輸入 Git。

連線至 Git 存放庫

使用 Azure Repos 和 GitHub 時，有四種不同的方式可將 Git 存放庫連線至您的資料處理站。 聯機到 Git 存放庫之後，您可以在 [原始檔控制] 區段的 [Git 組態] 下方的 [管理中樞] 中檢視和管理組態。

設定方法 1：首頁

在 Azure Data Factory 首頁中，選取 頂端的 [設定程式代碼存放庫 ]。

設定方法 2：製作畫布

在 Azure Data Factory UX 撰寫畫布中，選取 [Data Factory ] 下拉功能表，然後選取 [ 設定程式代碼存放庫]。

設定方法 3：管理中樞

移至 Azure Data Factory Studio 中的管理中樞。 在 [原始檔控制] 區段中，選取 [Git 設定]。 如果您沒有連線的存放庫，請選取 [ 設定]。

設定方法 4：在工廠建立期間

在 Azure 入口網站 中建立新的數據處理站時，您可以在 [Git 組態] 索引標籤中設定 Git 存放庫資訊。

注意

在 Azure 入口網站中設定 git 時，必須手動輸入專案名稱和存放庫名稱等設定，而不是成為下拉式清單的一部分。

使用 Azure Repos Git 整合來進行編寫

使用 Azure Repos Git 整合進行視覺化撰寫支援原始檔控制與共同作業，以處理數據處理站管線。 您可以將數據處理站與 Azure Repos Git 組織存放庫產生關聯，以進行原始檔控制、共同作業、版本控制等等。 單一 Azure Repos Git 組織可以有多個存放庫，但 Azure Repos Git 存放庫只能與一個數據處理站相關聯。 如果您沒有 Azure Repos 組織或存放庫，請遵循 這些指示 來建立資源。

注意

您可以將文稿和資料檔案儲存在 Azure Repos Git 存放庫中。 不過，您必須手動將檔案上傳至 Azure 儲存體。 數據處理站管線不會自動將儲存在 Azure Repos Git 存放庫中的腳本或數據檔上傳至 Azure 儲存體。 其他檔案，例如 ARM 範本、腳本或組態檔，可以儲存在對應資料夾外的存放庫中。 如果您這樣做，請記住，需要額外的工作，才能建置/部署，並與儲存在對應 Azure DevOps 資料夾外部的檔案互動。

Azure Repos 設定

組態窗格會逐步引導您逐步設定下列每個程式代碼存放庫設定：

設定	描述	值
存放庫類型	Azure Repos 程式代碼存放庫的類型。	Azure DevOps Git 或 GitHub
Microsoft Entra ID	您的 Microsoft Entra 租用戶名稱。	<your tenant name>
Azure Repos 組織	您的 Azure Repos 組織名稱。 您可以在 找到您的 Azure Repos 組織名稱 https://{organization name}.visualstudio.com。 您可以 登入 Azure Repos 組織 以存取您的 Visual Studio 配置檔，並查看您的存放庫和專案。	<your organization name>
ProjectName	您的 Azure Repos 項目名稱。 您可以在 找到您的 Azure Repos 項目名稱 https://{organization name}.visualstudio.com/{project name}。	<your Azure Repos project name>
RepositoryName	您的 Azure Repos 程式代碼存放庫名稱。 Azure Repos 專案包含 Git 存放庫，可讓您在專案成長時管理原始程式碼。 您可以建立新的存放庫，或使用專案中已有的現有存放庫。	<your Azure Repos code repository name>
共同作業分支	用於發佈的 Azure Repos 共同作業分支。 根據預設，它是 main。 如果您想要從另一個分支發佈資源，請變更此設定。	<your collaboration branch name>
發佈分支	[發佈] 分支是儲存和更新相關 ARM 範本之存放庫中的分支。 根據預設，它是 adf_publish。	<your publish branch name>
根資料夾	Azure Repos 共同作業分支中的根資料夾。	<your root folder name>
將現有的Data Factory資源匯入存放庫	指定是否要將現有的數據處理站資源從 UX 撰寫畫布 匯入 Azure Repos Git 存放庫。 選取方塊，以 JSON 格式將數據處理站資源匯入相關聯的 Git 存放庫。 此動作會個別匯出每個資源（也就是鏈接的服務與數據集會匯出成個別的 JSON）。 如果未選取此方塊，就不會匯入現有的資源。	已選取 (預設值)
要匯入資源的分支	指定匯入數據處理站資源（管線、數據集、鏈接服務等）的分支。 您可以將資源匯入下列其中一個分支：a。 共同作業 b. 建立新的 c. 使用現有的

注意

如果您使用 Microsoft Edge，且未在 Azure DevOps 帳戶下拉式清單中看到任何值，請將 HTTPs：//*.visualstudio.com 新增至信任的網站清單。

編輯存放庫設定

如果需要對設定的 Azure Repos Git 存放庫進行任何調整，您可以選擇 [ 編輯]。

您可以更新發佈分支，並決定是否要從ADF Studio停用發佈按鈕。 如果您選擇從 Studio 停用發佈按鈕，則 Studio 中的 [發佈] 按鈕呈現灰色。 這可協助您避免覆寫最後一次自動發佈部署。

使用不同的 Microsoft Entra 租使用者

Azure Repos Git 存放庫可以位於不同的 Microsoft Entra 租使用者中。 若要指定不同的 Microsoft Entra 租使用者，您必須擁有所使用 Azure 訂用帳戶的系統管理員許可權。 如需詳細資訊，請參閱 變更訂用帳戶管理員。

重要

若要連線到另一個 Microsoft Entra 識別符，登入的用戶必須是該 Active Directory 的一部分。

使用您的個人 Microsoft 帳戶

若要使用個人 Microsoft 帳戶進行 Git 整合，您可以將個人 Azure 存放庫連結至組織的 Active Directory。

1. 將您的個人 Microsoft 帳戶新增至組織的 Active Directory 作為來賓。 如需詳細資訊，請參閱在 Azure 入口網站 中新增 Microsoft Entra B2B 共同作業使用者。

2. 使用您的個人 Microsoft 帳戶登入 Azure 入口網站。 然後切換至組織的Active Directory。

3. 移至 Azure DevOps 區段，您現在會看到您的個人存放庫。 選取存放庫並連線到 Active Directory。

設定這些步驟之後，當您在 Data Factory UI 中設定 Git 整合時，即可使用您的個人存放庫。

如需將 Azure Repos 連線到組織 Active Directory 的詳細資訊，請參閱將 Azure DevOps 組織 連線 至 Microsoft Entra ID。

使用 GitHub 整合進行編寫

使用 GitHub 整合進行視覺化撰寫支援原始檔控制和共同作業，以處理資料處理站管線。 您可以將數據處理站與 GitHub 帳戶存放庫產生關聯，以進行原始檔控制、共同作業、版本控制。 單一 GitHub 帳戶可以有多個存放庫，但 GitHub 存放庫只能與一個數據處理站相關聯。 如果您沒有 GitHub 帳戶或存放庫，請遵循 這些指示 來建立資源。

GitHub 與 Data Factory 的整合同時支援公用 GitHub（也就是 https://github.com）、GitHub Enterprise Cloud 和 GitHub Enterprise Server。 只要您擁有 GitHub 中存放庫的讀取和寫入許可權，就可以搭配 Data Factory 使用公用和私人 GitHub 存放庫。 若要與公用存放庫連線，請選取 [使用連結存放庫] 選項，因為它們不會顯示在 [存放庫名稱] 下拉功能表中。 ADF 的 GitHub 企業伺服器整合僅適用於 正式支援的 GitHub 企業伺服器版本。

對於 GitHub 組織帳戶所擁有的存放庫，系統管理員必須授權 ADF 應用程式。 對於 GitHub 使用者帳戶所擁有的存放庫，具有至少共同作業者許可權的使用者可以授權 ADF 應用程式。 此許可權不會授與ADF應用程式直接存取帳戶/組織所擁有的所有存放庫，它只允許ADF應用程式代表使用者根據使用者的訪問許可權存取存放庫。

注意

如果您使用 Microsoft Edge，則小於 2.1.4 的 GitHub Enterprise 版本將無法使用它。 GitHub 正式支援 >=3.0，這些全都適用於ADF。 當 GitHub 變更其最低版本時，ADF 支援的版本也會變更。

GitHub 設定

組態窗格會顯示下列 GitHub 存放庫設定：

設定	說明	值
存放庫類型	Azure Repos 程式代碼存放庫的類型。	GitHub
使用 GitHub Enterprise Server	選取 [GitHub Enterprise Server] 的複選框。	unselected （預設值）
GitHub Enterprise Server URL	GitHub Enterprise 根 URL （必須是本機 GitHub Enterprise 伺服器的 HTTPS）。 例如： https://github.mydomain.com 。 只有在選取 [使用 GitHub Enterprise Server] 時才需要	<your GitHub Enterprise Server URL>
GitHub 存放庫擁有者	擁有存放庫的 GitHub 組織或帳戶。 您可以從 name} 找到 https://github.com/{owner}/{repository 此名稱。 流覽至此頁面會提示您輸入 GitHub OAuth 認證給 GitHub 組織或帳戶。 如果您選取 [使用 GitHub Enterprise Server]，會出現一個對話框，讓您輸入存取令牌。	<your GitHub repository owner name>
存放庫名稱	您的 GitHub 程式代碼存放庫名稱。 GitHub 帳戶包含用來管理原始程式碼的 Git 存放庫。 您可以建立新的存放庫，或使用帳戶中已有的現有存放庫。 當您選取 [選取存放庫] 時，請指定 GitHub 程式代碼存放庫名稱。	<your repository name>
Git 存放庫連結	您的 GitHub 程式代碼存放庫連結。 當您選取 [使用存放庫連結] 時，請指定 GitHub 程式代碼存放庫連結。	<your repository link>
共同作業分支	用於發佈的 GitHub 共同作業分支。 根據預設，它是主要的。 如果您想要從另一個分支發佈資源，請變更此設定。 您也可以在這裡建立新的共同作業分支。	<your collaboration branch>
發佈分支	儲存和更新發行相關 ARM 範本之存放庫中的分支。	<your publish branch name>
根資料夾	GitHub 共同作業分支中的根資料夾。	<your root folder name>
將現有的資源匯入存放庫	指定是否要將現有的數據處理站資源從UX撰寫畫布匯入 GitHub 存放庫。 選取方塊，以 JSON 格式將數據處理站資源匯入相關聯的 Git 存放庫。 此動作會個別匯出每個資源（也就是鏈接的服務與數據集會匯出成個別的 JSON）。 如果未選取此方塊，就不會匯入現有的資源。	已選取 (預設值)
將資源匯入此分支	指定匯入數據處理站資源（管線、數據集、鏈接服務等）的分支。

編輯存放庫設定

如果需要對已設定 GitHub 存放庫的設定進行任何調整，您可以選擇 [ 編輯]。

您可以更新發佈分支，並決定是否要從ADF Studio停用發佈按鈕。 如果您選擇從 Studio 停用發佈按鈕，則 Studio 中的 [發佈] 按鈕呈現灰色。 這有助於避免覆寫最後一次自動發佈部署。

GitHub 組織

連線 至 GitHub 組織需要組織授與 Azure Data Factory 的許可權。 具有組織系統管理員許可權的用戶必須執行下列步驟，才能讓數據處理站連線。

第一次在 Azure Data Factory 中 連線 公用 GitHub 或 GitHub Enterprise Cloud

如果您第一次從 Azure Data Factory 連線到公用 GitHub 或 GitHub Enterprise Cloud，請遵循下列步驟來連線到 GitHub 組織。

1. 在 [Git 組態] 窗格中，於 [GitHub 帳戶 ] 字段中輸入組織名稱。 出現登入 GitHub 的提示。
2. 使用您的使用者認證登入。
3. 系統會要求您將 Azure Data Factory 授權為名為 AzureDataFactory 的應用程式。 在此畫面上，您會看到授與ADF存取組織許可權的選項。 如果您沒有看到授與許可權的選項，請要求系統管理員透過 GitHub 手動授與許可權。

遵循這些步驟之後，您的處理站就可以連線到您組織內的公用和私人存放庫。 如果您無法連線，請嘗試清除瀏覽器快取並重試。

已使用個人帳戶連線到公用 GitHub 或 GitHub Enterprise Cloud

如果您已連線至公用 GitHub 或 GitHub Enterprise Cloud，且只授與存取個人帳戶的許可權，請遵循下列步驟，將許可權授與組織。

1. 移至 GitHub 並開啟 設定。

   

2. 選取 [ 應用程式]。 在 [ 授權的 OAuth 應用程式 ] 索引標籤中，您應該會看到 AzureDataFactory。

   

3. 選取應用程式，並將您組織的存取權授與應用程式。

   

遵循這些步驟之後，您的處理站就可以連線到您組織內的公用和私人存放庫。

連線 至 GitHub Enterprise Server

如果您連線到 GitHub Enterprise Server，則必須使用個人存取令牌進行驗證。 瞭解如何在建立個人存取令牌中 建立個人存取令牌。

注意

GitHub Enterprise Server 位於自我裝載的私人環境中，因此當您使用此驗證時，您需要完整控制防火牆、網路原則和 VPN。 如需詳細資訊，請參閱 關於 GitHub Enterprise Server。

已知的 GitHub 限制

• 您可以將文稿和資料檔案儲存在 GitHub 存放庫中。 不過，您必須手動將檔案上傳至 Azure 儲存體。 Data Factory 管線不會自動將儲存在 GitHub 存放庫中的腳本或數據檔上傳至 Azure 儲存體。

• 2.14.0 版的 GitHub Enterprise 無法在 Microsoft Edge 瀏覽器中運作。

• GitHub 與 Data Factory 可視化撰寫工具的整合僅適用於正式運作版本的 Data Factory。

連線 至 Azure DevOps Server 2022

如果您連線到 Azure DevOps Server 2022，則必須使用個人存取令牌進行驗證。 瞭解如何在這裡建立個人存取令牌。

提供 與 ，以 連線至內部部署 Azure DevOps Azure DevOps Server URLAzure DevOps Project Collection

為令牌提供存取範圍做為程式代碼的讀取/寫入。

版本控制

版本控制系統 (也稱為原始程式碼控制) 讓開發人員對程式碼以及程式碼基底的追蹤變更進行共同作業。 原始程式碼控制是多重開發人員專案不可或缺的工具。

建立功能分支

每個與資料處理站相關的 Azure Repos Git 存放庫都有共同作業分支。 (main是預設的共同作業分支)。 使用者也可以按一下分支下拉式功能表中的+ 新分支來建立功能分支。

一旦出現新的分支窗格，請輸入功能分支的名稱，然後選取一個分支來根據工作。

當您準備好要將功能分支的變更合併到共同作業分支時，請按一下分支下拉式功能表，然後選取建立提取要求。 這個動作會帶您前往 Azure Repos Git，您可以在其中提出提取要求、執行程式碼檢閱，以及合併變更到您的共同作業分支。 （main 是預設值）。 您只能從共同作業分支發佈到 Data Factory 服務。

設定發佈設定

根據預設，資料處理站會產生已發佈中心的 Resource Manager 範本，並將它們儲存到名為adf_publish的分支。 若要設定自訂發佈分支，請將publish_config.json檔案新增至共同作業分支中的根資料夾。 發佈時，ADF 會讀取此檔案、尋找 欄位 publishBranch，並將所有 Resource Manager 範本儲存至指定的位置。 如果分支不存在，Data Factory 會自動建立它。 此檔案如下所示的範例：

{
    "publishBranch": "factory/adf_publish"
}

Azure Data Factory 一次只能有一個發佈分支。 當您指定新的發佈分支時，Data Factory 不會刪除先前的發佈分支。 如果您想要移除先前的發佈分支，請手動刪除該分支。

注意

Data Factory 只會在載入中心時讀取publish_config.json檔案。 如果您已在入口網站中載入中心，請重新整理瀏覽器，使變更生效。

發佈程式碼變更

將變更合併至共同作業分支 （main 預設值）之後，按兩下 [發佈 ] 以手動將主要分支中的程式代碼變更發佈至 Data Factory 服務。

側邊窗格會在您確認發佈分支和擱置中變更正確後開啟。 驗證變更後，按一下 OK 確認發佈。

重要

主要分支不代表Data Factory 服務中部署的內容。 主要分支 必須 手動發佈至 Data Factory 服務。

Git 整合的最佳做法

權限

通常您不希望每個小組成員都有更新 Data Factory 的許可權。 建議使用下列權限設定：

• 所有小組成員都應該有 Data Factory 的讀取權限。
• 應只允許一組特定人員才能發佈至 Data Factory。 若要這樣做，他們必須在包含 Data Factory 的資源群組上擁有 Data Factory 參與者角色。 如需許可權的詳細資訊，請參閱 Azure Data Factory 的角色和許可權。

建議您不要允許直接在共同作業分支裡簽入。 這項限制有助於防止錯誤，因為每次簽入都會經歷建立功能分支中所述的提取要求檢閱程式。

使用 Azure Key Vault 的密碼

建議您使用 Azure Key Vault 來儲存 Data Factory Linked Services 的任何連線字串或密碼，或受控識別驗證。 基於安全性考量，資料處理站不會在 Git 中儲存祕密。 在 Linked Services 上任何內含密碼等秘密變更，都會立即發佈至 Azure Data Factory 服務。

使用 Key Vault 或 MSI 驗證也可讓您更輕鬆地持續整合和部署，因為您不需要在 Resource Manager 範本部署期間提供這些祕密。

針對 Git 整合進行疑難解答

過時發行分支

以下是可能導致發行分支過時的一些情況範例：

• 使用者有多個分支。 在一個功能分支中，他們刪除了未與 AKV 相關聯的連結服務（不論其是否在 Git 中，都會立即發佈非 AKV 連結服務），且永遠不會將功能分支合併至共同作業分支。
• 使用者已使用 SDK 或 PowerShell 修改數據處理站
• 使用者將所有資源移至新的分支，並嘗試第一次發佈。 匯入資源時，應該手動建立連結的服務。
• 用戶手動上傳非 AKV 鏈接服務或 Integration Runtime JSON。 他們會從另一個資源參考該資源，例如數據集、鏈接服務或管線。 透過使用者介面建立的非 AKV 連結服務會立即發佈，因為認證需要加密。 如果您上傳參考該鏈接服務的數據集，並嘗試發佈，使用者介面會允許它，因為它存在於 git 環境中。 它會在發佈時間遭到拒絕，因為它不存在於 Data Factory 服務中。

如果發行分支與主要分支不同步，而且包含最新的資源，儘管有最近的發佈，您可以使用下列其中一個解決方案：

選項 1：使用 覆寫即時模式 功能

它會將您共同作業分支的程式代碼發佈或覆寫到即時模式。 它會將存放庫中的程式代碼視為事實來源。

程序代碼流程：共同作業分支 -> 即時模式

選項 2：中斷連線並重新連線 Git 存放庫

它會將程式代碼從即時模式匯入至共同作業分支。 它會將即時模式中的程式代碼視為事實來源。

程式代碼流程：即時模式 -> 共同作業分支

1. 拿掉您目前的 Git 存放庫
2. 使用相同的設定重新設定 Git，但請確定 已選取 [將現有的 Data Factory 資源匯入存放庫 ]，然後選擇 [共同作業分支] （相同分支）
3. 建立提取要求以將變更合併到共同作業分支。

注意

如果您在不允許直接認可的存放庫中工作，則只需要建立和合併提取要求。 在大部分組織中，提交至存放庫需要檢閱再合併，因此最佳做法通常是使用此方法。 但在某些情況下，不需要檢閱，在此情況下，不需要建立和合併提取要求，但變更可以直接認可至共同作業分支。

視需要適當選擇任一方法。

在發佈時顯示為新資源的所有資源

發佈時，即使先前發佈資源，所有資源仍會顯示為新的資源。 如果 lastCommitId 屬性是藉由重新部署處理站 ARM 範本或透過 PowerShell 或 REST API 更新處理站存放庫設定屬性，在處理站的存放庫設定屬性上重設，就會發生這種情況。 繼續發佈資源可以解決問題，但為了避免再次發生，請避免更新處理站 存放庫Configuration 屬性。

切換到不同的 Git 存放庫

若要切換至不同的 Git 存放庫，請移至 [原始檔控制] 下管理中樞中的 [Git 設定] 分頁。 選取 [中斷連線]。

輸入您的資料處理站名稱，然後按一下確認以移除與您資料處理站相關聯的 Git 存放庫。

移除與目前存放庫的關聯之後，您可以設定 Git 設定以使用不同的存放庫，然後將現有的 Data Factory 資源匯入到新的存放庫。

重要

從資料處理站移除 Git 設定並不會刪除存放庫中的任何資料。 Factory 包含所有已發佈的資源。 您可以直接針對服務繼續編輯處理站。

相關內容

• 若要深入瞭解監視和管理管線，請參閱 以程序設計方式監視和管理管線。
• 若要實作持續整合和部署，請參閱 Azure Data Factory 中的持續整合和傳遞（CI/CD）。