建立和管理 Kubernetes 支援的自我裝載整合執行階段

重要事項

先前Azure Purview) (Microsoft Purview 整合式目錄 和傳統 Microsoft Purview 資料控管功能即將淘汰。 Microsoft 正在 Microsoft Fabric 中合併其資料控管功能。 您無法再建立新帳戶,現有功能將維持在維護模式,直到 2027 年 11 月 12 日為止。 如需淘汰時間表、轉換指引,以及建議的後續步驟,請參閱 Microsoft Purview 資料控管淘汰公告。

本文涵蓋以 Kubernetes 為基礎的 Linux 新 SHIR 功能的詳細資訊,可改善基礎結構,以提供數個優點:

  • 可擴展性:能夠擴展到數百台機器。
  • 效能:改善掃描工作負載的效能。
  • 容器化) (安全性:能夠在 Kubernetes 叢集上擁有容器化安全性,而不是直接在 Windows 電腦上裝載 SHIR

本文涵蓋安裝和管理 Kubernetes 支援的自我裝載整合執行階段的詳細資料。

支援的資料來源

如需所有支援來源的清單,請參閱 每個整合執行階段資料表支援的資料來源。

架構

在高階架構檢視中,安裝 Kubernetes 型 SHIR 時,會在使用者的 Kubernetes 叢集節點上自動建立數個 Pod。 可由名為 IRCTL 的命令列工具觸發安裝 (請參閱下列各節) 詳細資訊。 IRCTL 連線至 Microsoft Purview 服務以註冊 SHIR,並連線至 Kubernetes 叢集以安裝 SHIR。 

在安裝期間,SHIR 映像會從 MCR 下載 (Microsoft容器登錄) 到 SHIR 網繭。 安裝完成後,使用者叢集中的 Pod 會連線到 Microsoft Purview 服務以提取掃描作業。 提取掃描作業時,它可以連接使用者的內部部署資料來源以進行資料掃描。

Kubernetes 支援的自我裝載整合執行階段的網路架構資訊圖表。

必要條件

  • 使用 企業 資料控管解決方案的 Microsoft Purview 帳戶。

  • Kubernetes 叢集:您必須擁有現有的 Linux 型 Kubernetes 叢集,或準備一個叢集。 節點可由節點選取器識別,節點選取器遵循 Kubernetes 節點選取器的定義。 最低設定:

    • 容器類型:Linux
    • Kubernetes 版本:1.24.9 或更新版本
    • 節點作業系統:在 x86 架構上執行的基於 Linux 的作業系統
    • 節點規格:最少八核心 CPU、32 GB 記憶體,以及至少 80 GB 的可用硬碟空間
    • 節點計數: >=1 應修正 (, 而不是 啟用叢集自動調整程式)
    • 每個節點的 Pod 數量: >= 20 個 (最大 Pod 數量 – 不屬於 Self-Hosted IR) 的其他 Pod 計數

    注意事項

    每個節點的資料夾 /var/irstorage/ 保留給 SHIR。 SHIR 可讀及寫入。 您可以取得從此資料夾保留的記錄,或將外部驅動程式上傳至此資料夾。 如果不存在,將由 SHIR 建立,刪除 SHIR 後不會刪除。 SHIR 使用的容器映像是由 Kubernetes 廢棄項目收集所管理,SHIR 不會對其進行清除。 為 Kubernetes 叢集設定適當的閾值。

  • Kubernetes 叢集網路:您擁有的 Kubernetes 叢集應該能夠連線到 網路需求中所列的端點。

  • 整合執行階段命令列工具:若要在本機管理 Microsoft Purview Kubernetes SHIR,您需要名為 IRCTL 的命令列工具。 您可以在建立 SHIR 過程中下載此工具。 IRCTL 是管理 Microsoft Purview SHIR 的命令列工具。 如需詳細資訊,請參閱 IRCTL 文件。

  • Kubernetes 脈絡:需要 Kubernetes 脈絡,其中包含 Kubernetes 叢集資訊,以及使用者對此叢集的權限和認證,才能與您的 Kubernetes 叢集交談。 若要簡化使用者 SHIR 管理權限的設定,您可以從 Kubernetes 管理員角色開始。 此內容是隨著 Kubernetes 叢集的設定產生,並儲存在設定檔中。 取得此檔案的位置和方式取決於您設定的 Kubernetes 叢集。
    • 如果您用於 kubeadm init 設定 Kubernetes 叢集,可以在 底下 /etc/Kubernetes/admin.conf找到設定檔。
    • 如果您使用 AKS,您可以遵循 AKS 的指導方針,使用 Az PowerShell 模組命令,將此叢集的認證取得到本機電腦。 上下文可以直接合併到下面的 $HOME/.kube/config 配置文件。
    • 如果您使用其他工具設定 Kubernetes 叢集,請參閱 Kubernetes 文件。
    • 當您擁有 Kubernetes 內容的設定檔時,請將其合併到設定檔,即 $HOME/.kube/config您要執行 IRCTL 命令的電腦上的設定檔。 或者,您也可以在名為 KUBECONFIG 的環境變數中設定 Kubernetes 內容的設定檔。 如需有關 Kubernetes 內容的詳細資訊,請參閱 設定對多個叢集的存取。

建立 Kubernetes 支援的自我裝載整合執行階段

要控制和管理 Kubernetes SHIR,用戶可以下載名為 IRCTL 的命令列工具。 以下是 Kubernetes 支援的自我裝載整合執行階段的步驟。

這些步驟會引導您完成下載 IRCTL,但如需直接連結,請參閱 IRCTL 文件。

設定 Kubernetes 支援的自我裝載整合執行階段

  1. 在 Microsoft Purview 資料對應中開啟 [整合執行階段] 視窗

  2. 選取 [+ 新增 ] 按鈕

    Microsoft Purview 資料對應中整合執行階段視窗的螢幕擷取畫面。

  3. 選取 [自我裝載 ],然後選取 [ 繼續]

    已選取自我裝載的新整合執行階段視窗的螢幕擷取畫面。

  4. 為您的執行階段命名,然後選取 Kubernetes 服務支援 切換以啟用

    已啟用 Kubernetes 切換之新整合執行階段視窗的螢幕擷取畫面。

  5. 選取 [建立]

  6. 選取 [取得註冊金鑰]

    [檢視整合執行階段] 頁面的螢幕擷取畫面,其中醒目提示 [取得註冊金鑰] 按鈕。

  7. 複製機碼值。 您稍後需要它才能在 IRCTL 中執行命令。

    提示

    如有需要,您可以重新產生金鑰或撤銷產生的金鑰。

  8. 選取 下載 IRCTL 並安裝整合執行階段 連結以下載 IRCTL 工具。 (您也可以按照以下步驟直接下載 IRCTL。)

  9. 在您要執行 IRCTL 命令列的電腦上,從下載安裝 IRCTL。 IRCTL 會依據 Kube 設定內容連線到 Kubernetes 叢集。如果未指定內容,IRCTL 會使用目前的內容。 您可以使用下列兩種方式之一設定內容:

    • 執行 kubectl 命令列並執行此命令以確認目前內容:

      kubectl config get-contexts – List all contexts configured on the machine
      
      kubectl config current-context – Get the current context name
      
      kubectl config use-context <name of context>
      
    • 執行 IRCTL 並執行 --context 以在 Kube 配置中指定內容

  10. 執行 IRCTL 命令列並使用您複製的註冊金鑰執行此命令。

    ./irctl create --registration-key <registration key copied from the portal>
    

    注意事項

    如果未指定 節點選取器 ,則會使用 Kubernetes 叢集的所有節點。 針對 AKS,建議您使用 AKS 節點集區的標籤做為節點選取器,或者您可以自訂 SHIR 節點的不同標籤。

  11. 您會看到此列印成品:

    [Info] Start to create SHIR with Kubernetes context [your-context]......
    [Info] Environment validation passed!
    [Info] Registering SHIR[example-k8s-shir] for Microsoft Purview Account [yourpurviewaccount]......
    [Info] SHIR Registration done!
    [Info] Provisioning SHIR, it may take about 5-30 minutes......done!
    [Info] SHIR creation succeeded!  
    

    提示

    如果安裝進度被 Ctrl-C 或其他原因中斷,可以使用以下命令來監控安裝進度: ./irctl install status

  12. 安裝完成後,若要檢查 SHIR 的目前狀態,請執行下列命令:

    ./irctl describe
    
  13. 您也可以在 Microsoft Purview 入口網站的 [整合執行階段 ] 頁面上檢查 SHIR 的狀態。

使用外部驅動程式設定掃描

掃描某些資料來源時,您需要在安裝 SHIR 的電腦上安裝對應的驅動程式,讓 Microsoft Purview 與資料來源連線。 以下是 Db2 掃描的範例。 請參閱個別連接器文章,以了解特定必要條件。

注意事項

需要這些外部驅動程式的資料來源具有其先決條件中所列的資訊。

在此範例中,我們正在安裝 Db2 驅動程式。 其他驅動程式的步驟也類似。

  1. 首先,安裝整合執行階段。

  2. 下載驅動程式 (每一個來源都有其個別驅動程式列出。) 例如,您可以在這裡找到 DB2 驅動程式: 連線及管理 Db2。

  3. 將驅動程式上傳到整合執行階段的每個節點。 您可以使用如下所示的命令:

    ./irctl storage upload --source jdbc_sqlj/db2_driver --destination driver/db2
    

    上傳確認成功如下所示:

    ========== Context ========== 
    Kubernetes Context             : k8s-shir-test-cluster 
    Purview Account                : test-purview-1 
    Self-hosted Intrgration Runtime: k8s-shir-demo 
    ========== Progress ========== 
    Processing 2/2 nodes... 
    aks-shirpool-27141791-vmss000000: SUCCEEDED 
    aks-shirpool-27141791-vmss000001: SUCCEEDED 
    ========== Results ========== 
    jdbc_sqlj/db2_driver -> /var/irstorage/driver/db2 
    

    注意事項

    如果您取代節點或橫向擴展至新節點,則需要再次上傳外部驅動程式。

  4. 驗證使用此命令上傳的檔案:

    ./irctl storage list driver/db2
    

    您應該會看到如下所示的回應:

    ========== Context ========== 
    Kubernetes Context             : k8s-shir-test-cluster 
    Purview Account                : test-purview-1 
    Self-hosted Intrgration Runtime: k8s-shir-demo 
    ========== Progress ========== 
    Processing 2/2 nodes... 
    aks-shirpool-27141791-vmss000000: SUCCEEDED 
    aks-shirpool-27141791-vmss000001: SUCCEEDED 
    ========== Results ========== 
    Node: aks-shirpool-27141791-vmss000000 - Succeeded 
    /var/irstorage/driver/db2 
    total 9364 
    drwxr-xr-x    2 root     root          4096 May 15 14:23 . 
    drwxr-xr-x    3 root     root          4096 May 15 14:23 .. 
    -rwxrwxr-x    1 root     root       6568346 May 15 14:23 db2jcc4.jar 
    Node: aks-shirpool-27141791-vmss000001 - Succeeded 
    /var/irstorage/driver/db2 
    total 9364 
    drwxr-xr-x    2 root     root          4096 May 15 14:23 . 
    drwxr-xr-x    3 root     root          4096 May 15 14:23 .. 
    -rwxrwxr-x    1 root     root       6568346 May 15 14:23 db2jcc4.jar 
    
  5. 使用 DriverLocation 的值和步驟 3 中的 目的地 值建立掃描。

    掃描設定視窗的螢幕擷取畫面,顯示列為 driver/db2 的驅動程式位置。

高可用性與擴充性

您可以在 Kubernetes 支援的自我裝載整合執行階段安裝期間,使用節點選取器,指派 Kubernetes 叢集的多個節點以擁有高可用性。 擁有多個節點的好處如下:

  • 自我裝載整合執行階段的更高可用性,使其不再是掃描的單一失敗點。
  • 執行更多同時掃描。 每個節點都可以同時執行多個掃描。 如果您需要更多並行掃描,可以手動向外延展 Kubernetes 叢集的節點。
  • 掃描某些來源 (例如 Azure Blob、Azure Data Lake Storage Gen2 和 Azure 檔案儲存體) 時,每個掃描執行都可以使用多個節點來提升掃描效能。 對於其他來源,掃描只會在其中一個節點上執行。

Kubernetes 支援的自我裝載整合執行階段的功能可以透過手動相應放大/放大 Kubernetes 叢集的節點來更新。

注意事項

您必須上傳所有必要的驅動程式,以便在每個新節點上進行掃描。

網路需求

網域名稱 輸出連接埠 描述
公有雲: <tenantID>-api.purview-service.microsoft.com
Azure Government:<tenantID>-api.purview-service.microsoft.us
中國: <tenantID>-api.purview-service.microsoft.cn
443 連線至 Microsoft Purview 服務的必要項目。 如果您使用 Microsoft Purview 私人端點,則帳戶私人端點會涵蓋此端點。
公有雲: <purview_account>.purview.azure.com
Azure Government:<purview_account>.purview.azure.us
中國: <purview_account>.purview.azure.cn
443 連線至 Microsoft Purview 服務的必要項目。 如果您使用 Microsoft Purview 私人端點,則帳戶私人端點會涵蓋此端點。
公有雲: <managed_storage_account>.blob.core.windows.net 或 <ingestion_storage_account>.*.blob.storage.azure.net
Azure Government:<managed_storage_account>. blob.core.usgovcloudapi.net或<ingestion_storage_account>. blob.core.usgovcloudapi.net
中國: <managed_storage_account>.blob.core.chinacloudapi.cn或 <ingestion_storage_account>.blob.core.chinacloudapi.cn
443 需要連線至 Microsoft Purview 受管理的 Azure Blob 儲存體帳戶。
公有雲: <managed_storage_account>.queue.core.windows.net 或 <ingestion_storage_account>.*.queue.storage.azure.net
Azure Government:<managed_storage_account>. queue.core.usgovcloudapi.net或<ingestion_storage_account>. queue.core.usgovcloudapi.net
中國: <managed_storage_account>.queue.core.chinacloudapi.cn或 <ingestion_storage_account>.queue.core.chinacloudapi.cn
443 需要連線至 Microsoft Purview 受管理的 Azure 佇列儲存體帳戶。
公有雲: *.compute.governance.azure.com
Azure Government:*.compute.governance.azure.us
中國: *.compute.governance.azure.cn
443 連線至 Microsoft Purview 服務的必要項目。 目前需要萬用字元,因為沒有專用資源。
mcr.microsoft.com 443 需要下載映像。
*.data.mcr.microsoft.com 443 需要下載映像。

注意事項

依據使用者想要掃描的來源而定,使用者也需要允許其他網域和其他 Azure 或外部來源的輸出連接埠。

版本

通常,我們每個月會發行一個新的自我裝載整合執行階段次要版本,其中包含功能、增強功能和錯誤修正。

自託管整合執行階段的每個版本都會在一年後到期。

如何檢查目前版本

您可以在 入口網站上或使用 IRCTL 檢查 Kubernetes 自我裝載整合執行階段的版本。

入口網站

  1. 在 Microsoft Purview 入口網站中,瀏覽至 [資料對應]。
  2. 選取 整合執行階段
  3. 整合執行階段描述行中的第四欄會是 [版本],您可以在那裡查看版本。

IRCTL (1.1.0 及以上版本)

describe 命令會傳回整合執行階段的版本。

./irctl describe

自動更新

從版本 1.1.0 開始,Kubernetes 自我裝載整合執行階段支援預設啟用的自動更新。 這項功能可確保您的整合執行階段大約每個月自動升級至最新的 Microsoft 管理版本一次。

退出

建議您保持啟用自動更新,以受益於最新的功能和增強功能。 不過,您可以選擇不使用 IRCTL 自動更新。 自動更新設定會在重新安裝後持續存在,因此您不需要在每次安裝時停用它。

./irctl config set autoUpdate.enabled false
./irctl config view

自動更新版本與最新版本

為了確保穩定性,自動更新通常會落後於最新版本,延遲一個月。 自動更新版本由 Microsoft 管理。

如果您想要將整合執行階段升級至較新版本,則應使用 特定版本的 IRCTL 執行手動升級。

後續步驟