建立和管理自我裝載整合執行時間
整合執行時間 (IR) 是 Microsoft Purview 用來跨不同網路環境進行資料掃描的計算基礎結構。
自我裝載整合執行時間 (SHIR) 可用來掃描內部部署網路或虛擬網路中的資料來源。 安裝自我裝載整合執行時間需要內部部署機器或私人網路內的虛擬機器。
本文涵蓋自我裝載整合執行時間的設定,以及疑難排解和管理。
主題 | 區段 |
---|---|
設定新的自我裝載整合執行時間 | 機器需求 |
來源特定機器需求會列在每個來源文章的必要條件之下 | |
設定指南 | |
網路 | 網路需求 |
Proxy 伺服器 | |
私人端點 | |
針對 Proxy 和防火牆進行疑難排解 | |
針對連線能力進行疑難排解 | |
管理 | 一般 |
注意事項
Microsoft Purview Integration Runtime無法與同一部電腦上的 Azure Synapse Analytics 或 Azure Data Factory Integration Runtime 共用。 它必須安裝在分隔的電腦上。
必要條件
- 支援的 Windows 版本包括:
- Windows 8.1
- Windows 10
- Windows 11
- Windows Server 2012
- Windows Server 2012 R2
- Windows Server 2016
- Windows Server 2019
- Windows Server 2022
不支援在網域控制站上安裝自我裝載整合執行時間。
重要事項
掃描某些資料來源需要在自我裝載整合執行時間電腦上進行其他設定。 例如,JDK、C++ 可轉散發套件或特定驅動程式。 For your source, refer to each source article for prerequisite details. Any requirements will be listed in the Prerequisites section.
若要在 Microsoft Purview 中新增和管理 SHIR,您需要 Microsoft Purview 中 的資料來源系統管理員權 限。
自我裝載整合執行時間需要 64 位作業系統,.NET Framework 4.7.2 或更新版本。 如需詳細資訊,請參閱.NET Framework系統需求。
自我裝載整合執行時間電腦的建議最小設定是具有 8 個核心、28 GB RAM 和 80 GB 可用硬碟空間的 2 GHz 處理器。 根據您的案例,掃描某些資料來源可能需要更高的電腦規格。 另請檢查對應 連接器文章中的必要條件。
如果主機電腦休眠,自我裝載整合執行時間不會回應資料要求。 安裝自我裝載整合執行時間之前,請先在電腦上設定適當的電源計劃。 如果電腦設定為休眠,自我裝載整合執行時間安裝程式會提示訊息。
您必須是電腦上的系統管理員,才能成功安裝和設定自我裝載整合執行時間。
根據您設定的排程,掃描執行會以特定頻率執行。 機器上的處理器和 RAM 使用量會遵循與尖峰和閒置時間相同的模式。 資源使用量也高度取決於掃描的資料量。 當多個掃描工作正在進行中時,您會看到資源使用量在尖峰時間增加。
重要事項
如果您使用 Self-Hosted Integration Runtime 掃描 Parquet 檔案,則必須在 IR 電腦上安裝 64 位 JRE 8 (JAVA 執行時間環境) 或 OpenJDK 。 如需安裝指南,請參閱 頁面底部的 JAVA 執行時間環境一節 。
使用自我裝載 IR 的考慮
- 您可以使用單一自我裝載整合執行時間來掃描多個資料來源。
- 您只能在任何單一電腦上安裝一個自我裝載整合執行時間實例。 如果您有兩個需要掃描內部部署資料來源的 Microsoft Purview 帳戶,請在兩部電腦上安裝自我裝載 IR,每個 Microsoft Purview 帳戶各一個。
- 自我裝載整合執行時間不需要與資料來源位於相同的電腦上,除非在個別的來源文章中特別指出為必要條件。 讓自我裝載整合執行時間接近資料來源,可減少自我裝載整合執行時間連接到資料來源的時間。
設定自我裝載整合執行時間
若要建立和設定自我裝載整合執行時間,請使用下列程式。
建立自我裝載整合執行時間
注意事項
若要在 Microsoft Purview 中新增或管理 SHIR,您需要 Microsoft Purview 中 的資料來源系統管理員權 限。
在 Microsoft Purview 治理入口網站的首頁上,從左側流覽窗格選取 [資料對應 ]。
在左窗格的 [來源和掃描 ] 下,選取 [ 整合執行時間],然後選取 [ + 新增]。
在 [ 整合執行時間設定 ] 頁面上,選取 [ 自我裝載 ] 以建立自我裝載 IR,然後選取 [ 繼續]。
輸入 IR 的名稱,然後選取 [建立]。
在 [Integration Runtime設定] 頁面上,遵循[手動設定] 區段下的步驟。 您必須從下載網站將整合執行時間下載到您想要執行整合執行時間的 VM 或電腦。
複製並貼上驗證金鑰。
從本機 Windows 電腦上的Microsoft Integration Runtime下載自我裝載整合執行時間。 執行安裝程式。 支援自我裝載整合執行時間版本,例如 5.4.7803.1 和 5.6.7795.1。
在 [註冊Integration Runtime (自我裝載) ] 頁面上,貼上您稍早儲存的兩個金鑰之一,然後選取 [註冊]。
在 [新增Integration Runtime (自我裝載) 節點] 頁面上,選取 [完成]。
成功註冊自我裝載整合執行時間之後,您會看到下列視窗:
您可以使用相同的金鑰,為自我裝載整合執行時間註冊多個節點。 深入瞭解 高可用性和延展性。
管理自我裝載整合執行時間
您可以在 Microsoft Purview 治理入口網站中流覽至 [整合執行時間 ],將滑鼠停留在 IR 上,然後選取 [ 編輯 ] 按鈕,以編輯自我裝載整合執行時間。
- 在 [ 設定] 索引標籤中 ,您可以更新描述、複製金鑰,或重新產生新的金鑰。
- 在 [ 節點] 索引 標籤中,您可以看到已註冊節點的清單,以及狀態、IP 位址和節點刪除選項。 深入瞭解 高可用性和延展性。
- 在 [ 版本] 索引 標籤中,您可以看到 IR 版本狀態。 從 自我裝載整合執行時間自動更新和到期通知深入瞭解。
您可以流覽至 [ 整合執行時間],將滑鼠停留在 IR 上,然後選取 [刪除] 按鈕,以刪除自我裝載 整合 執行時間。
通知區域圖示和通知
如果您將游標移至通知區域中的圖示或訊息上方,您可以看到自我裝載整合執行時間狀態的詳細資料。
自我裝載整合執行時間的服務帳戶
自我裝載整合執行時間的預設登入服務帳戶是 NT SERVICE\DIAHostService。 您可以在[服務 - Integration Runtime服務 - > 屬性 - >> 登入] 中看到它。
請確定帳戶具有以服務方式登入的許可權。 否則,自我裝載整合執行時間無法成功啟動。 您可以在本機安全性原則- 安全性設定 - > 本機原則 - > 使用者權限指派 - >> 以服務方式登入中檢查許可權
高可用性和延展性
您可以將自我裝載整合執行時間與 Azure 中的多部內部部署機器或虛擬機器建立關聯。 這些機器稱為節點。 您最多可以有四個與自我裝載整合執行時間相關聯的節點。 擁有多個節點的優點如下:
- 自我裝載整合執行時間的可用性較高,因此不再是掃描的單一失敗點。 當您使用最多四個節點時,此可用性有助於確保持續性。
- 執行更多並行掃描。 每個自我裝載整合執行時間可以同時啟用許多掃描執行,並根據電腦的 CPU/記憶體自動決定。 如果您有更多並行需求,可以安裝更多節點。
- 掃描 Azure Blob、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2 和 Azure 檔案儲存體 等來源時,每個掃描執行都可以利用所有這些節點來提升掃描效能。 對於其他來源,掃描會在其中一個節點上執行。
您可以從 下載中心安裝自我裝載整合執行時間軟體,以建立多個節點的關聯。 然後,使用相同的驗證金鑰進行註冊。
注意事項
為高可用性和延展性新增另一個節點之前,請確定已在第一個節點上啟用 [遠端存取內部網路 ] 選項。 若要這樣做,請選取 [Microsoft Integration Runtime Configuration Manager> ][設定內部網路的>遠端存取]。
網路需求
自我裝載整合執行時間電腦必須連線到數個資源才能正確運作:
- 用來管理自我裝載整合執行時間的 Microsoft Purview 服務。
- 您想要使用自我裝載整合執行時間掃描的資料來源。
- Microsoft Purview 所建立的受控儲存體帳戶。 Microsoft Purview 會使用這些資源來擷取掃描的結果,以及其他許多專案,因此自我裝載整合執行時間必須能夠與這些資源連線。
有兩個防火牆需要考慮:
- 在組織的中央路由器上執行的公司防火牆
- 在安裝自我裝載整合執行時間的本機電腦上設定為精靈的Windows 防火牆
以下是您需要在 公司和 Windows/電腦防火牆允許的網域和輸出埠。
提示
針對以 'managed_storage_account > ' < 列出的網域,新增與 Microsoft Purview 帳戶相關聯的受控資源名稱。 您可以從 [Azure 入口網站 - > 您的 Microsoft Purview 帳戶 - > [管理的資源] 索引標籤找到它們。
網域名稱 | 輸出埠 | 描述 |
---|---|---|
*.frontend.clouddatahub.net |
443 | 連線到 Microsoft Purview 服務的必要專案。 目前需要萬用字元,因為沒有專用資源。 |
*.servicebus.windows.net |
443 | 在 Microsoft Purview 治理入口網站中設定掃描的必要專案。 此端點用於從 UI 進行互動式撰寫,例如測試連線、流覽資料夾清單和資料表清單以進行範圍掃描。 若要避免使用萬用字元,請參閱 取得 Azure 轉送的 URL。 |
<purview_account>.purview.azure.com |
443 | 連線到 Microsoft Purview 服務的必要專案。 如果您使用 Purview 私人端點,此端點會由 帳戶私人端點涵蓋。 |
<managed_storage_account>.blob.core.windows.net |
443 | 連線到 Microsoft Purview 受控 Azure Blob 儲存體帳戶的必要專案。 如果您使用 Purview 私人端點,擷 取私人端點會涵蓋此端點。 |
<managed_storage_account>.queue.core.windows.net |
443 | 連線到 Microsoft Purview 受控 Azure 佇列儲存體帳戶的必要專案。 如果您使用 Purview 私人端點,擷 取私人端點會涵蓋此端點。 |
download.microsoft.com |
443 | 下載自我裝載整合執行時間更新的必要專案。 如果您已停用自動更新,您可以略過設定此網域。 |
login.windows.net login.microsoftonline.com |
443 | 登入 Azure Active Directory 的必要專案。 |
注意事項
由於 Azure 轉送目前不支援服務標籤,因此您必須在 NSG 規則中使用服務標籤 AzureCloud 或網際網路,以進行與 Azure 轉送的通訊。
根據您想要掃描的來源,您也需要允許其他 Azure 或外部來源的其他網域和輸出埠。 這裡提供一些範例:
網域名稱 | 輸出埠 | 描述 |
---|---|---|
<your_storage_account>.dfs.core.windows.net |
443 | 掃描 Azure Data Lake Store Gen 2 時。 |
<your_storage_account>.blob.core.windows.net |
443 | 掃描 Azure Blob 儲存體時。 |
<your_sql_server>.database.windows.net |
1433 | 掃描Azure SQL資料庫時。 |
*.powerbi.com 和 *.analysis.windows.net |
443 | 掃描 Power BI 租使用者時。 |
<your_ADLS_account>.azuredatalakestore.net |
443 | 掃描 Azure Data Lake Store Gen 1 時。 |
各種網域 | 依賴 | SHIR 將掃描之任何其他來源的網域和埠。 |
對於某些雲端資料存放區,例如 Azure SQL 資料庫和 Azure 儲存體,您可能需要在其防火牆設定上允許自我裝載整合執行時間機器的 IP 位址,或者您可以在自我裝載整合執行時間的網路中建立服務的私人端點。
重要事項
在大部分的環境中,您也必須確定您的 DNS 已正確設定。 若要確認,您可以從 SHIR 電腦使用 nslookup 來檢查每個網域的連線能力。 每個 nslookup 都應該傳回資源的 IP。 如果您使用 私人端點,則應該傳回私人 IP,而不是公用 IP。 如果未傳回任何 IP,或使用私人端點時會傳回公用 IP,您需要處理 DNS/VNet 關聯或私人端點/VNet 對等互連。
取得 Azure 轉送的 URL
需要放在防火牆允許清單中的其中一個必要網域和埠,是用於與 Azure 轉送的通訊。 自我裝載整合執行時間會使用它進行互動式撰寫,例如測試連線和流覽資料夾/資料表清單。 如果您不想要允許 .servicebus.windows.net ,而且想要有更特定的 URL,您可以看到自我裝載整合執行時間所需的所有 FQDN。 依照下列步驟執行:
移至 Microsoft Purview 治理入口網站 - > 資料對應 - > 整合執行時間,並編輯自我裝載整合執行時間。
在 [編輯] 頁面中,選取 [ 節點] 索引卷 標。
選 取 [檢視服務 URL ] 以取得所有 FQDN。
您可以在防火牆規則的允許清單中新增這些 FQDN。
注意事項
如需 Azure 轉送連線通訊協定的相關詳細資料,請參閱 Azure 轉送混合式連線通訊協定。
Proxy 伺服器考慮
如果您的公司網路環境使用 Proxy 伺服器來存取網際網路,請將自我裝載整合執行時間設定為使用適當的 Proxy 設定。 您可以在初始註冊階段或註冊之後設定 Proxy。
設定時,自我裝載整合執行時間會使用 Proxy 伺服器來連線到使用 HTTP 或 HTTPS 通訊協定的服務。 這就是為什麼您在初始設定期間選取 [變更連結 ]。
Microsoft Purview 支援兩個組態選項:
- 請勿使用 Proxy:自我裝載整合執行時間不會明確使用任何 Proxy 來連線到雲端服務。
- 使用系統 Proxy:自我裝載整合執行時間會使用可執行檔組態檔中設定的 Proxy 設定。 如果這些檔案中未指定 Proxy,自我裝載整合執行時間會直接連線到服務,而不需要通過 Proxy。
- 使用自訂 Proxy:設定要用於自我裝載整合執行時間的 HTTP Proxy 設定,而不是在 diahost.exe.config 和 diawp.exe.config 中使用設定。 需要位址 和 埠 值。 使用者名稱 和 密碼 值是選擇性的,視您 Proxy 的驗證設定而定。 所有設定都會在自我裝載整合執行時間上使用 Windows DPAPI 加密,並儲存在本機電腦上。
注意事項
Azure 資料來源和 Power BI 以外的連接器不支援透過 Proxy 連線到資料來源。
儲存更新的 Proxy 設定之後,整合執行時間主機服務會自動重新開機。
註冊自我裝載整合執行時間之後,如果您想要檢視或更新 Proxy 設定,請使用 Microsoft Integration Runtime Configuration Manager。
- 開啟 Microsoft Integration Runtime Configuration Manager。
- 選取 設定 索引標籤。
- 在 [HTTP Proxy] 下,選取 [變更 ] 連結以開 啟 [設定 HTTP Proxy ] 對話方塊。
- 選取 [下一步]。 接著,您會看到警告,要求您有許可權儲存 Proxy 設定,並重新啟動整合執行時間主機服務。
注意事項
如果您使用 NTLM 驗證設定 Proxy 伺服器,整合執行時間主機服務會在網域帳戶下執行。 如果您稍後變更網域帳戶的密碼,請記得更新服務的組態設定,然後重新開機服務。 基於這項需求,建議您使用不需要您經常更新密碼的私人網路域帳戶來存取 Proxy 伺服器。
如果使用系統 Proxy,請確定您的 Proxy 伺服器允許 網路規則的輸出流量。
設定搜尋的 Proxy 伺服器設定
如果您選取 HTTP Proxy 的 [使用系統 Proxy] 選項,自我裝載整合執行時間會在路徑 C:\Program Files\Microsoft Integration Runtime\5.0\ 底下使用下列四個檔案中的 Proxy 設定來執行不同的作業:
- .\Shared\diahost.exe.config
- .\Shared\diawp.exe.config
- .\Gateway\DataScan\Microsoft.DataMap.Agent.exe.config
- .\Gateway\DataScan\DataTransfer\Microsoft.DataMap.Agent.Connectors.Azure.DataFactory.ServiceHost.exe.config
當這些檔案中未指定 Proxy 時,自我裝載整合執行時間會直接連線到服務,而不需要通過 Proxy。
下列程式提供更新 diahost.exe.config 檔案的指示。
在檔案總管中,建立一份安全的 C:\Program Files\Microsoft Integration Runtime\5.0\Shared\diahost.exe.config 複本作為原始檔案的備份。
開啟以系統管理員身分執行的記事本。
在記事本中,開啟文字檔 C:\Program Files\Microsoft Integration Runtime\5.0\Shared\diahost.exe.config。
尋找預設 system.net 標籤,如下列程式碼所示:
<system.net> <defaultProxy useDefaultCredentials="true" /> </system.net>
然後,您可以新增 Proxy 伺服器詳細資料,如下列範例所示:
<system.net> <defaultProxy> <proxy bypassonlocal="true" proxyaddress="<your proxy server e.g. http://proxy.domain.org:8888/>" /> </defaultProxy> </system.net>
Proxy 標籤可讓其他屬性指定必要的設定,例如
scriptLocation
。 如需語法,請參閱< proxy > 元素 (網路設定) 。<proxy autoDetect="true|false|unspecified" bypassonlocal="true|false|unspecified" proxyaddress="uriString" scriptLocation="uriString" usesystemdefault="true|false|unspecified "/>
將組態檔儲存在其原始位置。
重複相同的程式來更新 diawp.exe.config 和 Microsoft.DataMap.Agent.exe.config 檔案。
然後移至路徑 C:\Program Files\Microsoft Integration Runtime\5.0\Gateway\DataScan\DataTransfer,建立名為 「Microsoft.DataMap.Agent.Connectors.Azure.DataFactory.ServiceHost.exe.config」 的檔案,然後設定 Proxy 設定,如下所示。 您也可以如上所述擴充設定。
<?xml version="1.0" encoding="utf-8"?>
<configuration>
<system.net>
<defaultProxy>
<proxy bypassonlocal="true" proxyaddress="<your proxy server e.g. http://proxy.domain.org:8888/>" />
</defaultProxy>
</system.net>
</configuration>
必須從 Proxy 排除本機流量,例如,如果您的 Microsoft Purview 帳戶位於私人端點後方。 在這種情況下,請在路徑下更新下列四個檔案,以包含略過清單 C:\Program Files\Microsoft Integration Runtime\5.0\ 與必要的略過清單:
- .\Shared\diahost.exe.config
- .\Shared\diawp.exe.config
- .\Gateway\DataScan\Microsoft.DataMap.Agent.exe.config
- .\Gateway\DataScan\DataTransfer\Microsoft.DataMap.Agent.Connectors.Azure.DataFactory.ServiceHost.exe.config
掃描 Azure SQL Database 和 ADLS gen 2 儲存體的略過清單範例:
<system.net>
<defaultProxy>
<bypasslist>
<add address="scaneastus4123.blob.core.windows.net" />
<add address="scaneastus4123.queue.core.windows.net" />
<add address="Atlas-abc12345-1234-abcd-a73c-394243a566fa.servicebus.windows.net" />
<add address="contosopurview123.purview.azure.com" />
<add address="contososqlsrv123.database.windows.net" />
<add address="contosoadls123.dfs.core.windows.net" />
<add address="contosoakv123.vault.azure.net" />
</bypasslist>
<proxy proxyaddress=http://proxy.domain.org:8888 bypassonlocal="True" />
</defaultProxy>
</system.net>
重新開機自我裝載整合執行時間主機服務,以挑選變更。 若要重新開機服務,請使用來自 主控台 的服務小程式。 或從Integration Runtime Configuration Manager,選取 [停止服務] 按鈕,然後選取 [啟動服務]。 如果服務未啟動,您可能會在您編輯的應用程式組態檔中新增不正確的 XML 標記語法。
重要事項
別忘了更新上述所有四個檔案。
您也必須確定 Microsoft Azure 在貴公司的允許清單中。 您可以下載有效的 Azure IP 位址清單。 每個雲端的 IP 範圍,依區域和該雲端中標記的服務細分,現在可在 MS 下載上取得:
防火牆和 Proxy 伺服器相關問題的可能徵兆
如果您看到類似下列的錯誤訊息,可能是防火牆或 Proxy 伺服器的設定不正確。 這類設定可防止自我裝載整合執行時間連線到 Microsoft Purview 服務。 若要確保您的防火牆和 Proxy 伺服器已正確設定,請參閱上一節。
當您嘗試註冊自我裝載整合執行時間時,您會收到下列錯誤訊息:「無法註冊此Integration Runtime節點! 確認驗證金鑰有效,且整合服務主機服務正在這部電腦上執行。」
當您開啟Integration Runtime Configuration Manager時,您會看到 [已中斷連線] 或 [連線]狀態。 當您檢視 Windows 事件記錄檔時,在 [事件檢視器>應用程式和服務記錄> ] 底下Microsoft Integration Runtime,您會看到如下的錯誤訊息:
Unable to connect to the remote server A component of Integration Runtime has become unresponsive and restarts automatically. Component name: Integration Runtime (Self-hosted)
JAVA 執行時間環境安裝
如果您使用自我裝載整合執行時間搭配 Microsoft Purview 掃描 Parquet 檔案,則必須在自我裝載 IR 電腦上安裝 JAVA 執行時間環境或 OpenJDK。
使用自我裝載 IR 掃描 Parquet 檔案時,服務會先檢查 JRE 的登錄 (HKEY_LOCAL_MACHINE\SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome)
,如果找不到,接著檢查 OpenJDK 的系統變數 JAVA_HOME
,以找出 JAVA 執行時間。 您可以在電腦上的 [系統設定] 和 [環境變數] 底下設定JAVA_HOME。 建立或編輯JAVA_HOME變數,以指向您電腦上的 JAVA jre。 例如:C:\Program Files\Java\jdk1.8\jre
- 若要使用 JRE:64 位 IR 需要 64 位 JRE。 您可以從 這裡找到它。
- 若要使用 OpenJDK:自 IR 3.13 版起就支援此功能。 將 jvm.dll 與所有其他必要的 OpenJDK 元件封裝成自我裝載 IR 電腦,並據以設定系統內容變數JAVA_HOME。