在 Batch 集區上掛接虛擬檔案系統

發行項
02/14/2024

警告

這篇文章參考 CentOS，這是接近生命週期結束 (EOL) 狀態的 Linux 發行版本。請據以考慮您的使用方式和規劃。如需詳細資訊，請參閱 CentOS 生命週期結束指引。

Azure Batch 支援在 Batch 集區中的 Windows 或 Linux 計算節點上掛接雲端記憶體或外部文件系統。當計算節點加入集區時，虛擬文件系統會掛接並做為該節點上的本機磁碟驅動器。本文說明如何使用適用於 .NET 的 Batch 管理連結庫，在計算節點集區上掛接虛擬文件系統。

將文件系統掛接至集區可讓存取數據比要求工作從大型共用數據集取得自己的數據更容易且更有效率。假設有多個工作需要存取一組常見的數據，例如轉譯電影。每個工作都會一次從場景檔案轉譯一或多個畫面格。藉由掛接包含場景檔案的磁碟驅動器，每個計算節點都能更輕鬆地存取共享數據。

此外，您也可以選擇基礎文件系統，以符合效能、整個和每秒輸入/輸出作業（IOPS）需求。您可以根據同時存取數據的計算節點數目，獨立調整檔系統。

例如，您可以使用 Avere vFXT 分散式記憶體內部快取來支援具有數千個並行轉譯節點存取內部部署源數據的大型電影規模轉譯。或者，對於已經在雲端式 Blob 記憶體中的數據，您可以使用 BlobFuse 將數據掛接為本機文件系統。 Azure 檔案儲存體提供與 BlobFuse 類似的工作流程，而且可在 Windows 和 Linux 上使用。

支援的設定

您可以掛接下列型態的檔案系統：

Azure 檔案儲存體
Azure Blob 儲存體
網路文件系統（NFS），包括 Avere vFXT 快取
通用因特網檔案系統（CIFS）

Batch 針對針對其個別發行者和供應專案所產生的節點代理程式，支援下列虛擬文件系統類型。

OS 類型	Azure 檔案共用	Azure Blob 容器	NFS 掛接	CIFS 掛接
Linux	✔️	✔️	✔️	✔️
Windows	✔️	❌	❌	❌

注意

在 2019 年 8 月 8 日之前建立的 Batch 集區不支援掛接虛擬文件系統。

網路需求

當您在虛擬網路中搭配 Batch 集區使用虛擬檔案掛接時，請記住下列需求，並確保不會封鎖任何必要的流量。如需詳細資訊，請參閱虛擬網路中的 Batch 集區。

Azure 檔案儲存體共用需要開啟 TCP 連接埠 445，以便往返服務標籤的storage流量。如需詳細資訊，請參閱搭配 Windows 使用 Azure 檔案共用。
Azure Blob 容器 需要開啟 TCP 連接埠 443，以便往返服務卷標的 storage 流量。虛擬機（VM）必須能夠存取 https://packages.microsoft.com 以下載 blobfuse 和 gpg 套件。視您的設定而定，您可能需要存取其他 URL。
網路檔案系統（NFS） 預設需要存取埠 2049。您的設定可能會有其他需求。 VM 必須能夠存取適當的套件管理員，才能下載 nfs-common [Debian 或 Ubuntu] 或 nfs-utils [CentOS] 套件。 URL 可能會根據您的 OS 版本而有所不同。視您的設定而定，您可能也需要存取其他 URL。

透過 NFS 掛接 Azure Blob 或 Azure 檔案儲存體可能會有更多網路需求。例如，您的計算節點可能需要使用與記憶體帳戶相同的虛擬網路子網。
常見的因特網文件系統（CIFS） 需要存取 TCP 連接埠 445。 VM 必須能夠存取適當的套件管理員，才能下載 cifs-utils 套件。 URL 可能會根據您的 OS 版本而有所不同。

掛接組態和實作

在集區上掛接虛擬文件系統，讓檔系統可供集區中的每個計算節點使用。當計算節點加入集區、重新啟動或重新映像時，就會發生檔系統的設定。

若要在集區上掛接檔案系統，您可以建立符合虛擬檔案系統的 MountConfiguration 物件： AzureBlobFileSystemConfiguration、 AzureFileShareConfiguration、 NfsMountConfiguration或 CifsMountConfiguration。

所有掛接組態物件都需要下列基底參數。某些掛接組態具有特定文件系統的特定參數，其中程式代碼範例會更詳細地呈現。

記憶體帳戶的帳戶名稱或來源 。
相對掛接路徑或來源，文件系統要掛接在計算節點上的位置，相對於可透過AZ_BATCH_NODE_MOUNTS_DIR存取的標準 \fsmounts 目錄。

確切 的 \fsmounts 目錄位置會根據節點 OS 而有所不同。例如，Ubuntu 節點上的位置會對應至 mnt\batch\tasks\fsmounts。在 CentOS 節點上，位置會對應至 mnt\resources\batch\tasks\fsmounts。
掛接選項或 BlobFuse 選項 ，描述掛接文件系統的特定參數。

當您建立集區和 MountConfiguration 物件時，您會將物件指派給 MountConfigurationList 屬性。當節點聯結集區、重新啟動或重新映射時，就會針對文件系統進行掛接。

Batch 代理程式會在 Windows 和 Linux 上以不同的方式實作掛接。

在 Linux 上，Batch 會安裝套件 cifs-utils。然後，Batch 會發出掛接命令。
在 Windows 上，Batch 會使用 cmdkey 新增 Batch 帳戶認證。然後，Batch 會透過 net use發出掛接命令。例如：
```
net use S: \\<storage-account-name>.file.core.windows.net\<fileshare> /u:AZURE\<storage-account-name> <storage-account-key>
```

掛接文件系統會建立環境變數 AZ_BATCH_NODE_MOUNTS_DIR，其會指向掛接文件系統和記錄檔的位置。您可以使用記錄檔進行疑難解答和偵錯。

您可以使用 Azure PowerShell 在 Windows 或 Linux Batch 集區上掛接 Azure 檔案儲存體共用。下列程式會逐步引導您在 Batch 集區上設定和掛接 Azure 檔案共享文件系統。

重要

集區上掛接的文件系統數目上限為 10。如需詳細資訊和其他限制，請參閱 Batch 服務配額和限制。

必要條件

具有有效訂用帳戶的 Azure 帳戶。
已安裝 Azure PowerShell ，或使用 Azure Cloud Shell 並選取 PowerShell 作為介面。
具有具有檔案共享之連結 Azure 儲存體帳戶的現有 Batch 帳戶。

Windows
Linux

登入您的 Azure 訂用帳戶，將佔位元元取代為您的訂用帳戶標識碼。
```
Connect-AzAccount -Subscription "<subscription-ID>"
```
取得 Batch 帳戶的內容。將 <batch-account-name> 佔位元取代為您的 Batch 帳戶名稱。
```
$context = Get-AzBatchAccount -AccountName <batch-account-name>
```

使用下列設定建立 Batch 集區。將 <storage-account-name> 、 <storage-account-key>和 <file-share-name> 佔位元取代為連結至 Batch 帳戶之記憶體帳戶的值。將 <pool-name> 佔位元取代為您要用於集區的名稱。

下列腳本會建立具有一個 Windows Server 2016 Datacenter 的集區，Standard_D2_V2大小節點，然後將 Azure 檔案共用掛接至 節點的 S 磁碟驅動器。

$fileShareConfig = New-Object -TypeName "Microsoft.Azure.Commands.Batch.Models.PSAzureFileShareConfiguration" -ArgumentList @("<storage-account-name>", "https://<storage-account-name>.file.core.windows.net/batchfileshare1", "S", "<storage-account-key>")

$mountConfig = New-Object -TypeName "Microsoft.Azure.Commands.Batch.Models.PSMountConfiguration" -ArgumentList @($fileShareConfig)

$imageReference = New-Object -TypeName "Microsoft.Azure.Commands.Batch.Models.PSImageReference" -ArgumentList @("WindowsServer", "MicrosoftWindowsServer", "2016-Datacenter", "latest")

$configuration = New-Object -TypeName "Microsoft.Azure.Commands.Batch.Models.PSVirtualMachineConfiguration" -ArgumentList @($imageReference, "batch.node.windows amd64")

New-AzBatchPool -Id "<pool-name>" -VirtualMachineSize "STANDARD_D2_V2" -VirtualMachineConfiguration $configuration -TargetDedicatedComputeNodes 1 -MountConfiguration @($mountConfig) -BatchContext $context

連線節點，並檢查輸出檔是否正確。

存取掛接的檔案

Azure Batch 工作可以使用磁碟驅動器的直接路徑來存取掛接的檔案，例如：

cmd /c "more S:\folder1\out.txt & timeout /t 90 > NULL"

Azure Batch 代理程式只會授與 Azure Batch 工作的存取權。如果您使用遠端桌面通訊協定（RDP）連線到節點，則使用者帳戶無法自動存取掛接磁碟驅動器。當您透過 RDP 連線到節點時，您必須新增記憶體帳戶的認證，才能直接存取 S 磁碟驅動器。

使用 cmdkey 來新增認證。 <storage-account-name>以您自己的資訊取代和 <storage-account-key> 佔位元。

cmdkey /add:"<storage-account-name>.file.core.windows.net" /user:"Azure\<storage-account-name>" /pass:"<storage-account-key>"

登入您的 Azure 訂用帳戶，將佔位元元取代為您的訂用帳戶標識碼。
```
Connect-AzAccount -Subscription "<subscription-ID>"
```
取得 Batch 帳戶的內容，以 Batch 帳戶名稱取代佔位符。
```
$context = Get-AzBatchAccount -AccountName <batch-account-name>
```

下列腳本會建立具有一個 Ubuntu 20.04 的集區，Standard_DS1_v2大小節點，然後將 Azure 檔案共用掛接至 節點的 S 磁碟驅動器。

$fileShareConfig = New-Object -TypeName "Microsoft.Azure.Commands.Batch.Models.PSAzureFileShareConfiguration" -ArgumentList @("<storage-account-name>", https://<storage-account-name>.file.core.windows.net/<file-share-name>, "S", "<storage-account-key>", "-o vers=3.0,dir_mode=0777,file_mode=0777,sec=ntlmssp")

$mountConfig = New-Object -TypeName "Microsoft.Azure.Commands.Batch.Models.PSMountConfiguration" -ArgumentList @($fileShareConfig)

$imageReference = New-Object -TypeName "Microsoft.Azure.Commands.Batch.Models.PSImageReference" -ArgumentList @("0001-com-ubuntu-server-focal", "canonical", "20_04-lts", "latest")

$configuration = New-Object -TypeName "Microsoft.Azure.Commands.Batch.Models.PSVirtualMachineConfiguration" -ArgumentList @($imageReference, "batch.node.ubuntu 20.04")

New-AzBatchPool -Id "<pool-name>" -VirtualMachineSize "Standard_DS1_v2" -VirtualMachineConfiguration $configuration -TargetDedicatedComputeNodes 1 -MountConfiguration @($mountConfig) -BatchContext $Context

連線節點，並檢查輸出檔是否正確。

存取掛接的檔案

您可以使用環境變數 AZ_BATCH_NODE_MOUNTS_DIR來存取掛接的檔案。例如：

/bin/bash -c 'more $AZ_BATCH_NODE_MOUNTS_DIR/S/folder1/out.txt; sleep 20s'

您也可以選擇使用直接路徑來存取掛接檔案。如果您使用 SSH 連線到節點，您可以手動存取 S 磁碟驅動器。使用路徑 /mnt/batch/tasks/fsmounts/S。

針對掛接問題進行疑難解答

如果掛接組態失敗，計算節點會失敗，而節點狀態會設定為 [無法使用]。若要診斷掛接組態失敗，請檢查 ComputeNodeError 屬性，以取得錯誤的詳細數據。

若要取得用於偵錯的記錄檔，您可以使用 OutputFiles API 來上傳 *.log 檔案。 *.log 檔案包含位置上AZ_BATCH_NODE_MOUNTS_DIR文件系統掛接的相關信息。掛接記錄檔的格式為：<type-mountDirOrDrive>><.log每個掛接。例如，名為 test 之掛接目錄的 CIFS 掛接具有名為： cifs-test.log的掛接記錄檔。

調查掛接錯誤

您可以 RDP 或 SSH 連線到節點，以檢查與檔案系統掛接相關的記錄檔。當您嘗試將 Azure 檔案共用掛接至 Batch 節點時，可能會發生下列範例錯誤訊息：

Mount Configuration Error | An error was encountered while configuring specified mount(s)
Message: System error (out of memory, cannot fork, no more loop devices)
MountConfigurationPath: S

如果您收到此錯誤，請透過 RDP 或 SSH 連線到節點，以檢查相關的記錄檔。 Batch 代理程式會在適用於 Azure 檔案共用的 Windows 和 Linux 上以不同的方式實作掛接。在 Linux 上，Batch 會安裝套件 cifs-utils。然後，Batch 會發出掛接命令。在 Windows 上，Batch 會使用 cmdkey 新增 Batch 帳戶認證。然後，Batch 會透過 net use發出掛接命令。例如：

net use S: \\<storage-account-name>.file.core.windows.net\<fileshare> /u:AZURE\<storage-account-name> <storage-account-key>

Windows
Linux

連線透過 RDP 連線到節點。
在 D：\batch\tasks\fsmounts 開啟記錄檔fshare-S.log。

檢閱錯誤訊息，例如：

CMDKEY: Credential added successfully.
System error 86 has occurred.

The specified network password is not correct.

使用 Azure 檔案共用疑難解答員針對問題進行疑難解答。

如果您無法使用 RDP 或 SSH 來檢查節點上的記錄檔，您可以將記錄上傳至 Azure 記憶體帳戶。您可以針對 Windows 和 Linux 記錄使用這個方法。

在 Azure 入口網站中，搜尋並選取具有您集區的 Batch 帳戶。
在 [Batch 帳戶] 頁面上，從左側導覽中選取 [ 集區 ]。
在 [集區] 頁面上，選取集區的名稱。
在集區的頁面上，從左側導覽中選取 [節點 ]。
在 [ 節點] 頁面上，選取節點的名稱。
在節點的頁面上，選取 [ 上傳批次記錄]。
在 [ 上傳批次記錄] 窗格中，選取 [ 挑選記憶體容器]。
在 [儲存體帳戶] 頁面上，選取記憶體帳戶。
在 [容器] 頁面上，選取或建立要上傳檔案的容器，然後選取 [選取]。
選取 [ 開始上傳]。
上傳完成時，請下載檔案並開啟 agent-debug.log。

檢閱錯誤訊息，例如：

..20210322T113107.448Z.00000000-0000-0000-0000-000000000000.ERROR.agent.mount.filesystems.basefilesystem.basefilesystem.py.run_cmd_persist_output_async.59.2912.MainThread.3580.Mount command failed with exit code: 2, output:

CMDKEY: Credential added successfully.

System error 86 has occurred.

The specified network password is not correct.

使用 Azure 檔案共用疑難解答員針對問題進行疑難解答。

如果您無法診斷或修正掛接錯誤，您可以使用 PowerShell 手動掛接檔案共用。

Windows
Linux

建立沒有掛接組態的集區。例如：

$imageReference = New-Object -TypeName "Microsoft.Azure.Commands.Batch.Models.PSImageReference" -ArgumentList @("WindowsServer", "MicrosoftWindowsServer", "2016-Datacenter", "latest")

$configuration = New-Object -TypeName "Microsoft.Azure.Commands.Batch.Models.PSVirtualMachineConfiguration" -ArgumentList @($imageReference, "batch.node.windows amd64")

New-AzBatchPool -Id "<pool-name>" -VirtualMachineSize "STANDARD_D2_V2" -VirtualMachineConfiguration $configuration -TargetDedicatedComputeNodes 1  -BatchContext $Context

等候節點處於閑置狀態。
在 Azure 入口網站中，搜尋並選取具有檔案共享的記憶體帳戶。
在記憶體帳戶頁面的功能表上，從左側導覽中選取 [檔案分享 ]。
在 [ 檔案共享 ] 頁面上，選取您要掛接的檔案共用。
在檔案共享的頁面上，選取 [連線]。
在 [連線] 窗格中，選取 [Windows] 索引標籤。
針對 [ 驅動器號]，輸入您想要使用的磁碟驅動器。預設值為 Z。
針對 [ 驗證方法]，選取您要連線到檔案共用的方式。
選取 [顯示腳本]，然後複製 PowerShell 腳本以掛接檔案共用。
透過 RDP 連線節點。
執行您複製以掛接檔案共享的命令。
請注意輸出中的任何錯誤訊息。使用這項信息來針對任何網路相關問題進行疑難解答。

建立沒有掛接組態的集區。例如：

$imageReference = New-Object -TypeName "Microsoft.Azure.Commands.Batch.Models.PSImageReference" -ArgumentList @("0001-com-ubuntu-server-focal", "canonical", "20_04-lts", "latest")

$configuration = New-Object -TypeName "Microsoft.Azure.Commands.Batch.Models.PSVirtualMachineConfiguration" -ArgumentList @($imageReference, "batch.node.ubuntu 20.04")

New-AzBatchPool -Id "<pool-name>" -VirtualMachineSize "Standard_DS1_v2" -VirtualMachineConfiguration $configuration -TargetDedicatedComputeNodes 1 -BatchContext $Context

等候節點處於閑置狀態。
在 Azure 入口網站中，搜尋並選取具有檔案共享的記憶體帳戶。
在記憶體帳戶頁面的功能表上，從左側導覽中選取 [檔案分享 ]。
在 [ 檔案共享 ] 頁面上，選取您要掛接的檔案共用。
在檔案共享的頁面上，選取 [連線]。
在 [連線] 窗格中，選取 [Linux] 索引標籤。
輸入您想要使用的裝入點。
複製 Linux 腳本以掛接檔案共用。
連線透過 SSH 連線至節點。
執行您複製以掛接檔案共享的命令。
請注意輸出中的任何錯誤訊息。使用這項信息來針對任何網路相關問題進行疑難解答。

掛接組態範例

下列程式代碼範例組態示範如何將各種檔案共享系統掛接至計算節點集區。

Azure 檔案儲存體是標準的 Azure 雲端文件系統供應專案。下列組態會將名為 <file-share-name> Azure 檔案儲存體共用掛接至 S 磁碟驅動器。如需範例中參數的相關信息，請參閱在 Windows 上掛接 SMB Azure 檔案共用或建立 NFS Azure 檔案共用，並使用 Azure 入口網站掛接在 Linux VM 上。

new PoolAddParameter
{
    Id = poolId,
    MountConfiguration = new[]
    {
        new MountConfiguration
        {
            AzureFileShareConfiguration = new AzureFileShareConfiguration
            {
                AccountName = "<storage-account-name>",
                AzureFileUrl = "https://<storage-account-name>.file.core.windows.net/<file-share-name>",
                AccountKey = "<storage-account-key>",
                RelativeMountPath = "S",
                MountOptions = "-o vers=3.0,dir_mode=0777,file_mode=0777,sec=ntlmssp"
            },
        }
    }
}

Azure Blob 容器

另一個選項是透過 BlobFuse 使用 Azure Blob 記憶體。掛接 Blob 檔案系統需要帳戶金鑰、共用存取簽章（SAS）金鑰，或具有記憶體帳戶存取權的受控識別。

如需取得這些金鑰或身分識別的資訊，請參閱下列文章：

管理儲存體帳戶存取金鑰
使用共用存取簽章 (SAS) 對 Azure 儲存體資源授與有限存取權
在 Batch 集區中設定受控識別

提示

如果您使用受控識別，請確定已將身分識別指派給集區，以便在進行掛接的 VM 上取得該身分識別。身分識別也必須具有 儲存體 Blob 數據參與者角色。

下列組態會使用 BlobFuse 選項掛接 Blob 文件系統。為了說明目的，此範例會顯示 AccountKey、 SasKey 和 IdentityReference，但實際上只能指定其中一個方法。

new PoolAddParameter
{
    Id = poolId,
    MountConfiguration = new[]
    {
        new MountConfiguration
        {
            AzureBlobFileSystemConfiguration = new AzureBlobFileSystemConfiguration
            {
                AccountName = "<storage-account-name>",
                ContainerName = "<container-name>",
                // Use only one of the following three lines:
                AccountKey = "<storage-account-key>",
                SasKey = "<sas-key>",
                IdentityReference = new ComputeNodeIdentityReference("/subscriptions/<subscription>/resourceGroups/<resource-group>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<identity-name>"),
                RelativeMountPath = "<relative-mount-path>",
                BlobfuseOptions = "-o attr_timeout=240 -o entry_timeout=240 -o negative_timeout=120 "
            },
        }
    }
}

若要取得 BlobFuse 掛接目錄的預設存取權，請以系統管理員身分執行工作。 BlobFuse 會在用戶空間掛接目錄，而集區建立時會將目錄掛接為根目錄。在 Linux 中，所有系統管理員工作都是根目錄。 FUSE 參考頁面描述 FUSE 模組的所有選項。

如需使用 BlobFuse 的詳細資訊和秘訣，請參閱下列參考：

NFS

您可以將 NFS 共用掛接至集區節點，以允許 Batch 存取傳統文件系統。此設定可以是部署在雲端中的單一 NFS 伺服器，或透過虛擬網路存取的內部部署 NFS 伺服器。 NFS 掛接支援 Avere vFXT，這是用於數據密集高效能運算（HPC）工作的分散式記憶體內部快取。 NFS 掛接也支援其他標準 NFS 相容介面，例如適用於 Azure Blob 的 NFS 和 Azure 檔案儲存體的 NFS。

下列範例顯示 NFS 檔案系統掛接的組態：

new PoolAddParameter
{
    Id = poolId,
    MountConfiguration = new[]
    {
        new MountConfiguration
        {
            NfsMountConfiguration = new NFSMountConfiguration
            {
                Source = "<source>",
                RelativeMountPath = "<relative-mount-path>",
                MountOptions = "options ver=3.0"
            },
        }
    }
}

Cifs

將 CIFS 掛接至集區節點是提供傳統文件系統存取權的另一種方式。 CIFS 是一種檔案共享通訊協定，可提供開放且跨平臺的機制來要求網路伺服器檔案和服務。 CIFS 是以因特網和內部網路檔案共用的 SMB通訊協定增強版本為基礎。

下列範例顯示 CIFS 檔案掛接的組態。

new PoolAddParameter
{
    Id = poolId,
    MountConfiguration = new[]
    {
        new MountConfiguration
        {
            CifsMountConfiguration = new CIFSMountConfiguration
            {
                Username = "<storage-account-name>",
                RelativeMountPath = "<relative-mount-path>",
                Source = "<source>",
                Password = "<storage-account-key>",
                MountOptions = "-o vers=3.0,dir_mode=0777,file_mode=0777,serverino,domain=<domain-name>"
            },
        }
    }
}

注意

尋找使用 PowerShell 而非 C# 的範例嗎？您可以在這裡找到另一個絕佳的範例：將 Azure 檔案掛接至 Azure Batch 集區。

在 Batch 集區上掛接虛擬檔案系統

支援的設定

網路需求

掛接組態和實作

必要條件

存取掛接的檔案

存取掛接的檔案

針對掛接問題進行疑難解答

調查掛接錯誤

掛接組態範例

Azure Blob 容器

NFS

Cifs

下一步

其他資源

在 Batch 集區上掛接虛擬檔案系統

支援的設定

網路需求

掛接組態和實作

使用 PowerShell 掛接 Azure 檔案儲存體 共用

必要條件

存取掛接的檔案

針對掛接問題進行疑難解答

調查掛接錯誤

使用 PowerShell 手動掛接檔案共用

掛接組態範例

Azure 檔案共用

Azure Blob 容器

NFS

Cifs

下一步

其他資源

使用 PowerShell 掛接 Azure 檔案儲存體共用