Använda aktiviteter med flera instanser för att köra MPI-program (Message Passing Interface) i Batch
Med aktiviteter med flera instanser kan du köra en Azure Batch-uppgift på flera beräkningsnoder samtidigt. Dessa uppgifter möjliggör scenarier för databehandling med höga prestanda, till exempel MPI-program (Message Passing Interface) i Batch. I den här artikeln får du lära dig hur du kör uppgifter med flera instanser med hjälp av Batch .NET-biblioteket .
Kommentar
Även om exemplen i den här artikeln fokuserar på Batch .NET-, MS-MPI- och Windows-beräkningsnoder, gäller de uppgiftsbegrepp för flera instanser som beskrivs här för andra plattformar och tekniker (Till exempel Python och Intel MPI på Linux-noder).
Översikt över aktivitet för flera instanser
I Batch körs varje uppgift normalt på en enda beräkningsnod – du skickar flera aktiviteter till ett jobb och Batch-tjänsten schemalägger varje aktivitet för körning på en nod. Men genom att konfigurera en aktivitets inställningar för flera instanser ber du Batch att i stället skapa en primär uppgift och flera underaktiviteter som sedan körs på flera noder.
När du skickar en uppgift med inställningar för flera instanser till ett jobb utför Batch flera steg som är unika för aktiviteter med flera instanser:
- Batch-tjänsten skapar en primär och flera underaktiviteter baserat på inställningarna för flera instanser . Det totala antalet aktiviteter (primärt plus alla underaktiviteter) matchar antalet instanser (beräkningsnoder) som du anger i inställningarna för flera instanser .
- Batch anger en av beräkningsnoderna som huvudnod och schemalägger den primära uppgiften som ska köras på huvudservern. Den schemalägger underaktiviteterna så att de körs på resten av de beräkningsnoder som allokerats till aktiviteten för flera instanser, en undertask per nod.
- De primära och alla underaktiviteter laddar ned alla vanliga resursfiler som du anger i inställningarna för flera instanser.
- När de gemensamma resursfilerna har laddats ned kör de primära och underaktiviteterna det samordningskommando som du anger i inställningarna för flera instanser. Samordningskommandot används vanligtvis för att förbereda noder för körning av uppgiften. Detta kan omfatta start av bakgrundstjänster (till exempel Microsoft MPI)
smpd.exeoch verifiering av att noderna är redo att bearbeta meddelanden mellan noder. - Den primära uppgiften kör programkommandot på huvudnoden när samordningskommandot har slutförts av den primära och alla underaktiviteter. Programkommandot är kommandoraden för själva aktiviteten med flera instanser och körs endast av den primära aktiviteten. I en MS-MPI-baserad lösning kör du det MPI-aktiverade programmet med .
mpiexec.exe
Kommentar
Även om den är funktionellt distinkt är "multiinstansaktiviteten" inte en unik aktivitetstyp som StartTask eller JobPreparationTask. Uppgiften med flera instanser är helt enkelt en Standard Batch-uppgift (CloudTask i Batch .NET) vars inställningar för flera instanser har konfigurerats. I den här artikeln refererar vi till detta som uppgiften för flera instanser.
Krav för uppgifter med flera instanser
Aktiviteter med flera instanser kräver en pool med kommunikation mellan noder aktiverad och samtidig aktivitetskörning inaktiverad. Om du vill inaktivera samtidig aktivitetskörning anger du egenskapen CloudPool.TaskSlotsPerNode till 1.
Kommentar
Batch begränsar storleken på en pool som har kommunikation mellan noder aktiverad.
Det här kodfragmentet visar hur du skapar en pool för aktiviteter med flera instanser med hjälp av Batch .NET-biblioteket.
CloudPool myCloudPool =
myBatchClient.PoolOperations.CreatePool(
poolId: "MultiInstanceSamplePool",
targetDedicatedComputeNodes: 3
virtualMachineSize: "standard_d1_v2",
VirtualMachineConfiguration: new VirtualMachineConfiguration(
imageReference: new ImageReference(
publisher: "MicrosoftWindowsServer",
offer: "WindowsServer",
sku: "2019-datacenter-core",
version: "latest"),
nodeAgentSkuId: "batch.node.windows amd64");
// Multi-instance tasks require inter-node communication, and those nodes
// must run only one task at a time.
myCloudPool.InterComputeNodeCommunicationEnabled = true;
myCloudPool.TaskSlotsPerNode = 1;
Kommentar
Om du försöker köra en aktivitet med flera instanser i en pool med internodkommunikation inaktiverad eller med ett taskSlotsPerNode-värde som är större än 1, schemaläggs aktiviteten aldrig – den förblir på obestämd tid i tillståndet "aktiv".
Pooler med InterComputeNodeCommunication aktiverat tillåter inte automatiskt avetablering av noden.
Använda en StartTask för att installera MPI
Om du vill köra MPI-program med en uppgift med flera instanser måste du först installera en MPI-implementering (till exempel MS-MPI eller Intel MPI) på beräkningsnoderna i poolen. Det här är ett bra tillfälle att använda en StartTask, som körs när en nod ansluter till en pool eller startas om. Det här kodfragmentet skapar en StartTask som anger MS-MPI-installationspaketet som en resursfil. Startaktivitetens kommandorad körs när resursfilen har laddats ned till noden. I det här fallet utför kommandoraden en obevakad installation av MS-MPI.
// Create a StartTask for the pool which we use for installing MS-MPI on
// the nodes as they join the pool (or when they are restarted).
StartTask startTask = new StartTask
{
CommandLine = "cmd /c MSMpiSetup.exe -unattend -force",
ResourceFiles = new List<ResourceFile> { new ResourceFile("https://mystorageaccount.blob.core.windows.net/mycontainer/MSMpiSetup.exe", "MSMpiSetup.exe") },
UserIdentity = new UserIdentity(new AutoUserSpecification(elevationLevel: ElevationLevel.Admin)),
WaitForSuccess = true
};
myCloudPool.StartTask = startTask;
// Commit the fully configured pool to the Batch service to actually create
// the pool and its compute nodes.
await myCloudPool.CommitAsync();
Fjärråtkomst till direkt minne (RDMA)
När du väljer en RDMA-kompatibel storlek , till exempel A9 för beräkningsnoderna i Batch-poolen, kan ditt MPI-program dra nytta av Azures RDMA-nätverk (high-performance, low-latency remote direct memory access).
Leta efter de storlekar som anges som "RDMA-kompatibla" i Storlekar för virtuella datorer i Azure (för VirtualMachineConfiguration-pooler) eller Storlekar för Cloud Services (för CloudServicesConfiguration-pooler).
Kommentar
Om du vill dra nytta av RDMA på Linux-beräkningsnoder måste du använda Intel MPI på noderna.
Skapa en uppgift med flera instanser med Batch .NET
Nu när vi har gått igenom poolkraven och MPI-paketinstallationen ska vi skapa uppgiften för flera instanser. I det här kodfragmentet skapar vi en Standard CloudTask och konfigurerar sedan dess multiinstanceSettings-egenskap . Som tidigare nämnts är aktiviteten med flera instanser inte en distinkt aktivitetstyp, utan en standarduppgift för Batch som konfigurerats med inställningar för flera instanser.
// Create the multi-instance task. Its command line is the "application command"
// and will be executed *only* by the primary, and only after the primary and
// subtasks execute the CoordinationCommandLine.
CloudTask myMultiInstanceTask = new CloudTask(id: "mymultiinstancetask",
commandline: "cmd /c mpiexec.exe -wdir %AZ_BATCH_TASK_SHARED_DIR% MyMPIApplication.exe");
// Configure the task's MultiInstanceSettings. The CoordinationCommandLine will be executed by
// the primary and all subtasks.
myMultiInstanceTask.MultiInstanceSettings =
new MultiInstanceSettings(numberOfNodes) {
CoordinationCommandLine = @"cmd /c start cmd /c ""%MSMPI_BIN%\smpd.exe"" -d",
CommonResourceFiles = new List<ResourceFile> {
new ResourceFile("https://mystorageaccount.blob.core.windows.net/mycontainer/MyMPIApplication.exe",
"MyMPIApplication.exe")
}
};
// Submit the task to the job. Batch will take care of splitting it into subtasks and
// scheduling them for execution on the nodes.
await myBatchClient.JobOperations.AddTaskAsync("mybatchjob", myMultiInstanceTask);
Primär aktivitet och underaktiviteter
När du skapar inställningarna för flera instanser för en aktivitet anger du antalet beräkningsnoder som ska köra aktiviteten. När du skickar aktiviteten till ett jobb skapar Batch-tjänsten en primär aktivitet och tillräckligt med underaktiviteter som tillsammans matchar antalet noder som du har angett.
Dessa uppgifter tilldelas ett heltals-ID i intervallet 0 till numberOfInstances – 1. Uppgiften med ID 0 är den primära aktiviteten och alla andra ID:er är underaktiviteter. Om du till exempel skapar följande inställningar för flera instanser för en aktivitet, skulle den primära aktiviteten ha ett ID på 0 och underaktiviteterna skulle ha ID 1 till och med 9.
int numberOfNodes = 10;
myMultiInstanceTask.MultiInstanceSettings = new MultiInstanceSettings(numberOfNodes);
Huvudnod
När du skickar en uppgift med flera instanser anger Batch-tjänsten en av beräkningsnoderna som "huvudnoden" och schemalägger den primära uppgiften som ska köras på huvudnoden. Underaktiviteterna är schemalagda att köras på resten av noderna som allokeras till aktiviteten för flera instanser.
Samordningskommando
Samordningskommandot körs av både de primära och underaktiviteterna.
Anropet av samordningskommandot blockerar – Batch kör inte programkommandot förrän samordningskommandot har returnerats för alla underaktiviteter. Samordningskommandot bör därför starta alla nödvändiga bakgrundstjänster, kontrollera att de är redo att användas och sedan avsluta. Det här samordningskommandot för en lösning med MS-MPI version 7 startar till exempel SMPD-tjänsten på noden och avslutar sedan:
cmd /c start cmd /c ""%MSMPI_BIN%\smpd.exe"" -d
Observera användningen av start i det här samordningskommandot. Detta krävs eftersom programmet smpd.exe inte returneras omedelbart efter körningen. Utan startkommandot skulle det här samordningskommandot inte returneras och skulle därför blockera programkommandot från att köras.
Programkommando
När den primära aktiviteten och alla underaktiviteter har körts färdigt med samordningskommandot körs kommandoraden för flera instanser endast av den primära aktiviteten. Vi anropar det här programkommandot för att skilja det från samordningskommandot.
För MS-MPI-program använder du programkommandot för att köra ditt MPI-aktiverade program med mpiexec.exe. Här är till exempel ett programkommando för en lösning som använder MS-MPI version 7:
cmd /c ""%MSMPI_BIN%\mpiexec.exe"" -c 1 -wdir %AZ_BATCH_TASK_SHARED_DIR% MyMPIApplication.exe
Kommentar
Eftersom MS-MPI använder mpiexec.exe variabeln CCP_NODES som standard (se Miljövariabler) utesluter exempelprogrammets kommandorad ovan den.
Miljövariabler
Batch skapar flera miljövariabler som är specifika för uppgifter med flera instanser på beräkningsnoderna som allokeras till en aktivitet med flera instanser. Kommandoraderna för samordning och program kan referera till dessa miljövariabler, liksom de skript och program som de kör.
Följande miljövariabler skapas av Batch-tjänsten för användning av uppgifter med flera instanser:
CCP_NODESAZ_BATCH_NODE_LISTAZ_BATCH_HOST_LISTAZ_BATCH_MASTER_NODEAZ_BATCH_TASK_SHARED_DIRAZ_BATCH_IS_CURRENT_NODE_MASTER
Fullständig information om dessa och andra miljövariabler för Batch-beräkningsnoder, inklusive deras innehåll och synlighet, finns i Miljövariabler för beräkningsnoder.
Dricks
MPI-kodexemplet för Batch Linux innehåller ett exempel på hur flera av dessa miljövariabler kan användas.
Resursfiler
Det finns två uppsättningar resursfiler att tänka på för aktiviteter med flera instanser: vanliga resursfiler som alla aktiviteter laddar ned (både primära och underaktiviteter) och de resursfiler som angetts för själva aktiviteten med flera instanser, som endast den primära aktiviteten laddar ned.
Du kan ange en eller flera vanliga resursfiler i inställningarna för flera instanser för en aktivitet. Dessa vanliga resursfiler laddas ned från Azure Storage till varje nods uppgiftsdelade katalog av den primära och alla underaktiviteter. Du kan komma åt den delade katalogen för aktiviteter från kommandoraderna program och samordning med hjälp AZ_BATCH_TASK_SHARED_DIR av miljövariabeln. Sökvägen AZ_BATCH_TASK_SHARED_DIR är identisk på varje nod som allokeras till aktiviteten med flera instanser, så du kan dela ett enda samordningskommando mellan de primära och alla underaktiviteter. Batch "delar" inte katalogen i fjärråtkomsts mening, men du kan använda den som en monterings- eller resurspunkt som nämnts tidigare i tipset om miljövariabler.
Resursfiler som du anger för själva aktiviteten med flera instanser laddas ned till aktivitetens arbetskatalog, AZ_BATCH_TASK_WORKING_DIR, som standard. Som nämnts, till skillnad från vanliga resursfiler, hämtar endast den primära aktiviteten resursfiler som angetts för själva aktiviteten med flera instanser.
Viktigt!
Använd alltid miljövariablerna AZ_BATCH_TASK_SHARED_DIR och AZ_BATCH_TASK_WORKING_DIR referera till dessa kataloger på kommandoraderna. Försök inte konstruera sökvägarna manuellt.
Uppgiftslivslängd
Livslängden för den primära aktiviteten styr livslängden för hela aktiviteten med flera instanser. När den primära avslutas avslutas alla underaktiviteter. Slutkoden för den primära är slutkoden för uppgiften och används därför för att fastställa om aktiviteten lyckades eller misslyckades i återförsökssyfte.
Om någon av underaktiviteterna misslyckas avslutas med en returkod som inte är noll, till exempel misslyckas hela aktiviteten med flera instanser. Aktiviteten för flera instanser avslutas sedan och görs om, upp till gränsen för återförsök.
När du tar bort en aktivitet med flera instanser tas även de primära och alla underaktiviteter bort av Batch-tjänsten. Alla underavdelningskataloger och deras filer tas bort från beräkningsnoderna, precis som för en standardaktivitet.
TaskConstraints för en aktivitet med flera instanser , till exempel egenskaperna MaxTaskRetryCount, MaxWallClockTime och RetentionTime , respekteras som de är för en standardaktivitet och gäller för de primära och alla underaktiviteter. Men om du ändrar egenskapenRetentionTime när du har lagt till aktiviteten för flera instanser i jobbet tillämpas den här ändringen endast på den primära aktiviteten, och alla underaktiviteter fortsätter att använda den ursprungliga RetentionTime.
En beräkningsnods senaste uppgiftslista återspeglar ID:t för en underavdelning om den senaste aktiviteten var en del av en aktivitet med flera instanser.
Hämta information om underaktiviteter
Om du vill hämta information om underaktiviteter med hjälp av Batch .NET-biblioteket anropar du metoden CloudTask.ListSubtasks . Den här metoden returnerar information om alla underaktiviteter och information om beräkningsnoden som utförde uppgifterna. Med den här informationen kan du fastställa varje underavdelnings rotkatalog, pool-ID, dess aktuella tillstånd, slutkod med mera. Du kan använda den här informationen i kombination med metoden PoolOperations.GetNodeFile för att hämta underuppgiftens filer. Observera att den här metoden inte returnerar information för den primära aktiviteten (ID 0).
Kommentar
Om inget annat anges gäller Batch .NET-metoder som körs på själva CloudTask för flera instanser endast för den primära aktiviteten. När du till exempel anropar metoden CloudTask.ListNodeFiles för en aktivitet med flera instanser returneras endast den primära aktivitetens filer.
Följande kodfragment visar hur du hämtar underordnad information samt begär filinnehåll från de noder som de kördes på.
// Obtain the job and the multi-instance task from the Batch service
CloudJob boundJob = batchClient.JobOperations.GetJob("mybatchjob");
CloudTask myMultiInstanceTask = boundJob.GetTask("mymultiinstancetask");
// Now obtain the list of subtasks for the task
IPagedEnumerable<SubtaskInformation> subtasks = myMultiInstanceTask.ListSubtasks();
// Asynchronously iterate over the subtasks and print their stdout and stderr
// output if the subtask has completed
await subtasks.ForEachAsync(async (subtask) =>
{
Console.WriteLine("subtask: {0}", subtask.Id);
Console.WriteLine("exit code: {0}", subtask.ExitCode);
if (subtask.State == SubtaskState.Completed)
{
ComputeNode node =
await batchClient.PoolOperations.GetComputeNodeAsync(subtask.ComputeNodeInformation.PoolId,
subtask.ComputeNodeInformation.ComputeNodeId);
NodeFile stdOutFile = await node.GetNodeFileAsync(subtask.ComputeNodeInformation.TaskRootDirectory + "\\" + Constants.StandardOutFileName);
NodeFile stdErrFile = await node.GetNodeFileAsync(subtask.ComputeNodeInformation.TaskRootDirectory + "\\" + Constants.StandardErrorFileName);
stdOut = await stdOutFile.ReadAsStringAsync();
stdErr = await stdErrFile.ReadAsStringAsync();
Console.WriteLine("node: {0}:", node.Id);
Console.WriteLine("stdout.txt: {0}", stdOut);
Console.WriteLine("stderr.txt: {0}", stdErr);
}
else
{
Console.WriteLine("\tSubtask {0} is in state {1}", subtask.Id, subtask.State);
}
});
Kodexempel
Kodexemplet MultiInstanceTasks på GitHub visar hur du använder en uppgift med flera instanser för att köra ett MS-MPI-program på Batch-beräkningsnoder. Följ stegen nedan för att köra exemplet.
Förberedelse
- Ladda ned installationsprogrammet för MS-MPI SDK och Redist och installera dem. Efter installationen kan du kontrollera att MS-MPI-miljövariablerna har angetts.
- Skapa en versionsversion av MPIHelloWorld-exempelprogrammet för MPI. Det här är programmet som ska köras på beräkningsnoder av aktiviteten för flera instanser.
- Skapa en zip-fil som innehåller
MPIHelloWorld.exe(som du skapade i steg 2) ochMSMpiSetup.exe(som du laddade ned i steg 1). Du laddar upp zip-filen som ett programpaket i nästa steg. - Använd Azure-portalen för att skapa ett Batch-program med namnet "MPIHelloWorld" och ange zip-filen som du skapade i föregående steg som version "1.0" av programpaketet. Mer information finns i Ladda upp och hantera program .
Dricks
Att skapa en versionsversion av MPIHelloWorld.exe säkerställer att du inte behöver inkludera några ytterligare beroenden (till exempel msvcp140d.dll eller vcruntime140d.dll) i programpaketet.
Körnings-
Ladda ned filen azure-batch-samples .zip från GitHub.
Öppna MultiInstanceTasks-lösningen i Visual Studio 2019. Lösningsfilen
MultiInstanceTasks.slnfinns i:azure-batch-samples\CSharp\ArticleProjects\MultiInstanceTasks\Ange autentiseringsuppgifterna för batch- och lagringskontot i
AccountSettings.settingsprojektet Microsoft.Azure.Batch.Samples.Common .Skapa och kör MultiInstanceTasks-lösningen för att köra MPI-exempelprogrammet på beräkningsnoder i en Batch-pool.
Valfritt: Använd Azure-portalen eller Batch Explorer för att undersöka exempelpoolen, jobbet och aktiviteten ("MultiInstanceSamplePool", "MultiInstanceSampleJob", "MultiInstanceSampleTask") innan du tar bort resurserna.
Dricks
Du kan ladda ned Visual Studio Community kostnadsfritt om du inte redan har Visual Studio.
Utdata från MultiInstanceTasks.exe liknar följande:
Creating pool [MultiInstanceSamplePool]...
Creating job [MultiInstanceSampleJob]...
Adding task [MultiInstanceSampleTask] to job [MultiInstanceSampleJob]...
Awaiting task completion, timeout in 00:30:00...
Main task [MultiInstanceSampleTask] is in state [Completed] and ran on compute node [tvm-1219235766_1-20161017t162002z]:
---- stdout.txt ----
Rank 2 received string "Hello world" from Rank 0
Rank 1 received string "Hello world" from Rank 0
---- stderr.txt ----
Main task completed, waiting 00:00:10 for subtasks to complete...
---- Subtask information ----
subtask: 1
exit code: 0
node: tvm-1219235766_3-20161017t162002z
stdout.txt:
stderr.txt:
subtask: 2
exit code: 0
node: tvm-1219235766_2-20161017t162002z
stdout.txt:
stderr.txt:
Delete job? [yes] no: yes
Delete pool? [yes] no: yes
Sample complete, hit ENTER to exit...
Nästa steg
- Läs mer om MPI-stöd för Linux i Azure Batch.
- Lär dig hur du skapar pooler med Linux-beräkningsnoder för användning i dina Azure Batch MPI-lösningar.
Feedback
Kommer snart: Under hela 2024 kommer vi att fasa ut GitHub-problem som feedbackmekanism för innehåll och ersätta det med ett nytt feedbacksystem. Mer information finns i: https://aka.ms/ContentUserFeedback.
Skicka och visa feedback för