Använda Azure Pipelines för att skapa och distribuera en HPC-lösning
Azure DevOps-verktyg kan automatisera skapande och testning Azure Batch HPC-lösningar (databehandling med höga prestanda). Azure Pipelines tillhandahåller moderna processer för kontinuerlig integrering (CI) och kontinuerlig distribution (CD) för att skapa, distribuera, testa och övervaka programvara. Dessa processer påskyndar programvaruleveransen, så att du kan fokusera på din kod i stället för att stödja infrastruktur och drift.
Den här artikeln visar hur du konfigurerar CI/CD-processer med hjälp av Azure Pipelines med Azure Resource Manager-mallar (ARM-mallar) för att distribuera HPC-lösningar på Azure Batch. Exemplet skapar en bygg- och versionspipeline för att distribuera en Azure Batch infrastruktur och släppa ett programpaket. Följande diagram visar det allmänna distributionsflödet, förutsatt att koden utvecklas lokalt:
Förutsättningar
Om du vill följa stegen i den här artikeln behöver du:
En Azure DevOps-organisation och ett Azure DevOps-projekt med en Azure Repos-lagringsplats som skapats i organisationen. Du måste ha rollerna Projektadministratör, Byggadministratör och Versionsadministratör i Azure DevOps-projektet.
En aktiv Azure-prenumeration med ägare eller annan roll som innehåller rolltilldelningsfunktioner. Mer information finns i Förstå Rolltilldelningar i Azure.
En grundläggande förståelse för källkontroll och ARM-mallsyntax.
Förbereda lösningen
I exemplet i den här artikeln används flera ARM-mallar och ett befintligt videobearbetningsprogram med öppen källkod, FFmpeg. Du kan kopiera eller ladda ned dessa resurser och push-överföra dem till lagringsplatsen för Azure Repos.
Viktigt
Det här exemplet distribuerar Windows-programvara på Windows-baserade Batch-noder. Azure Pipelines, ARM-mallar och Batch har också fullt stöd för Linux-programvara och -noder.
Förstå ARM-mallarna
Tre funktionsmallar, som liknar enheter eller moduler, implementerar specifika funktioner. En lösningsmall från slutpunkt till slutpunkt distribuerar sedan de underliggande kapacitetsmallarna. Den här länkade mallstrukturen gör att varje funktionsmall kan testas individuellt och återanvändas i olika lösningar.
Detaljerad information om mallarna finns i referensguiden Resource Manager mall för Microsoft.Batch-resurstyper.
Mall för lagringskonto
Spara följande kod som en fil med namnet storageAccount.json. Den här mallen definierar ett Azure Storage-konto som krävs för att distribuera programmet till Batch-kontot.
{
"$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
"contentVersion": "1.0.0.0",
"parameters": {
"accountName": {
"type": "string",
"metadata": {
"description": "Name of the Azure Storage Account"
}
}
},
"variables": {},
"resources": [
{
"type": "Microsoft.Storage/storageAccounts",
"name": "[parameters('accountName')]",
"sku": {
"name": "Standard_LRS"
},
"apiVersion": "2018-02-01",
"location": "[resourceGroup().location]",
"properties": {}
}
],
"outputs": {
"blobEndpoint": {
"type": "string",
"value": "[reference(resourceId('Microsoft.Storage/storageAccounts', parameters('accountName'))).primaryEndpoints.blob]"
},
"resourceId": {
"type": "string",
"value": "[resourceId('Microsoft.Storage/storageAccounts', parameters('accountName'))]"
}
}
}
Batch-kontomall
Spara följande kod som en fil med namnet batchAccount.json. Den här mallen definierar ett Batch-konto. Batch-kontot fungerar som en plattform för att köra program över nodpooler.
{
"$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
"contentVersion": "1.0.0.0",
"parameters": {
"batchAccountName": {
"type": "string",
"metadata": {
"description": "Name of the Azure Batch Account"
}
},
"storageAccountId": {
"type": "string",
"metadata": {
"description": "ID of the Azure Storage Account"
}
}
},
"variables": {},
"resources": [
{
"name": "[parameters('batchAccountName')]",
"type": "Microsoft.Batch/batchAccounts",
"apiVersion": "2017-09-01",
"location": "[resourceGroup().location]",
"properties": {
"poolAllocationMode": "BatchService",
"autoStorage": {
"storageAccountId": "[parameters('storageAccountId')]"
}
}
}
],
"outputs": {}
}
Mall för Batch-pool
Spara följande kod som en fil med namnet batchAccountPool.json. Den här mallen skapar en nodpool och noder i Batch-kontot.
{
"$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
"contentVersion": "1.0.0.0",
"parameters": {
"batchAccountName": {
"type": "string",
"metadata": {
"description": "Name of the Azure Batch Account"
}
},
"batchAccountPoolName": {
"type": "string",
"metadata": {
"description": "Name of the Azure Batch Account Pool"
}
}
},
"variables": {},
"resources": [
{
"name": "[concat(parameters('batchAccountName'),'/', parameters('batchAccountPoolName'))]",
"type": "Microsoft.Batch/batchAccounts/pools",
"apiVersion": "2017-09-01",
"properties": {
"deploymentConfiguration": {
"virtualMachineConfiguration": {
"imageReference": {
"publisher": "MicrosoftWindowsServer",
"offer": "WindowsServer",
"sku": "2022-datacenter",
"version": "latest"
},
"nodeAgentSkuId": "batch.node.windows amd64"
}
},
"vmSize": "Standard_D2s_v3"
}
}
],
"outputs": {}
}
Orchestrator-mall
Spara följande kod som en fil med namnet deployment.json. Den här slutliga mallen fungerar som orkestrerare för att distribuera de tre underliggande kapacitetsmallarna.
{
"$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
"contentVersion": "1.0.0.0",
"parameters": {
"StorageContainerUri": {
"type": "string",
"metadata": {
"description": "URI of the Blob Storage Container containing the Azure Resource Manager templates"
}
},
"StorageContainerSasToken": {
"type": "string",
"metadata": {
"description": "The SAS token of the container containing the Azure Resource Manager templates"
}
},
"applicationStorageAccountName": {
"type": "string",
"metadata": {
"description": "Name of the Azure Storage Account"
}
},
"batchAccountName": {
"type": "string",
"metadata": {
"description": "Name of the Azure Batch Account"
}
},
"batchAccountPoolName": {
"type": "string",
"metadata": {
"description": "Name of the Azure Batch Account Pool"
}
}
},
"variables": {},
"resources": [
{
"apiVersion": "2017-05-10",
"name": "storageAccountDeployment",
"type": "Microsoft.Resources/deployments",
"properties": {
"mode": "Incremental",
"templateLink": {
"uri": "[concat(parameters('StorageContainerUri'), 'arm-templates/storageAccount.json', parameters('StorageContainerSasToken'))]",
"contentVersion": "1.0.0.0"
},
"parameters": {
"accountName": {"value": "[parameters('applicationStorageAccountName')]"}
}
}
},
{
"apiVersion": "2017-05-10",
"name": "batchAccountDeployment",
"type": "Microsoft.Resources/deployments",
"dependsOn": [
"storageAccountDeployment"
],
"properties": {
"mode": "Incremental",
"templateLink": {
"uri": "[concat(parameters('StorageContainerUri'), 'arm-templates/batchAccount.json', parameters('StorageContainerSasToken'))]",
"contentVersion": "1.0.0.0"
},
"parameters": {
"batchAccountName": {"value": "[parameters('batchAccountName')]"},
"storageAccountId": {"value": "[reference('storageAccountDeployment').outputs.resourceId.value]"}
}
}
},
{
"apiVersion": "2017-05-10",
"name": "poolDeployment",
"type": "Microsoft.Resources/deployments",
"dependsOn": [
"batchAccountDeployment"
],
"properties": {
"mode": "Incremental",
"templateLink": {
"uri": "[concat(parameters('StorageContainerUri'), 'arm-templates/batchAccountPool.json', parameters('StorageContainerSasToken'))]",
"contentVersion": "1.0.0.0"
},
"parameters": {
"batchAccountName": {"value": "[parameters('batchAccountName')]"},
"batchAccountPoolName": {"value": "[parameters('batchAccountPoolName')]"}
}
}
}
],
"outputs": {}
}
Konfigurera din lagringsplats
Ladda upp ARM-mallarna, FFmpeg-appen och en YAML-versionsdefinitionsfil till lagringsplatsen för Azure Repos.
Ladda upp de fyra ARM-mallarna till en arm-templates-mapp på lagringsplatsen.
För programpaketet laddar du ned och extraherar Windows 64-bitarsversionen av FFmpeg 4.3.1 och laddar upp den till en hpc-application-mapp på lagringsplatsen.
För versionsdefinitionen sparar du följande definition som en fil med namnet hpc-app.build.yml och laddar upp den till en pipelines-mapp på lagringsplatsen.
# To publish an application into Batch, you need to # first zip the file, and then publish an artifact, so # you can take the necessary steps in your release pipeline. steps: # First, zip up the files required in the Batch account. # For this instance, those are the ffmpeg files. - task: ArchiveFiles@2 displayName: 'Archive applications' inputs: rootFolderOrFile: hpc-application includeRootFolder: false archiveFile: '$(Build.ArtifactStagingDirectory)/package/$(Build.BuildId).zip' # Publish the zip file, so you can use it as part # of your Release pipeline later. - task: PublishPipelineArtifact@0 inputs: artifactName: 'hpc-application' targetPath: '$(Build.ArtifactStagingDirectory)/package'
När du är klar med att konfigurera lagringsplatsen bör mappstrukturen ha följande huvudavsnitt:
- En arm-templates-mapp som innehåller ARM-mallarna .
- En hpc-application-mapp som innehåller ffmpeg.
- En pipelinemapp som innehåller YAML-versionsdefinitionsfilen för bygg-pipelinen.
Anteckning
Det här exemplet på kodbasstruktur visar att du kan lagra program, infrastruktur och pipelinekod på samma lagringsplats.
Skapa Azure-pipelinen
När du har konfigurerat källkodslagringsplatsen använder du Azure Pipelines för att implementera en bygg-, test- och distributionspipeline för ditt program. I det här steget av en pipeline kör du vanligtvis tester för att verifiera kod och skapa delar av programvaran. Antalet tester och typer av tester och andra uppgifter som du kör beror på din övergripande strategi för kompilering och lansering.
Skapa bygg-pipelinen
I det här avsnittet skapar du en YAML-bygg-pipeline för att arbeta med ffmpeg-programvaran som körs i Batch-kontot.
I ditt Azure DevOps-projekt väljer du Pipelines i det vänstra navigeringsfönstret och sedan Ny pipeline.
På skärmen Var är din kod väljer du Azure Repos Git.
På skärmen Välj en lagringsplats väljer du din lagringsplats.
Anteckning
Du kan också skapa en bygg-pipeline med hjälp av en visuell designer. På sidan Ny pipeline väljer du Använd den klassiska redigeraren. Du kan använda en YAML-mall i den visuella designern. Mer information finns i Definiera din klassiska pipeline.
På skärmen Konfigurera din pipeline väljer du YAML-fil för befintliga Azure Pipelines.
På skärmen Välj en befintlig YAML-fil väljer du filen hpc-app.build.yml från lagringsplatsen och väljer sedan Fortsätt.
På skärmen Granska yaml-pipelinen granskar du byggkonfigurationen och väljer sedan Kör eller väljer listrutan bredvid Kör och väljer Spara. Den här mallen möjliggör kontinuerlig integrering, så bygget utlöses automatiskt när en ny incheckning till lagringsplatsen uppfyller de villkor som anges i bygget.
Du kan visa uppdateringar för liveversionsframsteg. Om du vill se byggresultat väljer du lämplig körning från din byggdefinition i Azure Pipelines.
Anteckning
Om du använder ett klientprogram för att köra din HPC-lösning måste du skapa en separat versionsdefinition för det programmet. Instruktioner finns i dokumentationen för Azure Pipelines .
Skapa versionspipelinen
Du använder en Azure Pipelines Release-pipeline för att distribuera ditt program och den underliggande infrastrukturen. Versionspipelines aktiverar CD och automatiserar lanseringsprocessen. Det finns flera steg för att distribuera ditt program och den underliggande infrastrukturen.
De länkade mallarna för den här lösningen måste vara tillgängliga från en offentlig HTTP- eller HTTPS-slutpunkt. Den här slutpunkten kan vara en GitHub-lagringsplats, ett Azure Blob Storage-konto eller en annan lagringsplats. För att säkerställa att de uppladdade mallartefakterna förblir säkra håller du dem i ett privat läge, men kommer åt dem med hjälp av någon form av SAS-token (signatur för delad åtkomst).
I följande exempel visas hur du distribuerar en infrastruktur och ett program med hjälp av mallar från en Azure Storage-blob.
Konfigurera pipelinen
I ditt Azure DevOps-projekt väljer du Pipelines-versioner> i det vänstra navigeringsfönstret.
På nästa skärm väljer du Ny>ny versionspipeline.
På skärmen Välj en mall väljer du Tomt jobb och stänger sedan skärmen Fas .
Välj Ny versionspipeline överst på sidan och byt namn på pipelinen till något som är relevant för din pipeline, till exempel Distribuera Azure Batch + pool.
I avsnittet Artefakter väljer du Lägg till.
På skärmen Lägg till en artefakt väljer du Skapa och sedan din Bygg-pipeline för att hämta utdata för HPC-programmet.
Anteckning
Du kan skapa ett källalias eller acceptera standardvärdet. Anteckna värdet för källalias eftersom du behöver det för att skapa uppgifter i versionsdefinitionen.
Välj Lägg till.
På pipelinesidan väljer du Lägg till bredvid Artefakter för att skapa en länk till en annan artefakt, lagringsplatsen för Azure Repos. Den här länken krävs för att få åtkomst till ARM-mallarna på din lagringsplats. ARM-mallar behöver inte kompilering, så du behöver inte push-överföra dem via en bygg-pipeline.
Anteckning
Observera återigen värdet för källalias som ska användas senare.
Välj fliken Variabler . Skapa följande variabler i pipelinen så att du inte behöver ange samma information på nytt i flera uppgifter.
Name Värde applicationStorageAccountName Namn på lagringskontot som ska innehålla HPC-programbinärfilerna. batchAccountApplicationName Namnet på programmet i Batch-kontot. batchAccountName Namnet på Batch-kontot. batchAccountPoolName Namn på poolen med virtuella datorer (VM) för bearbetning. batchApplicationId Unikt ID för Batch-programmet i formuläret: /subscriptions/<subscriptionId>/resourceGroups/<resourceGroupName>^/providers/Microsoft.Batch/batchAccounts/<batchAccountName>^
/applications/<batchAccountApplicationName>.
<subscriptionId>Ersätt platshållaren med ditt Azure-prenumerations-ID och de andra platshållarna med de värden som du anger för de andra variablerna i den här listan.batchApplicationVersion Semantisk version av Batch-programmet, i det här fallet 4.3.1. Plats Azure-region för de resurser som ska distribueras. resourceGroupName Namn på resursgruppen som resurserna ska distribueras i. storageAccountName Namn på lagringskontot som ska innehålla de länkade ARM-mallarna. StorageContainerSasToken $(<referenceName>.StorageContainerSasToken).<referenceNameErsätt platshållaren med värdet Referensnamn som du konfigurerar i avsnittet Utdatavariabler i följande Azure-filkopieringssteg.StorageContainerUri $(<referenceName>.StorageContainerUri).<referenceName>Ersätt platshållaren med värdet Referensnamn som du konfigurerar i avsnittet Utdatavariabler i steget Azure File Copy.
Välj fliken Uppgifter och välj sedan Agentjobb.
På skärmen Agentjobb går du till Agentpool och väljer Azure Pipelines.
Under Agentspecifikation väljer du windows-latest.
Lägga till uppgifter
Skapa sex uppgifter för att:
- Ladda ned zippade ffmpeg-filer.
- Distribuera ett lagringskonto som värd för de kapslade ARM-mallarna.
- Kopiera ARM-mallarna till lagringskontot.
- Distribuera Batch-kontot och nödvändiga beroenden.
- Skapa ett program i Batch-kontot.
- Ladda upp programpaketet till Batch-kontot.
För varje ny uppgift som följande steg anger:
Välj symbolen + bredvid Agentjobb i det vänstra fönstret.
Sök efter och välj den angivna uppgiften i den högra rutan.
Lägg till eller välj egenskaperna för att konfigurera uppgiften.
Välj Lägg till.
Skapa aktiviteterna på följande sätt:
Välj uppgiften Ladda ned pipelineartefakter och ange följande egenskaper:
- Visningsnamn: Ange Ladda ned ApplicationPackage till Agent.
- Artefaktnamn: Ange hpc-application.
-
Målkatalog: Ange
$(System.DefaultWorkingDirectory).
Skapa ett Azure Storage-konto för att lagra ARM-mallar. Du kan använda ett befintligt lagringskonto, men för att stödja det här fristående exemplet och isoleringen av innehåll skapar du ett dedikerat lagringskonto.
Välj ARM-malldistributionen: Resursgruppsomfångsaktivitet och ange följande egenskaper:
- Visningsnamn: Ange Distribuera lagringskonto för ARM-mallar.
- Azure Resource Manager-anslutning: Välj lämplig Azure-prenumeration.
- Prenumeration: Välj lämplig Azure-prenumeration.
- Åtgärd: Välj Skapa eller uppdatera resursgrupp.
-
Resursgrupp: Ange
$(resourceGroupName). -
Plats: Ange
$(location). -
Mall: Ange
$(System.ArtifactsDirectory)/<AzureRepoArtifactSourceAlias>/arm-templates/storageAccount.json.<AzureRepoArtifactSourceAlias>Ersätt platshållaren med lagringsplatsens källalias som du antecknade tidigare. -
Åsidosätt mallparametrar: Ange
-accountName $(storageAccountName).
Ladda upp artefakterna från källkontrollen till lagringskontot. En del av den här Azure File Copy-aktiviteten matar ut containerns URI och SAS-token för lagringskontot till en variabel, så att de kan återanvändas i senare steg.
Välj azure-filkopieringsaktiviteten och ange följande egenskaper:
- Visningsnamn: Ange AzureBlob-filkopiering.
-
Källkod: Ange
$(System.ArtifactsDirectory)/<AzureRepoArtifactSourceAlias>/arm-templates/.<AzureRepoArtifactSourceAlias>Ersätt platshållaren med lagringsplatsens källalias som du antecknade tidigare. - Azure-prenumeration: Välj lämplig Azure-prenumeration.
- Måltyp: Välj Azure Blob.
-
RM Storage-konto: Ange
$(storageAccountName). - Containernamn: Ange mallar.
- Referensnamn: Expandera utdatavariabler och ange sedan ffmpeg.
Anteckning
Om det här steget misslyckas kontrollerar du att din Azure DevOps-organisation har rollen Storage Blob Contributor i lagringskontot.
Distribuera ORCHESTRATOR ARM-mallen för att skapa Batch-kontot och poolen. Den här mallen innehåller parametrar för containerns URI och SAS-token för lagringskontot. Variablerna som krävs i ARM-mallen finns i avsnittet variabler i versionsdefinitionen och har angetts från azureblob-filkopieringsaktiviteten.
Välj ARM-malldistributionen: Resursgruppsomfångsaktivitet och ange följande egenskaper:
- Visningsnamn: Ange Distribuera Azure Batch.
- Azure Resource Manager-anslutning: Välj lämplig Azure-prenumeration.
- Prenumeration: Välj lämplig Azure-prenumeration.
- Åtgärd: Välj Skapa eller uppdatera resursgrupp.
-
Resursgrupp: Ange
$(resourceGroupName). -
Plats: Ange
$(location). - Mallplats: Välj URL för filen.
-
Malllänk: Ange
$(StorageContainerUri)arm-templates/deployment.json$(StorageContainerSasToken). -
Åsidosätt mallparametrar: Ange
-StorageContainerUri $(StorageContainerUri) -StorageContainerSasToken $(StorageContainerSasToken) -applicationStorageAccountName $(applicationStorageAccountName) -batchAccountName $(batchAccountName) -batchAccountPoolName $(batchAccountPoolName).
En vanlig metod är att använda Azure Key Vault uppgifter. Om tjänstens huvudnamn som är anslutet till din Azure-prenumeration har en lämplig åtkomstprincipuppsättning kan den ladda ned hemligheter från Key Vault och användas som en variabel i din pipeline. Namnet på hemligheten anges med det associerade värdet. Du kan till exempel referera till en hemlighet med sshPassword med $(sshPassword) i versionsdefinitionen.
Anropa Azure CLI för att skapa ett program i Azure Batch.
Välj Azure CLI-aktiviteten och ange följande egenskaper:
- Visningsnamn: Ange Skapa program i Azure Batch konto.
- Azure Resource Manager-anslutning: Välj lämplig Azure-prenumeration.
- Skripttyp: Välj PowerShell Core.
- Skriptplats: Välj Infogat skript.
-
Infogat skript: Ange
az batch application create --application-name $(batchAccountApplicationName) --name $(batchAccountName) --resource-group $(resourceGroupName).
Anropa Azure CLI för att ladda upp associerade paket till programmet, i det här fallet ffmpeg-filerna.
Välj Azure CLI-aktiviteten och ange följande egenskaper:
- Visningsnamn: Ange Ladda upp paket för att Azure Batch konto.
- Azure Resource Manager-anslutning: Välj lämplig Azure-prenumeration.
- Skripttyp: Välj PowerShell Core.
- Skriptplats: Välj Infogat skript.
-
Infogat skript: Ange
az batch application package create --application-name $(batchAccountApplicationName) --name $(batchAccountName) --resource-group $(resourceGroupName) --version $(batchApplicationVersion) --package-file=$(System.DefaultWorkingDirectory)/$(Release.Artifacts.<AzureBuildArtifactSourceAlias>.BuildId).zip.<AzureBuildArtifactSourceAlias>Ersätt platshållaren med det build source-alias som du antecknade tidigare.
Anteckning
Versionsnumret för programpaketet är inställt på en variabel. Variabeln tillåter att tidigare versioner av paketet skrivs över och du kan manuellt styra paketversionen som push-överförts till Azure Batch.
Skapa och kör versionen
När du är klar med att skapa alla steg väljer du Spara överst på pipelinesidan och väljer sedan OK.
Välj Skapa version överst på sidan.
Om du vill visa liveversionsstatus väljer du länken överst på sidan där det står att versionen har skapats.
Om du vill visa loggutdata från agenten hovrar du över fasen och väljer sedan knappen Loggar .
Testa miljön
När miljön har konfigurerats bekräftar du att följande tester har körts. Ersätt platshållarna med resursgruppen och Batch-kontovärdena.
Ansluta till Batch-kontot
Anslut till det nya Batch-kontot med hjälp av Azure CLI från en kommandotolk.
- Logga in på ditt Azure-konto med
az loginoch följ anvisningarna för att autentisera. - Autentisera Batch-kontot med
az batch account login -g <resourceGroup> -n <batchAccount>.
Visa en lista över tillgängliga program
az batch application list -g <resourceGroup> -n <batchAccount>
Kontrollera att poolen är giltig
az batch pool list
Observera värdet currentDedicatedNodes för att justera i nästa test i kommandots utdata.
Ändra storlek på poolen
Kör följande kommando för att ändra storlek på poolen så att det finns beräkningsnoder tillgängliga för jobb- och uppgiftstestning.
<poolName> Ersätt platshållaren med värdet för poolnamnet och <targetNumber> platshållaren med ett tal som är större än currentDedicatedNodes från föregående kommandoutdata. Kontrollera status genom az batch pool list att köra kommandot tills storleksändringen har slutförts och visar målantalet noder.
az batch pool resize --pool-id <poolname> --target-dedicated-nodes <target number>
Nästa steg
Se de här självstudierna för att lära dig hur du interagerar med ett Batch-konto via ett enkelt program.
Feedback
Kommer snart: Under hela 2024 kommer vi att fasa ut GitHub-problem som feedbackmekanism för innehåll och ersätta det med ett nytt feedbacksystem. Mer information finns i: https://aka.ms/ContentUserFeedback.
Skicka och visa feedback för