Automatizace kontinuální integrace s využitím vydaných verzí Azure Pipelines

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Následuje příručka pro nastavení verze Azure Pipelines, která automatizuje nasazení datové továrny do několika prostředí.

Požadavky

• Předplatné Azure propojené s Azure DevOps Serverem (dříve Visual Studio Team Foundation Server) nebo Azure Repos, které používají koncový bod služby Azure Resource Manager.

• Datová továrna nakonfigurovaná s integrací Gitu s Azure Repos

• Trezor klíčů Azure, který obsahuje tajné kódy pro každé prostředí.

Nastavení verze Azure Pipelines

1. V Azure DevOps otevřete projekt, který je nakonfigurovaný pro vaši datovou továrnu.

2. Na levé straně stránky vyberte Kanály a pak vyberte Verze.

   

3. Vyberte Nový kanál nebo pokud máte existující kanály, vyberte Nový a pak Nový kanál verze.

4. Vyberte prázdnou šablonu úlohy .

   

5. Do pole Název fáze zadejte název vašeho prostředí.

6. Vyberte Přidat artefakt a pak vyberte úložiště Git nakonfigurované pro vývojovou datovou továrnu. Vyberte větev publikování úložiště pro výchozí větev. Ve výchozím nastavení je adf_publishtato větev publikování . Jako výchozí verzi vyberte Nejnovější z výchozí větve.

   

7. Přidejte úlohu nasazení Azure Resource Manageru:

   a. V zobrazení fáze vyberte Zobrazit úkoly fáze.

   

   b. Vytvořte nový úkol. Vyhledejte nasazení šablony ARM a pak vyberte Přidat.

   c. V úloze Nasazení vyberte předplatné, skupinu prostředků a umístění cílové datové továrny. V případě potřeby zadejte přihlašovací údaje.

   d. V seznamu akcí vyberte Vytvořit nebo aktualizovat skupinu prostředků.

   e. Vyberte tlačítko se třemi tečkou (...) vedle pole Šablona. Vyhledejte šablonu Azure Resource Manageru, která se vygeneruje ve vaší větvi publikování nakonfigurovaného úložiště Git. Vyhledejte soubor ARMTemplateForFactory.json ve <složce FactoryName> větve adf_publish.

   f. Vyberte ... vedle pole Parametry šablony a zvolte soubor parametrů. Vyhledejte soubor ARMTemplateParametersForFactory.json ve >složce FactoryName< větve adf_publish.

   g. Vyberte ... vedle pole Přepsat parametry šablony a zadejte požadované hodnoty parametrů pro cílovou datovou továrnu. Pro přihlašovací údaje, které pocházejí ze služby Azure Key Vault, zadejte název tajného klíče mezi uvozovkami. Pokud je například název tajného klíče cred1, zadejte pro tuto hodnotu "$(cred1)" .

   h. Vyberte přírůstkový režim nasazení.

   Upozorňující

   V režimu dokončení nasazení se odstraní prostředky, které existují ve skupině prostředků, ale nejsou zadané v nové šabloně Resource Manageru. Další informace najdete v režimech nasazení Azure Resource Manageru.

   

8. Uložte kanál verze.

9. Pokud chcete aktivovat verzi, vyberte Vytvořit verzi. Pokud chcete automatizovat vytváření verzí, podívejte se na triggery verzí Azure DevOps.

   

Důležité

Ve scénářích CI/CD musí být typ prostředí Integration Runtime (IR) v různých prostředích stejný. Pokud máte například místní prostředí IR ve vývojovém prostředí, musí být stejné prostředí IR také typu místního hostování v jiných prostředích, jako je testování a produkční prostředí. Podobně platí, že pokud sdílíte prostředí Integration Runtime napříč několika fázemi, musíte prostředí Integration Runtime nakonfigurovat jako propojené místní prostředí ve všech prostředích, jako je vývoj, testování a produkční prostředí.

Získání tajných kódů ze služby Azure Key Vault

Pokud máte tajné kódy pro předání šablony Azure Resource Manageru, doporučujeme použít Azure Key Vault s verzí Azure Pipelines.

Tajné kódy můžete zpracovat dvěma způsoby:

• Přidejte tajné kódy do souboru parametrů. Další informace najdete v tématu Použití služby Azure Key Vault k předání hodnoty zabezpečeného parametru během nasazování.

  Vytvořte kopii souboru parametrů, který se nahraje do větve publikování. Nastavte hodnoty parametrů, které chcete získat ze služby Key Vault, pomocí tohoto formátu:

  {
      "parameters": {
          "azureSqlReportingDbPassword": {
              "reference": {
                  "keyVault": {
                      "id": "/subscriptions/<subId>/resourceGroups/<resourcegroupId> /providers/Microsoft.KeyVault/vaults/<vault-name> "
                  },
                  "secretName": " < secret - name > "
              }
          }
      }
  }
  

  Když použijete tuto metodu, tajný klíč se automaticky načítá z trezoru klíčů.

  Soubor parametrů musí být také ve větvi publikování.

• Před úlohu nasazení Azure Resource Manageru popsané v předchozí části přidejte úlohu služby Azure Key Vault:

  1. Na kartě Úkoly vytvořte nový úkol. Vyhledejte Azure Key Vault a přidejte ho.

  2. V úloze služby Key Vault vyberte předplatné, ve kterém jste trezor klíčů vytvořili. V případě potřeby zadejte přihlašovací údaje a pak vyberte trezor klíčů.

  

Udělení oprávnění agentu Azure Pipelines

Úloha služby Azure Key Vault může selhat s chybou Odepření přístupu, pokud nejsou nastavená správná oprávnění. Stáhněte protokoly verze a vyhledejte soubor .ps1, který obsahuje příkaz k udělení oprávnění agentovi Azure Pipelines. Příkaz můžete spustit přímo. Nebo můžete zkopírovat ID objektu zabezpečení ze souboru a přidat zásady přístupu ručně na webu Azure Portal. Get a List jsou minimální požadovaná oprávnění.

Aktualizace aktivních triggerů

Nainstalujte nejnovější moduly Azure PowerShellu podle pokynů v tématu Instalace a konfigurace Azure PowerShellu.

Upozorňující

Pokud nepoužíváte nejnovější verze modulu PowerShell a Data Factory, při spouštění příkazů můžete narazit na chyby deserializace.

Nasazení může selhat, pokud se pokusíte aktualizovat aktivní triggery. Pokud chcete aktualizovat aktivní triggery, musíte je ručně zastavit a po nasazení je restartovat. Můžete to udělat pomocí úlohy Azure PowerShellu:

1. Na kartě Úkoly verze přidejte úlohu Azure PowerShellu. Zvolte verzi úlohy s nejnovější verzí Azure PowerShellu.

2. Vyberte předplatné, ve které je vaše továrna.

3. Jako typ skriptu vyberte cestu k souboru skriptu. To vyžaduje, abyste skript PowerShellu uložili do úložiště. K zastavení triggerů můžete použít následující skript PowerShellu:

   $triggersADF = Get-AzDataFactoryV2Trigger -DataFactoryName $DataFactoryName -ResourceGroupName $ResourceGroupName
   
   $triggersADF | ForEach-Object { Stop-AzDataFactoryV2Trigger -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name $_.name -Force }
   

Podobné kroky (s Start-AzDataFactoryV2Trigger funkcí) můžete dokončit a po nasazení restartovat triggery.

Tým datové továrny poskytl ukázkový skript před nasazením a po nasazení.

Poznámka:

PrePostDeploymentScript.Ver2.ps1 použijte, pokud chcete vypnout nebo zapnout pouze triggery, které byly upraveny, místo aby se všechny triggery vypnuly nebo zapnuly během CI/CD.

Upozorňující

Ujistěte se, že ke spuštění skriptu používáte PowerShell Core v úloze ADO.

Související obsah

• Přehled kontinuální integrace a doručování
• Ruční zvýšení úrovně šablony Resource Manageru do každého prostředí
• Použití vlastních parametrů se šablonou Resource Manageru
• Propojené šablony Resource Manageru
• Použití produkčního prostředí oprav hotfix
• Ukázkový skript před nasazením a po nasazení