Megosztás a következőn keresztül:

A folyamatos integráció automatizálása az Azure Pipelines kiadásaival

  • Cikk

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Az alábbi útmutató egy Azure Pipelines-kiadás beállításához nyújt útmutatást, amely automatizálja egy adat-előállító üzembe helyezését több környezetben.

Követelmények

Azure Pipelines-kiadás beállítása

  1. Az Azure DevOpsban nyissa meg az adat-előállítóval konfigurált projektet.

  2. A lap bal oldalán válassza a Folyamatok, majd a Kiadások lehetőséget.

    Folyamatok, kiadások kiválasztása

  3. Válassza az Új folyamat lehetőséget, vagy ha már rendelkezik meglévő folyamatokkal, válassza az Új , majd az Új kiadási folyamatot.

  4. Válassza az Üres feladat sablont.

    Üres feladat kiválasztása

  5. A Szakasznév mezőbe írja be a környezet nevét.

  6. Válassza az Összetevő hozzáadása lehetőséget, majd válassza ki a fejlesztői adat-előállítóval konfigurált Git-adattárat. Válassza ki az alapértelmezett ág adattárának közzétételi ágát. Alapértelmezés szerint ez a közzétételi ág a következő adf_publish: . Az Alapértelmezett verzió esetében válassza az Alapértelmezett ág Legújabb elemét.

    Összetevő hozzáadása

  7. Azure Resource Manager üzembe helyezési feladat hozzáadása:

    1. A szakasznézetben válassza a Szakaszfeladatok megtekintése lehetőséget.

      Szakasznézet

    2. Hozzon létre egy új feladatot. Keresse meg az ARM-sablon üzembe helyezését, majd válassza a Hozzáadás lehetőséget.

    3. Az üzembe helyezési feladatban válassza ki a céladat-előállító előfizetését, erőforráscsoportját és helyét. Szükség esetén adja meg a hitelesítő adatokat.

    4. A Művelet listában válassza az Erőforráscsoport létrehozása vagy frissítése lehetőséget.

    5. Válassza a Három pont gombot (...) a Sablon mező mellett. Keresse meg a konfigurált Git-adattár közzétételi ágában létrehozott Azure Resource Manager-sablont. Keresse meg a fájlt ARMTemplateForFactory.json a <adf_publish ág FactoryName> mappájában. A csatolt ARM-sablonok használatáról további információt a csatolt ARM-sablonok VSTS-lel és csatolt sablonok használatával történő üzembe helyezésével kapcsolatban talál.

    6. Válassza a ... lehetőséget a Sablon paraméterei mező mellett a paraméterfájl kiválasztásához. Keresse meg a fájlt ARMTemplateParametersForFactory.json a >adf_publish ág FactoryName< mappájában.

    7. Válassza a ... lehetőséget a Sablonparaméterek felülbírálása mező mellett, és adja meg a céladat-előállító kívánt paraméterértékeit. Az Azure Key Vaultból származó hitelesítő adatok esetében adja meg a titkos kód nevét a kettős idézőjelek között. Ha például a titkos kód neve cred1, adja meg a "$(cred1)" értéket ehhez az értékhez.

    8. Válassza a Növekményes beállítást az üzembe helyezési módhoz.

      Figyelmeztetés

      Teljes üzembe helyezési módban a rendszer törli azokat az erőforrásokat, amelyek az erőforráscsoportban találhatók, de nincsenek megadva az új Resource Manager-sablonban. További információkért tekintse meg az Azure Resource Manager üzembe helyezési módjait

      Data Factory Prod üzembe helyezése

  8. Mentse a kiadási folyamatot.

  9. Kiadás aktiválásához válassza a Kiadás létrehozása lehetőséget. A kiadások létrehozásának automatizálásához tekintse meg az Azure DevOps kiadási eseményindítóit

    Válassza a Kiadás létrehozása lehetőséget

Fontos

CI/CD-forgatókönyvekben a különböző környezetekben az integrációs modul (IR) típusának meg kell egyeznie. Ha például egy saját üzemeltetésű integrációs modult használ a fejlesztési környezetben, akkor ugyanazt az integrációs modult más környezetekben, például a tesztelésben és az éles környezetben is saját üzemeltetésűnek kell lennie. Hasonlóképpen, ha több fázison keresztül oszt meg integrációs futtatókörnyezeteket, akkor az integrációs futtatókörnyezeteket minden környezetben , például fejlesztésben, tesztelésben és éles környezetben, összekapcsoltként kell konfigurálnia.

Titkos kulcsok lekérése az Azure Key Vaultból

Ha titkos kulcsokat szeretne átadni egy Azure Resource Manager-sablonban, javasoljuk, hogy az Azure Key Vaultot használja az Azure Pipelines kiadással.

A titkos kulcsok kétféleképpen kezelhetők:

  • Adja hozzá a titkos kulcsokat a paraméterfájlhoz. További információ: Az Azure Key Vault használata biztonságos paraméterértékek átadásához az üzembe helyezés során.

    Hozzon létre egy másolatot a közzétételi ágba feltöltött paraméterfájlról. Állítsa be a Key Vaultból lekérni kívánt paraméterek értékeit a következő formátumban:

    {
    "parameters": {
        "azureSqlReportingDbPassword": {
            "reference": {
                "keyVault": {
                    "id": "/subscriptions/<subId>/resourceGroups/<resourcegroupId> /providers/Microsoft.KeyVault/vaults/<vault-name> "
                },
                "secretName": " < secret - name > "
            }
        }
    }
}

    Ha ezt a módszert használja, a rendszer automatikusan lekérte a titkos kulcsot a kulcstartóból.

    A paraméterfájlnak a közzétételi ágban is meg kell lennie.

  • Adjon hozzá egy Azure Key Vault-feladatot az előző szakaszban ismertetett Azure Resource Manager-üzembe helyezési feladat előtt:

    1. A Feladatok lapon hozzon létre egy új feladatot. Keressen rá az Azure Key Vaultra, és adja hozzá.

    2. A Key Vault-feladatban válassza ki azt az előfizetést, amelyben létrehozta a kulcstartót. Szükség esetén adja meg a hitelesítő adatokat, majd válassza ki a kulcstartót.

    Key Vault-feladat hozzáadása

Engedélyek megadása az Azure Pipelines-ügynöknek

Ha a megfelelő engedélyek nincsenek beállítva, előfordulhat, hogy az Azure Key Vault-feladat a hozzáférés megtagadása hibával hiúsul meg. Töltse le a kiadás naplóit, és keresse meg a parancsot tartalmazó .ps1 fájlt, amely engedélyeket ad az Azure Pipelines-ügynöknek. A parancsot közvetlenül is futtathatja. Másolhatja az egyszerű azonosítót a fájlból, és manuálisan is hozzáadhatja a hozzáférési szabályzatot az Azure Portalon. Get és List a minimális engedélyekre van szükség.

Aktív eseményindítók frissítése

Kövesse az Azure PowerShell telepítését és konfigurálását ismertető cikkben szereplő utasításokat a legújabb Azure PowerShell-modulok telepítéséhez.

Figyelmeztetés

Ha nem a PowerShell és a Data Factory modul legújabb verzióit használja, deszerializálási hibákba ütközhet a parancsok futtatása közben.

Az üzembe helyezés sikertelen lehet, ha aktív eseményindítókat próbál frissíteni. Az aktív eseményindítók frissítéséhez manuálisan le kell állítania őket, majd újra kell indítania őket az üzembe helyezés után. Ezt egy Azure PowerShell-feladattal teheti meg:

  1. A kiadás Feladatok lapján adjon hozzá egy Azure PowerShell-feladatot. Válassza ki a feladatverziót a legújabb Azure PowerShell-verzióval.

  2. Válassza ki azt az előfizetést, amelyben a gyár található.

  3. Szkripttípusként válassza a Szkriptfájl elérési útját . Ehhez mentenie kell a PowerShell-szkriptet az adattárba. Az eseményindítók leállításához a következő PowerShell-szkript használható:

    $triggersADF = Get-AzDataFactoryV2Trigger -DataFactoryName $DataFactoryName -ResourceGroupName $ResourceGroupName

$triggersADF | ForEach-Object { Stop-AzDataFactoryV2Trigger -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name $_.name -Force }

Az eseményindítók üzembe helyezés utáni újraindításához hasonló lépéseket is végrehajthat (a Start-AzDataFactoryV2Trigger függvénnyel együtt).

A data factory csapata az üzembe helyezés előtti és utáni példaszkriptet adta meg.

Feljegyzés

Használja a PrePostDeploymentScript.Ver2.ps1 parancsot, ha csak azokat az eseményindítókat szeretné kikapcsolni/ bekapcsolni, amelyeket módosítottak a CI/CD alatt.

Figyelmeztetés

Győződjön meg arról, hogy a PowerShell Core-t használja az ADO-feladatban a szkript futtatásához

Kapcsolódó tartalom