Azure Pipelines sürümlerini kullanarak sürekli tümleştirmeyi otomatikleştirme

Makale
12/09/2023

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Aşağıda, bir veri fabrikasının birden çok ortam için dağıtımını otomatik hale getiren bir Azure Pipelines sürümü ayarlamaya yönelik bir kılavuz yer alır.

Gereksinimler

Azure Resource Manager hizmet uç noktasını kullanan Azure DevOps Server (eski adıyla Visual Studio Team Foundation Server) veya Azure Repos'a bağlı bir Azure aboneliği.
Azure Repos Git tümleştirmesi ile yapılandırılmış bir veri fabrikası.
Her ortamın gizli dizilerini içeren bir Azure anahtar kasası.

Azure Pipelines sürümünü ayarlama

Azure DevOps'ta veri fabrikanızla yapılandırılan projeyi açın.
Sayfanın sol tarafında İşlem Hatları'nı ve ardından Yayınlar'ı seçin.
Yeni işlem hattı'yı seçin veya mevcut işlem hatlarınız varsa Yeni'yi ve ardından Yeni yayın işlem hattı'yı seçin.
Boş iş şablonunu seçin.
Aşama adı kutusuna ortamınızın adını girin.
Yapıt ekle'yi seçin ve ardından geliştirme veri fabrikanızla yapılandırılan git deposunu seçin. Varsayılan dal için deponun yayımlama dalını seçin. Varsayılan olarak, bu yayımlama dalı şeklindedir adf_publish. Varsayılan sürüm için varsayılan daldan en son'ı seçin.
Azure Resource Manager Dağıtım görevi ekleme:

a. Aşama görünümünde Aşama görevlerini görüntüle'yi seçin.

b. Yeni bir görev oluşturun. ARM Şablonu Dağıtımı için arama yapın ve Ekle'yi seçin.

c. Dağıtım görevinde, hedef veri fabrikası için aboneliği, kaynak grubunu ve konumu seçin. Gerekirse kimlik bilgilerini sağlayın.

d. Eylem listesinde Kaynak grubu oluştur veya güncelleştir'i seçin.

e. Şablon kutusunun yanındaki üç nokta düğmesini (...) seçin. Yapılandırılmış git deposunun yayımlama dalında oluşturulan Azure Resource Manager şablonuna göz atın. dosyayı ARMTemplateForFactory.json<adf_publish dalının FactoryName> klasöründe arayın.

f. Parametre dosyasını seçmek için Şablon parametreleri kutusunun yanındaki ... öğesini seçin. dosyayı ARMTemplateParametersForFactory.json>adf_publish dalının FactoryName< klasöründe arayın.

r. Şablon parametrelerini geçersiz kıl kutusunun yanındaki ... öğesini seçin ve hedef veri fabrikası için istenen parametre değerlerini girin. Azure Key Vault'tan gelen kimlik bilgileri için çift tırnak işaretleri arasına gizli dizi adını girin. Örneğin, gizli dizinin adı cred1 ise, bu değer için "$(cred1)" girin.

h. Dağıtım modu için Artımlı'ya tıklayın.

Uyarı

Tam dağıtım modunda, kaynak grubunda var olan ancak yeni Resource Manager şablonunda belirtilmeyen kaynaklar silinir. Daha fazla bilgi için bkz. Azure Resource Manager Dağıtım Modları
Yayın işlem hattını kaydedin.
Yayını tetikleme için Yayın oluştur'u seçin. Yayınların oluşturulmasını otomatikleştirmek için bkz. Azure DevOps yayın tetikleyicileri

Önemli

CI/CD senaryolarında, farklı ortamlardaki tümleştirme çalışma zamanı (IR) türü aynı olmalıdır. Örneğin, geliştirme ortamında şirket içinde barındırılan bir IR'niz varsa, aynı IR de test ve üretim gibi diğer ortamlarda şirket içinde barındırılan türde olmalıdır. Benzer şekilde, tümleştirme çalışma zamanlarını birden çok aşamada paylaşıyorsanız, tümleştirme çalışma zamanlarını geliştirme, test ve üretim gibi tüm ortamlarda şirket içinde barındırılan bağlantılı olarak yapılandırmanız gerekir.

Azure Key Vault'tan gizli dizileri alma

Azure Resource Manager şablonunda iletecek gizli dizileriniz varsa Azure Pipelines sürümüyle Azure Key Vault kullanmanızı öneririz.

Gizli dizileri işlemenin iki yolu vardır:

Gizli dizileri parametre dosyasına ekleyin. Daha fazla bilgi için bkz . Dağıtım sırasında güvenli parametre değeri geçirmek için Azure Key Vault kullanma.

Yayımlama dalına yüklenen parametre dosyasının bir kopyasını oluşturun. Key Vault'tan almak istediğiniz parametrelerin değerlerini şu biçimi kullanarak ayarlayın:
```
{
    "parameters": {
        "azureSqlReportingDbPassword": {
            "reference": {
                "keyVault": {
                    "id": "/subscriptions/<subId>/resourceGroups/<resourcegroupId> /providers/Microsoft.KeyVault/vaults/<vault-name> "
                },
                "secretName": " < secret - name > "
            }
        }
    }
}
```
Bu yöntemi kullandığınızda, gizli dizi anahtar kasasından otomatik olarak çekilir.

Parametre dosyasının da yayımlama dalında olması gerekir.
Önceki bölümde açıklanan Azure Resource Manager Dağıtım görevinin önüne bir Azure Key Vault görevi ekleyin:
1. Görevler sekmesinde yeni bir görev oluşturun. Azure Key Vault'ta arama yapıp ekleyin.
2. Key Vault görevinde anahtar kasasını oluşturduğunuz aboneliği seçin. Gerekirse kimlik bilgilerini sağlayın ve anahtar kasasını seçin.

Azure Pipelines aracısına izin verme

Doğru izinler ayarlanmamışsa Azure Key Vault görevi Erişim Reddedildi hatasıyla başarısız olabilir. Sürümün günlüklerini indirin ve Azure Pipelines aracısına izin vermek için komutunu içeren .ps1 dosyasını bulun. Komutunu doğrudan çalıştırabilirsiniz. Alternatif olarak, dosyadan asıl kimliği kopyalayabilir ve erişim ilkesini Azure portalına el ile ekleyebilirsiniz. Get ve List gerekli en düşük izinlerdir.

Etkin tetikleyicileri güncelleştirme

Azure PowerShell’i yükleme ve yapılandırma konusundaki yönergeleri izleyerek en güncel Azure PowerShell modüllerini yükleyin.

Uyarı

PowerShell ve Data Factory modülünün en son sürümlerini kullanmıyorsanız, komutları çalıştırırken seri durumdan çıkarma hatalarıyla karşılaşabilirsiniz.

Etkin tetikleyicileri güncelleştirmeye çalışırsanız dağıtım başarısız olabilir. Etkin tetikleyicileri güncelleştirmek için bunları el ile durdurmanız ve dağıtımdan sonra yeniden başlatmanız gerekir. Bunu bir Azure PowerShell görevi kullanarak yapabilirsiniz:

Yayının Görevler sekmesinde bir Azure PowerShell görevi ekleyin. Görev sürümünü en son Azure PowerShell sürümünü seçin.
Fabrikanızın içinde olduğu aboneliği seçin.

Betik türü olarak Betik Dosyası Yolu'nu seçin. Bunun için PowerShell betiğinizi deponuza kaydetmeniz gerekir. Tetikleyicileri durdurmak için aşağıdaki PowerShell betiği kullanılabilir:

$triggersADF = Get-AzDataFactoryV2Trigger -DataFactoryName $DataFactoryName -ResourceGroupName $ResourceGroupName

$triggersADF | ForEach-Object { Stop-AzDataFactoryV2Trigger -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name $_.name -Force }

Dağıtımdan sonra tetikleyicileri yeniden başlatmak için benzer adımları (işleviyle Start-AzDataFactoryV2Trigger ) tamamlayabilirsiniz.

Veri fabrikası ekibi, örnek bir dağıtım öncesi ve sonrası betiği sağladı.

Dekont

CI/CD sırasında tüm tetikleyicileri kapatmak/ açmak yerine yalnızca değiştirilmiş tetikleyicileri kapatmak/ açmak istiyorsanız PrePostDeploymentScript.Ver2.ps1 kullanın.