Microsoft Fabric'te Data Factory'de işlem hatları için CI/CD

Fabric Data Factory'de CI/CD (sürekli tümleştirme ve sürekli geliştirme), testten dağıtıma kadar kod değişikliklerini otomatik olarak işleyerek ekiplerin daha hızlı ve daha güvenilir bir şekilde çalışmasına yardımcı olur.

Şu anda, Fabric, Uygulama Yaşam Döngüsü Yönetimi (ALM) ekibiyle ortaklıkla oluşturulmuş iki temel özelliği destekler: Git entegrasyonu ve dağıtım işlem hatları. Bu araçlar çalışma alanı kaynaklarını ayrı ayrı içeri ve dışarı aktarmanıza olanak sağlar ve öğe tanımlarını içeri/dışarı aktarma Toplu api'lerini (önizleme) kullanarak büyük ölçekte birden çok öğeyi eşitleyebilirsiniz. Bu esneklik yalnızca ihtiyacınız olanları güncelleştirmenize veya değişiklikleri toplu olarak yükseltmenize olanak tanır.

Genellikle ARM şablonlarını kullanarak fabrikanın tamamını güncelleştiren Azure Data Factory'den farklı olarak, Fabric'in yaklaşımı size daha fazla denetim sağlar. Her şeyi duraklatmadan belirli işlem hatlarını güncelleştirebilirsiniz. Hem Git tümleştirmesi (kendi Git'inizi getirin) hem de dağıtım işlem hatları (yerleşik CI/CD) bir çalışma alanını tek bir ortama bağlar. Bu nedenle geliştirme, test ve üretim için ayrı çalışma alanları ayarlamak istiyorsunuz.

Özet

Bu makale, Iki yaklaşım kullanarak Microsoft Fabric'te Data Factory işlem hatları için CI/CD ayarlama konusunda size yol gösterir: Git tümleştirmesi ve dağıtım işlem hatları. CI/CD'nin temellerini öğrenecek, Git sürüm denetiminin işlem hatlarıyla nasıl çalıştığını anlayacak ve otomatik dağıtım iş akışlarını uygulayacaksınız.

İlk olarak, sürekli tümleştirme, sürekli dağıtım ve Git sürüm denetiminin CI/CD, Git ve dağıtım işlem hatlarıyla nasıl entegre edildiğini öğrenmek için anlama bölümünü gözden geçirin.

İşlem hatları için Git tümleştirmesini ayarlamak için şu adımları izleyin:

1. Git deposuna bağlanma - Doku çalışma alanınızı Azure DevOps veya GitHub'a bağlama
2. Çalışma alanına bağlanma - Dal ve klasör ayrıntılarını belirtme
3. Değişiklikleri Git'e işleme - İşlem hattı değişikliklerinizi izleme ve sürüm oluşturma
4. Çalışma alanını Git'ten güncelleştirme - Değişiklikleri Git deponuzdan eşitleme (isteğe bağlı)

Dağıtım işlem hatlarını ayarlamak için şu adımları izleyin:

1. Dağıtım işlem hattı oluşturma - CI/CD işlem hattı yapınızı tanımlama
2. İşlem hattını adlandırma ve aşamaları atama - Geliştirme, test ve üretim aşamalarını yapılandırma
3. Dağıtım işlem hattına çalışma alanı atama - Yönetecek içerik ekleme
4. Boş bir aşamaya dağıtma - İçeriği işlem hattı aşamaları arasında taşıma
5. İçeriği bir aşamadan diğerine dağıtma - Değişiklikleri ortamlar arasında yükseltme

Geliştiriciler neden CI/CD kullanıyor?

CI/CD, yazılım teslimi otomatik hale getiren bir uygulamadır ve birkaç önemli sorun noktasını çözer:

• El ile tümleştirme sorunları: CI/CD olmadan kod değişikliklerini el ile tümleştirmek çakışmalara ve hatalara yol açarak geliştirmeyi yavaşlatabilir.
• Geliştirme gecikmeleri: El ile yapılan dağıtımlar zaman alır ve hatalara açıktır ve bu da yeni özelliklerin ve güncelleştirmelerin tesliminde gecikmelere neden olur.
• Tutarsız ortamlar: Farklı ortamlarda (geliştirme, test ve üretim) tutarsızlıklar olabilir ve hata ayıklaması zor sorunlara neden olabilir.
• Görünürlük eksikliği: CI/CD olmadan değişiklikleri izlemek ve kod tabanının durumunu anlamak zor olabilir.

CI/CD, Git ve dağıtım işlem hatlarını anlama

CI/CD sürekli tümleştirme ve sürekli dağıtımdan oluşur.

Sürekli tümleştirme (CI)

Geliştiriciler genellikle Git tarafından yönetilen bir ana dala bağlanarak tümleştirme için otomatikleştirilmiş testleri ve derlemeleri tetikler. Git, yeni işlemelerin otomatik olarak getirilip test edilmesine olanak tanımak için değişiklikleri izler.

Sürekli dağıtım (CD)

Dağıtım işlem hatları içindeki yapılandırılmış dağıtım aşamaları aracılığıyla üretim geliştirmelerinde doğrulanmış değişiklikleri dağıtmaya odaklanır.

Data Factory işlem hatları ile Git tümleştirmesi

Git, geliştiricilerin kod temellerindeki değişiklikleri (veya işlem hatları için JSON kod tanımlarını) izlemesine ve başkalarıyla işbirliği yapmasına olanak tanıyan bir sürüm denetim sistemidir. Kod değişikliklerinin depolandığı ve yönetildiği merkezi bir depo sağlar. Şu anda Git, GitHub veya Azure DevOps aracılığıyla Fabric'de desteklenmektedir. Git ile çalışırken anlaşılması gereken birkaç önemli iş akışı vardır.

• Ana dal: Ana dal olarak adlandırılan ana dal, üretime hazır kodu barındırıyor.
• Özellik dalları: Bu dallar ana daldan ayrıdır ve ana dalı değiştirmeden yalıtılmış geliştirmeye olanak sağlar.
• Çekme istekleri (PR): PR'ler kullanıcıların tümleştirmeden önce değişiklikleri önermesine, gözden geçirmesine ve tartışmasına olanak sağlar.
• Birleştirme: Değişiklikler onaylandığında bu durum oluşur. Git bu değişiklikleri tümleştirerek projeyi sürekli güncelleştirir.

Son Git tümleştirme geliştirmeleri

Doku Git tümleştirmesi artık çalışma alanı veya klasör başına seçmeli dal eşlemesi içerdiğinden, aynı depodaki diğer çalışma alanlarını etkilemeden her çalışma alanı için belirli bir dalı hedefleyebilirsiniz. Kaynak denetimi bölmesi ayrıca, güncelleştirmeleri işleme veya çekme işlemi yapmadan önce çalışma alanı öğelerini dal komutlarıyla karşılaştırmanıza olanak tanıyan yerleşik bir fark deneyimi sağlar. Bu geliştirmeler ekiplerin değişiklikleri daha net bir şekilde gözden geçirmelerine ve dallandırılmış çalışma alanlarını daha güvenle yönetmelerine yardımcı olur.

Dağıtım boru hatları

Dağıtım işlem hatları Git ile sıkı bir şekilde tümleştirilir. Geliştirici Git deposuna kod değişiklikleri gönderdiğinde CI/CD işlem hattını tetikler. Bu tümleştirme, en son kod değişikliklerinin her zaman test edilmesini ve otomatik olarak dağıtılmasını sağlar.

Aşamalar ve işler

Dağıtım işlem hatları, her aşamada birden çok aşamadan ve işlerden oluşur. Genellikle bu aşamalar üç ortam olarak ayrılır: geliştirme (kod derleme), test (testleri çalıştırma) ve üretim (uygulamayı dağıtma). İşlem hattı bu aşamalarda ilerler ve kodun kapsamlı bir şekilde test edilmesini ve düzenli bir şekilde dağıtılmasını sağlar.

Otomatik iş akışları

Dağıtım işlem hatları kod oluşturma, test etme ve dağıtma işlemlerinin tamamını otomatikleştirir. Bu otomasyon insan hatası riskini azaltır, geliştirme sürecini hızlandırır ve kod değişikliklerinin tutarlı ve güvenilir bir şekilde üretime teslim edilmesini sağlar.

İşlem hatları için Git tümleştirmesini kullanmaya başlama

Data Factory'de işlem hatlarınız için Git tümleştirmesini ayarlamak için aşağıdaki adımları izleyin:

Git tümleştirmesi için önkoşullar

Microsoft Fabric çalışma alanınızla Git'e erişmek için hem Fabric hem de Git için aşağıdaki önkoşulları sağlayın.

• Power BI Premium lisansına veya Fabric kapasitesine ihtiyacınız vardır.
• Bu yönetici ayarlarının açık olduğundan emin olun:
  • Kullanıcılar Fabric öğeleri oluşturabilir
  • Kullanıcılar çalışma alanı öğelerini Git depolarıyla eşitleyebilir
  • (GitHub kullanıcıları için) Kullanıcılar çalışma alanı öğelerini GitHub depolarıyla eşitleyebilir
• Azure DevOps kuruluşuna veya GitHub hesabına ihtiyacınız vardır.
  • Azure DevOps için:
    • Hesabınız yoksa ücretsiz bir Azure hesabına kaydolun.
    • Bir depoya erişiminiz olduğundan emin olun.
  • GitHub için:
    • Hesabınız yoksa ücretsiz bir GitHub hesabına kaydolun.
    • İçindekiler için okuma ve yazma izinlerine sahip ayrıntılı bir belirtecin veya depo kapsamlarının etkin olduğu bir GitHub klasik belirtecinin olması gerekir.

1. Adım: Git deposuna bağlanma

Doku'da Data Factory işlem hatlarıyla Git tümleştirmesini kullanmak için önce burada açıklandığı gibi bir Git deposuna bağlanmanız gerekir.

1. Doku'da oturum açın ve Git'e bağlanmak istediğiniz çalışma alanına gidin.

2. Çalışma alanı ayarları'nı seçin.

   

3. Git tümleştirmesi'ne tıklayın.

4. Git sağlayıcınızı seçin. Şu anda Fabric yalnızca Azure DevOps veya GitHub'ı desteklemektedir. GitHub kullanıyorsanız, GitHub hesabınızı bağlamak için Hesap ekle'yi seçmeniz gerekir. Oturum açtıktan sonra, Fabric'in GitHub hesabınıza erişmesine izin vermek için Bağlan'ı seçin.

   

2. Adım: Çalışma alanına bağlanma

Bir Git deposuna bağlandıktan sonra, burada açıklandığı gibi bir çalışma alanına bağlanmanız gerekir.

1. Açılan menüden, bağlanmak istediğiniz dal hakkında aşağıdaki ayrıntıları belirtin:

   1. Azure DevOps dal bağlantıları için aşağıdaki ayrıntıları belirtin:

      • Kuruluş: Azure DevOps kuruluş adı.
      • Proje: Azure DevOps proje adı.
      • Depo: Azure DevOps depo adı.
      • Dal: Azure DevOps dal adı.
      • Klasör: Azure DevOps klasör adı.

   2. GitHub dal bağlantıları için aşağıdaki ayrıntıları belirtin:

      • Depo URL'si: GitHub depo URL'si.
      • Dal: GitHub dal adı.
      • Klasör: GitHub klasör adı.

2. Bağlan ve eşitle'yi seçin.

3. Bağlandıktan sonra Çalışma Alanı, kullanıcıların bağlı dalı, daldaki her öğenin durumunu ve son eşitlemenin zamanını görüntülemesine olanak tanıyan kaynak denetimi hakkındaki bilgileri görüntüler.

   

3. Adım: Değişiklikleri Git'e işleme

Bir Git deposuna ve çalışma alanına bağlandıktan sonra, burada açıklandığı gibi değişiklikleri Git'e işleyebilirsiniz.

1. Çalışma alanına gidin.

2. Kaynak denetimi simgesini seçin. Bu simge, kaydedilmemiş değişikliklerin sayısını gösterir.

   

3. Kaynak denetim masasından Değişiklikler sekmesini seçin. Değiştirdiğiniz tüm öğelerle birlikte bir liste ve durumu gösteren bir simge görüntülenir: Yeni , Değiştirildi , Çakışma veya Silindi.

4. İşlemek istediğiniz öğeleri seçin. Tüm öğeleri seçmek için üstteki kutuyu işaretleyin.

5. (İsteğe bağlı) Kutuya bir işleme açıklaması ekleyin.

6. Onayla'yı seçin.

   

Değişiklikler işlendikten sonra, işlenen öğeler listeden kaldırılır ve çalışma alanı eşitlendiği yeni işlemeye işaret eder.

4. Adım: (İsteğe bağlı) Git'ten çalışma alanını güncelleştirme

1. Çalışma alanına gidin.

2. Kaynak denetimi simgesini seçin.

3. Kaynak denetim masasından Güncelleştirmeler'i seçin. Son güncelleştirmeden bu yana Git bağlantı kaynağınızdan dalda değiştirilen tüm öğelerle birlikte bir liste görüntülenir.

4. Tümünü güncelleştir'i seçin.

   

Öğe listesi başarıyla güncelleştirildikten sonra kaldırılır ve çalışma alanı eşitlendiği yeni işlemeye işaret eder.

Git için dağıtım işlem hatlarını kullanmaya başlama

Git dağıtım işlem hatlarını Doku çalışma alanınızla birlikte kullanmak için aşağıdaki adımları uygulayın.

Dağıtım boruhatları için önkoşullar

Başlamadan önce aşağıdaki önkoşulları ayarladığınızdan emin olun:

• Etkin bir Microsoft Fabric aboneliği.
• Yönetici erişimi için bir Fabric çalışma alanı.

1. Adım: Dağıtım işlem hattı oluşturma

1. Çalışma alanları açılır öğesinden Dağıtım işlem hatları'nı seçin.

   

2. İşlem hattı oluştur veya + Yeni işlem hattı seçin.

2. Adım: İşlem hattını adlandırın ve aşamaları atayın

1. Dağıtım işlem hattı oluştur iletişim kutusunda, işlem hattı için bir ad ve açıklama girin ve İleri'yi seçin.

2. Dağıtım işlem hattınız için gerekli aşamaları tanımlayarak dağıtım işlem hattınızın yapısını ayarlayın. İşlem hattının varsayılan olarak üç aşaması vardır: Geliştirme, Test ve Üretim.

   

   Kutuya yeni bir ad yazarak başka bir aşama ekleyebilir, aşamaları silebilir veya yeniden adlandırabilirsiniz. İşiniz bittiğinde Oluştur 'u (veya Oluştur ve devam et) seçin.

   

3. Adım: Dağıtım işlem hattına çalışma alanı atama

İşlem hattı oluşturduktan sonra, işlem hattına yönetmek istediğiniz içeriği eklemeniz gerekir. İşlem hattına içerik ekleme işlemi, işlem hattı aşamasına bir çalışma alanı atanarak yapılır. Herhangi bir aşamaya çalışma alanı atayabilirsiniz. İşlem hattına çalışma alanı atama yönergelerini izleyin.

4. Adım: Boş bir aşamaya dağıtım yap

1. bir işlem hattı aşamasında içerikle çalışmayı bitirdiğinizde, bir sonraki aşamaya dağıtabilirsiniz. Dağıtım işlem hatları, içeriğinizi dağıtmak için üç seçenek sunar:

   • Tam dağıtım: Tüm içeriğinizi hedef aşamaya dağıtın.
   • Seçmeli dağıtım: Hedef aşamaya dağıtılacak içeriği seçin.
   • Geriye dönük dağıtım: İçeriği daha sonraki bir aşamadan işlem hattındaki önceki bir aşamaya dağıtın. Şu anda geriye doğru dağıtım yalnızca hedef aşama boş olduğunda (kendisine atanmış çalışma alanı olmadığında) mümkündür.

2. İçeriğinizin nasıl dağıtılacağına karar verdikten sonra dağıtımınızı gözden geçirebilir ve not bırakabilirsiniz.

5. Adım: İçeriği bir aşamadan diğerine dağıtma

1. bir işlem hattı aşamasında içeriğiniz olduğunda, bir sonraki aşama çalışma alanında içerik olsa bile bunu bir sonraki aşamaya dağıtabilirsiniz. Eşleştirilen öğeler üzerine yazılır. Bu işlem hakkında daha fazla bilgi edinmek için Mevcut çalışma alanına içerik dağıtma bölümünü kullanabilirsiniz.
2. İçeriğin her aşamaya en son ne zaman dağıtıldığını görmek için dağıtım geçmişini gözden geçirebilirsiniz. Dağıtmadan önce iki işlem hattı arasındaki farkları incelemek için bkz . Farklı dağıtım aşamalarındaki içeriği karşılaştırma.

Zamanlanmış işlem hattı CI/CD entegrasyonu

İşlem hattı için bir zamanlama oluşturduğunuzda, çalışma alanınıza bağlı Git deposuna otomatik olarak eklenir ve işlem hattı tanımında bir .schedules dosyasında depolanır .

Fabric CLI ve Azure DevOps Pipelines ile CI/CD'yi otomatikleştirme

Doku için Azure DevOps Pipelines uzantısı, Azure DevOps işlem hattı işleri içinde Doku CLI komutlarını çalıştıran yerel görevler sağlar. Ci/CD iş akışınızın bir parçası olarak çalışma alanı eşitleme ve dağıtım adımlarını otomatikleştirmek için bu görevleri kullanabilirsiniz.

Başlamak için:

1. Visual Studio Market'ten Doku için Azure DevOps Pipelines uzantısını yükleyin.
2. Azure DevOps projenizde, Fabric kiracınıza karşı kimlik doğrulaması yapan bir hizmet bağlantısı oluşturun.
3. Çalışma alanı eşitleme, öğe dışa aktarma veya dağıtım terfi gibi komutları çalıştırmak için işlem hattı YAML dosyanıza veya klasik işlem hattı tanımınıza Fabric CLI görevleri ekleyin.

Bu yaklaşım, Doku'nun dağıtım işlem hatlarını otomatik DevOps iş akışlarıyla birleştirerek değişikliklerin ortamlar arasında ne zaman ve nasıl yükseltildiği üzerinde daha fazla denetim sahibi olmanıza olanak tanır.

API'ler aracılığıyla toplu eşitleme (önizleme)

Öğe Tanımlarını İçeri/Dışarı Aktar Batch API'leri (önizleme), birden çok öğe tanımını (işlem hatları dahil) tek bir işlemde program aracılığıyla dışarı ve içeri aktarmanıza olanak tanır. Birçok öğenin aynı anda çalışma alanları arasında taşınması gereken ortam yükseltme senaryolarını kolaylaştırmak için bu API'leri kullanabilirsiniz.

Aşağıdaki durumlarda toplu api'leri kullanmayı göz önünde bulundurun:

• Geliştirme, test ve üretim çalışma alanlarında çok sayıda öğe tanıtıyorsunuz.
• Her eşitleme döngüsüne hangi öğelerin dahil olduğu üzerinde programlı denetime ihtiyacınız vardır.
• Toplu veri dışa/içe aktarmayı betiklere veya otomasyon işlem hatlarına entegre etmek istiyorsunuz.

Uyarı

Bu API'ler önizleme aşamasındadır. Dağıtım hatları ile uyumlu bir şekilde onları dikkatli bir şekilde kullanın ve mevcut sınırlar ve kimlik doğrulama gereksinimleri için Doku REST API belgelerini gözden geçirin.

Bilinen sınırlamalar

Microsoft Fabric'teki Data Factory'deki işlem hatları için CI/CD için aşağıdaki bilinen sınırlamalar geçerlidir:

• Çalışma alanı değişkenleri: CI/CD şu anda çalışma alanı değişkenlerini desteklememektedir.
• Git Tümleştirmesi sınırlı desteği: Şu anda Fabric yalnızca Azure DevOps ve GitHub ile Git tümleştirmesini desteklemektedir. GitHub Git tümleştirmesi daha fazla sınırlamaya sahip olduğundan Azure DevOps Git tümleştirmesi önerilir.
• OAuth bağlayıcıları ile işlem hattı etkinlikleri: MS Teams ve Outlook bağlayıcıları için, daha yüksek bir ortama dağıtım yaparken kullanıcıların her işlem hattını el ile açması ve her etkinlikte oturum açması gerekir. Bu, şu anda bir sınırlamadır.
• Veri akışlarını çağıran işlem hatları: Veri akışını çağıran bir işlem hattı yükseltildiğinde, yine de önceki çalışma alanında veri akışına başvurur ve bu yanlıştır. Bu davranış, veri akışları şu anda dağıtım işlem hatlarında desteklenmediğinden oluşur.

İlgili içerik

• Microsoft Fabric'te ALM döngüsünün bir parçası olarak CI/CD işlemine giriş
• Fabric Uygulama Yaşam Döngüsü Yönetimi (ALM) aracı ile Git entegrasyonunu kullanmaya başlama
• Fabric Uygulama Yaşam Döngüsü Yönetimi (ALM) aracı olan dağıtım işlem hatlarını kullanmaya başlayın
• Blog: Microsoft Fabric'te CI/CD Özelliklerini Keşfetme: İşlem hatlarına odaklanma
• Fabric için Azure DevOps Pipelines uzantısı
• Fabric CLI'ye genel bakış