Bulut ölçeğinde analiz sağlama
Veri yönetimi giriş bölgesi dağıtım işlemi
Veri yönetimi giriş bölgesi dağıtmak veri platformu operasyon ekibinden sorumludur. Veri yönetimi giriş bölgesinin veri platformu operasyon ekibi tarafından tutulan kendi deposu olmalıdır.
Dikkat
Herhangi bir veri giriş bölgesi dağıtılmadan önce bir veri yönetimi giriş bölgesi oluşturun ve dağıtın.
Veri giriş bölgesi dağıtım işlemi
Ekipler, her varlık için sıfırdan başlamamak için veri platformu operasyon ekibi tarafından sağlanan şablonları kullanabilir. Yeni giriş bölgesinin dağıtımını otomatikleştirmek için bir çatallama düzeni öneririz.
Örneğin, bir veri giriş bölgesi operasyon ekibi BT yönetim aracını veya Power Apps'i kullanarak yeni bir veri giriş bölgesi ister. İsteğin onaylanmasının ardından, istekten gelen parametreleri kullanarak aşağıdaki iş akışını başlatın:
- Yeni veri giriş bölgesi için yeni bir abonelik dağıtın.
- Yeni bir depo oluşturmak için veri giriş bölgesi şablonunun ana dalı çatalını oluşturun.
- Yeni depoda bir hizmet bağlantısı oluşturun.
- yeni depodaki parametreleri istekteki parametrelere göre güncelleştirin.
- Güncelleştirilmiş parametrelerin iadesi ile tetiklenen hizmetleri dağıtmak için bir dağıtım işlem hattı oluşturun.
- Veri giriş bölgesi operasyon ekibine yeni giriş bölgesinin kullanılabilir olduğunu bildirin.
Veri giriş bölgesi operasyon ekibi artık Azure Resource Manager şablonlarını değiştirebilir veya ekleyebilir.
Bu iş akışı, Azure platformunda birden çok hizmet kümesi kullanılarak otomatikleştirilebilir. CI/CD işlem hatlarını kullanarak parametre dosyalarındaki parametreleri yeniden adlandırma gibi bazı adımları işleyin. Diğer adımlar Logic Apps gibi diğer iş akışı düzenleme araçları kullanılarak yürütülebilir.
Çatal oluşturma düzeni, ekiplerin şablonlarını çatallamada kullanılan özgün şablonlardan güncelleştirmesine olanak tanır. Ayrıca, şablon depolarında iyileştirmeler veya yeni özellikler uygulanırsa operasyon ekipleri bunları çatallarına çekebilir.
Depolar için aşağıdakiler gibi en iyi yöntemleri benimseyin:
- Ana dalı güvenli bir şekilde koruyun.
- Değişiklikler, güncelleştirmeler ve geliştirmeler için dalları kullanın.
- Değişiklikleri ana dalda birleştirmeden önce çekme isteklerini onaylayan kod sahiplerini tanımlayın.
- Otomatikleştirilmiş test aracılığıyla dalları doğrulayın.
- Derleme ve yayın işlem hatlarını tetikleyebilen kişiler gibi ekipteki eylem ve kişi sayısını sınırlayın.
Bahşiş
Özgün şablonlardaki iyileştirmelerin veya yeni özelliklerin tüm veri giriş bölgesi örneklerinde çoğaltıldığından emin olmak için ekipler arasındaki etkinlikleri koordine edin. operasyon ekipleri özgün şablon değişikliklerini çatallarına çekebilir.
Ekleme işlemi, veri giriş bölgesi dağıtım işleminden ayrıdır. Bu ayrım, çoğu kuruluşun bulut işletim modellerinin bir parçası olarak standart bir Azure aboneliği dağıtım sürecine sahip olduğu varsayımını temel alır. Ekleme işlemi standart kurumsal bileşenleri (üçüncü taraf BT hizmet yönetim aracı gibi) dağıtır. Bundan sonra veri giriş bölgesine özgü bileşenler dağıtılır.
Önerilen otomasyon çözümünde kopyalama/güncelleştirme/işleme/gönderme için kullanılabilir Git API'leri yoktur. Bu nedenle yaklaşımımız, PowerShell runbook'larını içeren bir Azure Otomasyonu hesabı kullanmaktır:
- Veri giriş bölgesi ayarlama
- Ana depoyu bir veri platformu Git deposuna çatalla
- Veri giriş bölgesi için alt ağ yapılandırmalarını ayarlama
- Microsoft Entra Kimliğini ayarlama
Runbook'lar, Git depolarıyla çalışmak için PowerShell modülündeki GitAutomation Git işlevlerini kullanır. Kullanıcılar bu modülü bir Azure Otomasyonu hesabına yükleyerek Git depolarında oluşturma, kopyalama, sorgulama, gönderme, çekme ve işleme işlemlerini gerçekleştirebilir. Aşağıdaki görüntüde GitAutomation bir Azure Otomasyonu hesabının içine yüklenen modül gösterilmektedir:
Copy-GitRepository tarafından belirtilen URL'den GitAutomation tarafından belirtilen URL veri platformu Git yoluna DestinationPathana Git deposunu kopyalamak için modüldeki işlevini kullanın.
Veri giriş bölgesi dağıtımına yönelik bu yaklaşım esnektir ve eylemlerin kuruluş gereksinimleriyle uyumlu olduğundan emin olur. Yaşam döngüsü yönetimi, özgün şablonlardan yeni özellikler veya iyileştirmeler uygulanarak etkinleştirilir.
Veri uygulaması dağıtım işlemi
Veri giriş bölgesi oluşturulduktan sonra, veri uygulaması ekipleri için ekleme başlayabilir. Veri platformu veya veri giriş bölgesi operasyon ekipleri dağıtım onayı verir.
Dağıtım doğrudan DevOps araçları kullanılarak yapılır veya API olarak kullanıma sunulan işlem hatları/iş akışları aracılığıyla çağrılır. Veri giriş bölgesine benzer şekilde dağıtım, özgün veri uygulaması deposunu çatallamayla başlar.
- Kullanıcı yeni veri uygulaması hizmetleri için bir istekte bulunur.
- İş akışı işlemi, veri platformundan veya veri giriş bölgesi operasyon ekibinden onay ister.
- İş akışı, gerekli kaynak gruplarını oluşturmak ve Azure DevOps hizmet bağlantısı oluşturmak için BT hizmet yönetimi API'sini çağırır. İş akışı, Azure DevOps projesine bir ekip atar.
- İş akışı, hedef Azure DevOps projesini oluşturmak için özgün veri uygulaması deposunu çatallar.
- İş akışı bir Azure Resource Manager şablon parametre dosyası ve işlem hatları oluşturur.
- İş akışı daha sonra ağ gereksinimlerini oluşturmak için bir Azure işlem hattı ve veri uygulama hizmetlerini dağıtmak için başka bir Azure işlem hattı başlatır.
- İş akışı tamamlandığında kullanıcıya bildirir.
Bahşiş
DataOps'ta yeniyseniz Azure Mimari Merkezi'ndeki modern veri ambarı uygulamalı laboratuvarı için DataOps'ı gözden geçirin. Laboratuvarın senaryosunda bu dağıtım çözümünü kullanabilen kurgusal bir şehir planlama ofisi açıklanmaktadır. Dağıtım çözümü, park kullanımını değerlendirmek ve bilinçli iş kararları almak için ilgili DevOps ve DataOps işlemlerinin yanı sıra modern veri ambarı mimari desenini izleyen uçtan uca bir veri işlem hattı sağlar.
Özet
Yukarıdaki desenler ilkelerin denetimi, çevikliği, self servis ve yaşam döngüsü yönetimini sağlar.
Projenin başlangıcında veri platformunda bir veya daha fazla Azure Board'a sahip bir Azure DevOps projesi vardır. Tek tek DevOps ekipleri şu konulara odaklanır:
- Veri yönetimi giriş bölgesi, işlem hatları ve bulut ortamına hizmet bağlantısı için bir depo.
- Veri giriş bölgesi için bir şablon deposu, veri giriş bölgesi örneği dağıtmak için işlem hatları ve bulut ortamlarına hizmet bağlantıları.
- Veri ürün hizmetleri, veri ürün örneğini dağıtmak için işlem hatları ve bulut ortamlarına hizmet bağlantıları için bir şablon deposu. Bu bağlantılar, veri giriş bölgesi Azure DevOps Projelerinden çatallanır.
Veri giriş bölgeleri dağıtıldıktan sonra bulut ölçeğinde analiz şunları belirtir:
- Her veri giriş bölgesinin bir veya daha fazla Azure Board'a sahip kendi Azure DevOps projesi olacaktır.
- Her veri uygulaması için, istek onayının ardından veri giriş bölgesi Azure DevOps proje çatalı oluşturulur.
- Her veri uygulaması şunları içerir:
- Hizmet bağlantısı.
- Kayıtlı işlem hattı.
- Azure panosuna ve deposuna erişimi olan bir DevOps ekibi.
- Çatallanmış depo için farklı bir ilke kümesi.
Veri uygulamalarının dağıtımını denetlemek için şu uygulamaları izleyin:
- Veri giriş bölgesi operasyon ekibi, ana depo dallarının sahibi ve güvenliğini sağlar.
- Test ve üretim ortamlarına dağıtmak için yalnızca ana dal kullanılır.
- Özellik dalları geliştirme ortamlarına dağıtılabilir.
- Özellik dalları DataOps ekiplerine aittir. Yeni veya değiştirilmiş özellikleri test etmek için kullanılır.
- DataOps ekipleri, onay almadan özellik dallarını diğer özellik dalları ile birleştirebilir.
- DataOps ekipleri özellik dallarını ana dalla birleştirmek için bir çekme isteği oluşturur ve veri giriş bölgesi operasyon ekibi onay sağlar.
- Özgün şablonlardaki yeni özellikler veya iyileştirmeler, güncelleştirilmelerini sağlamak için çatallanmış depoda birleştirilir.