Azure'da bulut ölçeğinde analiz için ekipleri ve işlevleri anlama

Bulut ölçeğinde analiz için veri alma, işleme, analiz, tüketim ve görselleştirme gibi ekipleri yatay olarak silo içinde çalışan ekiplerden her katmanda çevik, dikey, etki alanları arası ekiplere taşımayı öneririz. Veri platformu işlemleri ve platform işlemleri gibi platform ekipleri ortak bir platform grubunda birlikte gruplandırılır.

Platform grubu

Platform grubu iki takımdan oluşur:

• Platform işlemleri: Platform işlemleri platform grubunun bir parçasıdır. Bulut platformuna sahip olur ve işletirler. Bu ekip, bulut ölçeğindeki analizlerde ağ, eşleme, temel hizmetler ve izleme gibi veri yönetimi giriş bölgesi ve veri giriş bölgesi altyapısını oluşturmaktan sorumludur. Bunlar genellikle veri platformu operasyonlarının bulut ölçeğinde analiz dağıtmanın başlangıcında veri giriş bölgesindeki kişiler için BT hizmet yönetimi arabirimleri geliştirmesine yardımcı olur. Bu arabirimler genellikle veri ürünlerini eklemek, güvenliği ayarlamak ve veri giriş bölgelerine hizmet eklemek için bir hizmete REST API çağrılarıdır.

• Veri platformu işlemleri: Veri platformu işlemleri grubu platform grubu içinde yer alır. Veri platformu işlemleri, veri giriş bölgeleri ve ürünleri için merkezi izleme, kataloglama ve yeniden kullanılabilir ilkeler gibi hizmetler sağlar. Veri yönetimi iniş bölgesi, veri platformu operasyonlarına aittir ve ekibin diğer sorumlulukları şunlardır:

Altyapı geliştirme

• Veri giriş bölgeleri için kod olarak altyapı şablonları geliştirme; şablonların zaman içinde güncelleştirilmesi ve korunması gerekir ve bunlar birden çok senaryoyu kapsayabilir.
• Şablonların önceliklerini belirleyin ve diğer ekiplerden gelen geri bildirimlere göre yeni işlevler ekleyin.
• Standart altyapı şablonları oluşturmanın ortak hedefiyle çevik bir çerçevede çalışın.

Yeni veri giriş bölgesi isteklerine yanıt verme

Veri platformu operasyon ekibi, oluşturdukları şablonları desteklemek için araçlar ve hizmetler sağlamalıdır. ServiceNow gibi BT hizmet yönetimi araçları, yeni veri giriş bölgeleri oluşturmak için veri platformu operasyon ekibi tarafından onaylanan bilet isteklerini işleyebilir. Onaylandıktan sonra, yeni bir inisiyatif alanı temel şablondan ayrılarak yeni bir DevOps projesi oluşturur ve pipeline'lar şablonları yeni bir ortama dağıtır.

Veri platformu geri bildirim ve operasyon geliştirme döngüsü

Şablonları geliştirmek için iki seçenek sağlanır:

• Altyapı şablonu örneklerinden sorumlu ekipler DevOps şablonlarını ve dağıtımlarını geliştirebilir. Ekipler şablonlarda sorun bulursa, veri platformu operasyonları ekipleri destekleyebilir ve değişiklikleri kopyalarından şablona geri birleştirebilir.
• Diğer veri iniş bölgesi ekipleri, biletlerin önceliklendirilmesine göre şablonları iyileştirecek geliştirme ve birikim biletleri oluşturabilmelidir.

Bulut ölçeğinde analiz için Azure ilkeleri

Bulut ölçeğinde analiz ilkeleri, veri, maliyet ve kalıpları korumak için kendi kendine hizmet edebilen çeviklik ve kontrol önlemlerini ön plana çıkarır. Veri platformu işlemleri, kaliteyi tanımlamak için platform işlemleriyle birlikte çalışır ve bu ekipler belirli veri ilkelerini uygulamak için işbirliği gerçekleştirir. Veri platformu işlemleri, ürünlere eklenen yeni özellikleri güncelleştirmek ve korumak için bir gözden geçirme işlemini izlemelidir.

Veri yönetim iniş bölgelerini dağıtmak ve çalıştırmak

Veri platformu operasyonları ve platform operasyonları, veri yönetimi iniş alanlarını dağıtmak ve işletmek için birlikte çalışır. Veri yönetimi giriş bölgesi, veri giriş bölgelerine paylaşılan hizmetler sağlayarak bulut ölçeğinde analizin merkezi bir parçası haline getirir.

Veri iniş alanı işlemleri

Veri giriş bölgesi operasyonları, veri uygulama ekibi isteklerine yanıt verirken veri giriş bölgesi örneğini işletir ve bakımını yapar. Veri platformu işlemleriyle aynı hizmetlerin çoğunu sağlar ancak veri giriş bölgeleriyle sınırlıdır.

Bir veri giriş bölgesi oluşturulduğunda oluşturulan çatallanmış depoda çalışır. Politika değişiklikleri istemek için bu özel durumlara izin verilmesi amacıyla veri platformu işlemlerine bilet oluşturmaları gerekir.

Veri ürünlerini özelleştirmek için veri uygulaması ekibini destekleme

Veri giriş bölgesi operasyon ekibi, ilgili veri ürün depolarına yeni ürün şablonları göndermek için çekme isteklerini kullanarak veri uygulaması ekibini destekler.

Giriş bölgesinin sahibi olarak Azure DevOps, veri giriş bölgesi operasyonlarında yapılan değişikliklerin onayını yönlendirir:

• Onaylanırsa, şablon değişiklikleri ana dala taşınır ve sürekli tümleştirme/sürekli geliştirme yoluyla üretime dağıtılır ve bu da veri ürün platformunun/altyapısının güncelleştirilmasına neden olur.
• Reddedilirse, veri giriş alanı operasyonları, değişiklikleri düzeltmek üzere veri uygulama ekibiyle birlikte çalışır.

Yeni veri ürünü isteklerine yanıt verme

Veri giriş bölgesi işlemleri, yeni veri ürünleri oluşturma konusunda veri uygulama ekiplerini destekler. Veri uygulaması ekibi yardım istediğinde, otomasyon mantıksal uygulaması gibi bir BT hizmet yönetimi çözümü yeni bir veri uygulaması deposunun onayını veya dağıtımını düzenler. Veri giriş bölgesi operasyonlarına yeni istekler bildirilir ve onlar da dağıtımları onaylar veya reddeder. Onaylandıktan sonra yeni bir DevOps projesi oluşturulur, ana şablon ve artefaktlar çatallanır ve yeni bir veri uygulaması dağıtılır.

Azure Well-Architected Framework'e bağlı kalma

Veri giriş bölgesi işlemleri veri giriş bölgesinden sorumludur ve ekibin maliyet iyileştirme, güvenilirlik ve güvenlik konusunda rehberlik sağlayan Azure Well-Architected Frameworkkonusunda yetkin olması önerilir.

Her zamanki gibi iş

Veri iniş bölgesi operasyonları, geri bildirim toplama ve iyileştirme taleplerini içeren iş görevlerinden sorumludur. Bu istekler önceliklendirilir ve düzenli olarak veri platformu işlemleriyle paylaşılır. Ekip, olaylar ve sağlık durumu için veri indiği bölgeyi izler. Yedeklemeleri azaltmak, yük devretmek ve hizmetleri ölçeklendirmek için ciddi olaylar sırasında diğer operasyon ekipleriyle etkileşime girerler.

Veri uygulaması ekibi

Veri uygulaması ekibi, işletmeye yeni veri ürünleri sunar. Veri entegrasyonlarının okuma veri depolarından kaynak alır ve bunları iş çözümlerine dönüştürürler. Verileri kullanıma dönüştüren her şey,veri ürünü olarak sınıflandırılır. Bu ekip genellikle işletmenin hızla değer elde etmelerine yardımcı olabilecek teknik uzmanların ve konu uzmanlarının bir karışımıdır. Veri ürünleri basit raporlardan ve yeni veri ürünlerinden veri temelli Kubernetes web uygulamalarıyla özel kurulumlara kadar değişebilir.

Yeni veri ürünleri

Ürün sahipleri ve iş temsilcileri, gerektiğinde yeni veri ürünleri için istekler oluşturur. Veri ofisi gereksinimleri değerlendirir ve yüksek derecede uzmanlıkla yeni bir veri uygulama ekibi oluşturur. Ekip, gereken veri ürünlerini tanımlar ve veri varlığına erişmek için izin istemektedir. Yeni bir veri ürünü gerekiyorsa, veri uygulama ekibi veriyi almak için bir bilet alır. Ekip, yeni veri ürünü için gereken hizmetleri tanımlar veveri uygulaması dağıtım işlemi aracılığıyla yeni bir veri ürünü talep eder. Veri uygulaması ekibi, veri uygulamasını dağıtmak için ana veri uygulaması şablonundan çatallanmış bir depo alır.

Veri ürünlerini onaylama

Self servis bir platformda herkes raporlar oluşturabilir, Azure Data Lake geliştirici depolama hesabında veri ürünleri seçebilir ve işletmenin kullanması için veri ürünleri yayınlayabilir. Veri ürünü gözden geçirme istekleri şu durumlarda gerçekleşir:

• İş sponsorları, veri ürünlerini sertifikalandırmak için talep kaydeder.
• Popülerliğe göre veri ürünlerinin adaylığı, veri platformu operasyonları tarafından belirlenir.

Veri uygulaması ekibi, veri platformu işlemleri ve dijital güvenlik tarafından tanımlanan ve şunları içerebilen bir sertifikasyon işlemi yönlendirebilir:

• Veri dönüşümlerini ve iş mantığını doğrulamak için geliştirilmiş testler
• Güvenlik, uyumluluk veya performans etkisine yönelik değerlendirmeler

Sertifikasyon sonrasında yapıtlar harmanlanır ve bir veri ürün deposuna yüklenir, belgeler yayımlanır ve veri uygulaması ekibine bildirilir.

Ürün desteği

Kullanıcılar bir BT hizmet yönetimi çözümüyle veya doğrudan ürünün içinden veri ürün sahibine yönlendirilen bir bilet olarak geri bildirim gönderebilir. Bu kişi isteği değerlendirir ve onu düzeltmek için veri uygulaması ekibine iletip iletmeyeceğine veya ürün planlama döngüleri sırasında gözden geçirilmek üzere ürün geri bildirim listesine ekleyip eklemeyeceğine karar verir.

Veri bilimi uygulamaları ekibi

Veri bilimi ürünleri ekibi, veri ürünleri oluşturmakla kalmaz; işlevlerinin veri ürünlerine yol açması ile farklılık gösterir. Çalışmaları, yayımlanan modellerin başkalarının kullanması için veri ürünleri haline gelmesine neden olur ve desen, veri giriş bölgesiyle ilişkilendirilmiş bir Machine Learning operasyon modelini izler.

Veri bilimi ürünleri ekibi, kullanım örneği için ilgili veri ürünlerini arayarak ve bularak başlar. Veri idaresi çözümleri, veri kalitesi, köken veya benzer bir veri kümesi veya profil gibi daha fazla ayrıntıyı ortaya koyabilir. Örnek veri kümesinin kullanılabilir olup olmadığını ve verilerin projeyle ilgili olup olmadığını araştırırlar. Veri kataloğu veya Microsoft Entra erişim paketi aracılığıyla veri erişimi verildikten sonra ekip, verileri keşfetmek ve analiz etmek için veri giriş bölgesindeki hizmetleri kullanır.

Ekip, tüm verileri işlemeden önce örnek veri ürünlerini işlemek ve analiz etmek için yerel veya uzak işlem kullanır. Azure Machine Learning içinde izlenen çalıştırmalar, çıkışlar ve modellerle makine öğrenmesi modellerini eğitmek ve geliştirmek için daha büyük veri ürünleriyle uzak işlem hedeflerini iyileştirebilir.

Ekip makine öğrenmesi modelleri geliştirdiğinde, bunları kullanıma hazır hale getirmeye başlar. Bu hedefe ulaşmak için ekibi, bir veri uygulaması ekibi rolünde açıklandığı gibi modelleri yeni bir veri ürününe taşıma konusunda yardımcı olabilecek DataOps ve makine öğrenmesi mühendislerini içerecek şekilde genişletir.

Veri bilimi ekibi,makine öğrenmesi ops metodolojisini kullanarak üretimdeki modelleri yakalamak, desteklemek ve güncelleştirmek için ilişkili veri ürün sahipleriyle çalışmaya devam eder.

Analist

Analistler, iş analistlerini, güçlü kullanıcıları ve genellikle kuruluştaki yeni iş içgörüleri oluşturmak için verileri iyileştirmeye ilgi gösteren herkesi içeren büyük bir grubu temsil eder. Self servis etkinleştirme, analistlerin resmi bir BT bütçesini ve kaynaklarını güvenli hale getirmek zorunda kalmadan analiz ve verilere erişmesini destekleyen temel bir ilkedir.

İpucu

Kuruluşlar, analistler tarafından oluşturulan içgörüleri, başkalarının işletme içinde kullanması için onaylanacak bir sonraki potansiyel veri ürünleri kümesi olarak görmelidir.

Veri bulma ve isteme

Analistler, ilgili veri ürünlerini bulmak için veri marketlerine/kataloglarına danışıyor.

• Veri varlığı bulunamazsa veya yoksa analistler veri uygulaması ekibiyle bir destek bileti açar. Veri uygulaması ekibi veri kümesini bulma konusunda yardımcı olur veya isteği başka bir geliştirme döngüsünde değerlendirmek için kapsamlarına ekler.

• Veri kümesi varsa, analistler katalogda listelenen varlıklar için Microsoft Entra grup üyeliğini tanımlayabilir ve Microsoft Entra grubuna erişim istemek için Azure erişim paketi portalını kullanabilir.

Yeni raporlar oluşturma

Analistler, veri ürünlerini raporlarla tümleştirmek için Microsoft Power BI gibi araçları kullanabilir. Bu raporlar bireysel kullanımları veya sertifikalı bir veri ürünü yayımlamak için olabilir. Raporu kuruluş genelinde yayımlamadan önce güvenlik, uyumluluk ve performans için bir veri ürünü sertifikasyon süreciyle sertifikalanması gerekir.

Gerekli sorguları çalıştırma

Bulut ölçeğinde analiz, analistlerin izinlere tabi olarak verileri sorguladığı paylaşılan çalışma alanlarına sahiptir. Veri ürünlerinin gerektiğinde sorgu çalıştırmak için ayrılmış işlem sağlaması yaygındır. Her iki durumda da analistler, izinlere bağlı olarak veri giriş bölgelerindeki veri ürünlerine yönelik sorgular çalıştırabilir. Sorgulardan elde edilecek sonuçlar yeniden kullanılmak üzere Azure Data Lake çalışma alanlarında depolanabilir.

Kullanıcı geri bildirimi

Analistler eşlenmemiş bir bilgi ve geliştirme kaynağı olarak görev yapabileceklerinden kuruluşların her veri giriş bölgesi için kullanıcı geri bildirim grupları oluşturması kesinlikle teşvik edilir.

Analistler, bu kullanıcı gruplarına katılmanın yanı sıra veri kataloğu veya BT hizmet yönetimi çözümündeki veri uygulaması ekibine ve veri kataloğu sorunlarına veri varlığı geri bildirimi göndermelidir. Veri uygulama ekibine veya bir BT hizmet yönetimi çözümü içinde veri işlemi sorunları gönderebilirler.

Not

BT hizmet yönetimi çözümü, geri bildirim göndermek ve sorunları iletmek için merkezi bir konum olarak hizmet vermelidir. Tek tek ekiplere doğrudan geri bildirim göndermek daha hızlı bir çözüm gibi görünebilir, ancak bu yaklaşım işletmeye platformdaki zorluklarla ilgili görünürlük sağlamaz. Veri uygulaması ekiplerine doğru yönlendirmeye sahip bir BT hizmet yönetimi çözümü, işletmeye kuruluş genelinde tek bir görünüm verebilir.

Sorumluluk atama matrisi

• Sorumlu: Görevi kim tamamlar?
• Sorumlu: Görevle ilgili kararlar alan ve eylem gerçekleştiren kişiler kimdir?
• Danışıldı: Kararlar ve görevler hakkında kim bilgilendirme alır?
• Bilgilendirilen: Proje sırasında alınan kararlar ve eylemler hakkında kim bilgilendirildi?

Rol	Bulut ortamı	Veri yönetimi başlangıç bölgesi	Veri giriş bölgesi	Veri tümleştirmesi	Veri ürünleri
Hizmet sahibi	Bilgili	Sorumlu	Bilgilendirildi ve danışıldı	Danışıldı ve bilgilendirildi	Bilgi alınarak bilgilendirildi
Veri giriş bölgesi hizmet sahibi	Bilgili	Bilgilendirilmiş kişiyle istişare edildi	Sorumlu	Sorumlu	Sorumlu
Bulut platformu işlemleri	Sorumlu	Danışıldı	Danışıldı	Danışıldı	Danışıldı
Veri platformu operasyonları	Danışıldı	Sorumlu	Sorumlu	Danışıldı	Danışıldı
Veri iniş bölgesi işlemleri	Bilgili	Sorumlu	Sorumlu	Sorumlu	Sorumlu
Veri uygulaması ekibi		Bilgili	Bilgili	Bilgili	Sorumlu

Sonraki adımlar

Veri iş yükleri için Azure Well-Architected Framework