Azure'da bulut ölçeğinde analiz için birden çok veri bölgesi
Bu başvuru mimarisi, bulut ölçeğinde analizin temel bir sürümünü uygulayan ve artık analiz işlemlerini modernleştirmeye yardımcı olmak için yeni iş birimleri barındırmaya hazır olan kuruluşlara yöneliktir. Bu daha karmaşık senaryoda birden çok giriş bölgesi, veri uygulaması ve veri ürünü kullanılır.
Apache Hive ve Hive logosu, Apache Software Foundation'ın Birleşik Devletler ve/veya diğer ülkelerdeki kayıtlı ticari markaları veya ticari markalarıdır. Bu işaretlerin kullanılması Apache Software Foundation tarafından onaylanmamaktadır.
Sorun bildirimi
Bu örnekteki kurgusal şirket olan Relecloud, küresel kuruluşlara paylaşılan bilgi işlem ve depolama kaynakları sunan özel bir bulut sağlayıcısıdır. Relecloud işlem kaynakları sağlasa da platformlarını kendi iç işlemleriyle sınırlamak istemez. Bu nedenle şirket içi bilgi işlem gereksinimleri için Microsoft Azure'a güvenirler.
operasyon grubundaki veri analistleri, müşterilerinin platformu nasıl kullandığını anlamak için bulut hizmetlerinden gelen telemetri verilerini kullanır. Faturalama grubundaki analistlerden oluşan ayrı bir ekip, en çok gelir elde eden hizmetler hakkında içgörüler elde etmek için verileri faturalamayı inceliyor.
Geçen çeyrekte operasyon ekibi analiz platformunu Azure'a geçirerek modernleştirdi. Bulut ölçeğinde analiz gerçekleştirmenin bir hedefi, platformu ölçeklendirme ve yeni kurumsal iş yükleri ekleme potansiyelini en üst düzeye çıkarmaktı.
Faturalama grubu bugün geçerli analiz çözümünü aştı. Analiz etmek için faturaların hacmi şirket içi sunucuları için çok büyük. Ekip, operasyon grubunun liderini izlemeye ve Azure'da veri analizi platformunu modernleştirmeye karar verir.
Faturalama grubundaki analistler, operasyon grubundaki analistlerden farklı becerilere sahiptir. Faturalama analistleri, işlemlerle aynı araçları kullanmak için kısıtlanmasını istemez. Faturalama grubu kuruluşun farklı bir bölümünde yer alır ve ihtiyaçlarını karşılayan ilkeleri ve yordamları uygulama esnekliğini ister.
Mimari çözüm
Relecloud, faturalama grubu için yeni bir giriş bölgesi ekleyerek analiz platformunu ölçeklendirir. Bu giriş bölgesi, faturalama grubunun iş gereksinimlerini karşılayan analiz çözümlerini uygulaması için sanal bir çalışma alanı sağlar. Faturalama grubu, kuruluşun diğer kaynaklarından ayrı bir giriş bölgesi bulundurarak kendi erişim ilkelerini uygulayabilir ve hizmetlerinin maliyetlerini hesaba ekleyebilir.
Aşağıdaki diyagram tüm Azure hizmetlerini temsil etmez. Diyagram, mimari içindeki kaynakları düzenlemeye yönelik temel kavramları vurgulamak için basitleştirilmiştir.
Veri yönetimi giriş bölgesi
Bulut ölçeğinde analiz uygulaması için önemli bir gereksinim, veri yönetimi giriş bölgesidir. Bu abonelik, güvenlik duvarı veya özel DNS bölgeleri gibi paylaşılan ağ bileşenleri de dahil olmak üzere tüm giriş bölgeleri arasında paylaşılan kaynaklar içerir. Veri yönetimi giriş bölgesi, Azure İlkesi ve Azure Purview gibi veriler ve bulut idaresi için kaynaklar da içerir.
Relecloud, işlem grubu için veri analizi çözümünü dağıttığında bir veri yönetimi giriş bölgesi oluşturdu. Faturalama grubu platforma katıldığında, ortak kaynakları operasyon grubuyla paylaşmak için aynı veri yönetimi giriş bölgesini kullanır.
İşlem verileri giriş bölgesi
İşlem grubu, veri giriş bölgesinde aşağıdaki çözümlere sahiptir.
İşlem verileri uygulamaları
Ekip, hizmet telemetri verilerini almak ve bir Azure Data Lake Depolama hesabında depolamak için Azure Databricks'te Apache Spark işlerini kullanan kaynakla hizalanmış bir veri uygulaması oluşturms.
Bu işlem, verileri kaynak sistemden olduğu gibi kopyalar, ancak dönüştürmez. Analistler, kaynak sistemi aşırı yüklemeden analiz platformunda kopyalanan verilerle çalışabilir. operasyon ekibi, bu veri uygulaması için ayrılmış bir dağıtım oluşturmak yerine paylaşılan Alma ve İşleme kaynak grubundaki Databricks çalışma alanını kullanır.
Relecloud müşterileri, özel bulutlarındaki kaynakları ve faturalamayı yönetmek için bulut hesapları oluşturabilir. Her müşterinin birden çok hesabı olabilir. Analiz ekibi, bulut hesabı verilerini içeri aktarmak için bir veri uygulaması oluşturms. Verilerin hacmi ve sıklığı telemetri verilerine göre çok daha düşük olduğundan ekibin Spark işlerini kullanması gerekmez. Bunun yerine verileri kopyalamak için Azure Data Factory işlem hatları oluşturdular.
MySQL için Azure Veritabanı Hive meta veri deposu işlevi görür ve Azure SQL Veritabanı Azure Data Factory meta veri deposudur.
İşlem verileri ürünleri
Relecloud analistleri, yeni, tüketiciyle uyumlu veri uygulamaları oluşturarak kaynakla hizalanmış veri uygulamalarındaki verilerden değer elde eder. Tüketiciye uygun bu veri uygulamalarından biri bulut hizmeti öneri modelidir. Relecloud veri bilimcileri Azure Machine Learning'i kullanarak bulut hesabının kullandığı hizmetlere bakan ve yararlı olabilecek ilgili hizmetler öneren bir model oluşturmşu. Ekip bu modeli giriş bölgesinde çalışan ve Azure Machine Learning tarafından yönetilen bir Azure Kubernetes Service (AKS) kümesine dağıtır. Bulut ölçeğinde analiz dışında çalışan uygulamalar öneriler almak için AKS uç noktasını çağırabilir.
Faturalama ekibi giriş bölgesini oluşturduğunda operasyon ekibi, yönetim ekibinin istediği yeni bir veri ürünü oluşturur. Yönetim ekibi, Bulut hizmeti önericisi veri uygulamasının ne kadar gelir ürettiğini öğrenmek istiyor. Yeni Recommender gelir verileri ürünü, Bulut hizmeti önericisi ile Hizmete göre gelir verilerini yeni bir veri ürününde birleştirmek için Azure Synapse Analytics'i kullanır. İş analistleri, bu yeni veri ürününden içgörüler bulmak ve raporlamak için Microsoft Power BI ile Azure Synapse'e bağlanabilir.
Faturalama verileri giriş bölgesi
Faturalama grubu analizlerini desteklemek için şirket içi bir sistem kullanıyordu, ancak veri hacmi arttıkça ve şirket işlerine daha fazla dayandıkça sistem buna ayak uyduramadı. Grup, buluta geçerek platformlarını modernleştirir.
Faturalama grubu, operasyon grubuyla bir giriş bölgesini paylaşmaz, ancak ihtiyaçlarına en uygun platformu oluşturma özgürlüğüne sahip oldukları kendi giriş bölgesini alır. Yeni giriş bölgesi, sanal ağ eşlemesi ile veri yönetimi giriş bölgesine ve diğer tüm veri giriş bölgelerine bağlanır. Bu mekanizma, verilerin Azure iç ağı üzerinden güvenli bir şekilde paylaşılabilmesini sağlar.
Faturalama veri uygulamaları
Faturalama grubu, mevcut sistemlerden analiz platformuna veri getirmek için iki veri uygulaması oluşturur. İlk uygulama, müşterilerin tam listesi ve müşteri adresleri, konumlar ve satış temsilcisi atamaları gibi tüm ilgili veriler de dahil olmak üzere müşteri verilerini alır. İkinci uygulama, tüm fatura ücretlerini müşterilere ve ilgili ödeme verilerini içeren şirketin fatura geçmişini içeri aktarır.
Bu uygulamaların her ikisi de paylaşılan Azure Synapse çalışma alanında işlem hatları tarafından desteklenir. Her uygulamanın maliyet muhasebesi ve güvenlik sınırlarını kolaylaştırmak için ayrılmış bir işlem havuzu vardır. Uygulamalar paylaşılan kaynaklarla tam olarak uygulanabildiğinden faturalama grubunun bu veri uygulamaları için bir dağıtım oluşturması gerekmez.
Faturalama verileri ürünü
Faturalama analistleri, her bulut hizmetinin Relecloud için ne kadar gelir ürettiğini analiz eden Hizmete göre gelir adlı yeni bir veri ürünü oluşturur. Bu ürün, Fatura alımındaki verilere dayanır. Ürün ayrıca operasyon giriş bölgesine bağlanır ve hizmet kullanım verilerini okur. Veri uygulamaları gibi, veri ürünü de paylaşılan Azure Synapse çalışma alanına dayanır.
Dağıtım şablonları
Mimarileri dağıtmak için aşağıdaki veri yönetimi giriş bölgesini ve veri giriş bölgesi başvuru uygulama şablonlarını kullanın:
Relecloud faturalama ve işlemleri veri giriş bölgelerine diğer veri uygulamalarını ve veri ürünlerini dağıtmak için aşağıdaki şablonları kullanın:
| Adı | Veri giriş bölgesi | Tür | Template |
|---|---|---|---|
| Bulut hesapları | Operations | Veri uygulaması | Veri ürünü toplu iş şablonu |
| Önerilen gelir | Operations | Veri ürünü | Veri ürünü toplu iş şablonu |
| Bulut hizmeti önericisi | Operations | Veri uygulaması | Veri ürün analizi şablonu |
| Hizmete göre gelir | Faturalama | Veri ürünü | Veri ürünü toplu iş şablonu |
Önemli
Relecloud'un gereksinimlerini karşılamak için önceki başvuru uygulama şablonlarındaki her şeyi dağıtması gerekmez. Şablonlar için bir özelleştirme düzeyi gerekir. Dağıtımdan önce ihtiyacınız olmayan hizmetleri şablonlardan kaldırın.
Sonraki adımlar
Azure'da güvenli bulut ölçeğinde analiz için Lamna Healthcare senaryosuna geçin.
Daha fazla bilgi için aşağıdaki makaleleri inceleyin: