Azure'da bulut ölçeğinde analiz veri ürünleri

  • Makale

Veri ürünleri , belirli kullanım örnekleri için gerekli olabilecek çok teknolojili kalıcılık hizmetleri tarafından ürün olarak sunulan ve hesaplanan, kaydedilen ve sunulan verilerdir. Veri ürünü oluşturma ve sunma işlemi, veri giriş bölgesi çekirdek hizmetlerine dahil olmayan hizmetler ve teknolojiler gerektirebilir. Buna örnek olarak uyumluluk ve vergi raporlama gibi niş gereksinimlerle raporlama yapılabilir.

Tasarım konusunda dikkat edilmesi gerekenler

Bir veri giriş bölgesi, aynı veri giriş bölgesinden veya birden çok veri giriş bölgesinden veri alınarak oluşturulan birden çok veri ürününe hizmet verebilir. Bu, aşağıdaki diyagramda gösterilmiştir.

Çapraz veri giriş bölgesi tüketiminin diyagramı.

Yukarıdaki örnekte aşağıdakiler gösterilmektedir:

  • Bölge içi veri tüketimi:
    • B veri ürünü, A veri ürünündeki verileri ve kendi giriş bölgesi içindeki veri gölünde bulunan diğer verileri veya veri ürünlerini kullanır.
    • C ve D veri ürünleri yalnızca kendi ilgili veri giriş bölgelerindeki verileri kullanır.
  • Bölge içi veri tüketimi:
    • B veri ürünü ayrıca C veri ürünündeki verileri ve giriş bölgesi 3'ün veri gölündeki verileri de tüketir.

Önemli

Bölgeler arası veri tüketimi söz konusu olduğunda, B veri ürünü veri giriş bölgesi 3'ten okunarak oluşturulduğundan, bu okuma erişimi için veri giriş bölgesi işlemleri ve veri giriş bölgesi3'ün tümleştirme işlemleri ekiplerinden onay gerekir.

Önemli

B veri ürünü, A ve C veri ürünlerinden gelen verileri kullanır. Bunun gerçekleşebilmesi için önce B veri ürününün veri ürünleri tüketimini veri paylaşım sözleşmeleri aracılığıyla kaydetmesi gerekir. Bu veri paylaşım sözleşmesi, A veri ürününden B veri ürününe ve C veri ürününden B veri ürününe veri kökenini güncelleştirmelidir.

Bir veri ürününün kaynak grubu, ürünü oluşturmak ve korumak için gereken tüm hizmetleri içerir. Bu kaynak grubuna veri uygulaması adını verebiliriz. Veri uygulamasının parçası olabilecek hizmetlere örnek olarak Azure İşlevleri, Azure App Service, Logic Apps, Azure Analysis Services, Azure Bilişsel Hizmetler, Azure Machine Learning Azure SQL Veritabanı verilebilir. MySQL için Azure Veritabanı ve Azure Cosmos DB. Daha fazla bilgi için bkz. veri uygulaması örnekleri.

Veri ürünlerinde, bazı veri dönüştürmeleri uygulanmış OLAN READ veri kaynaklarından veriler bulunur. Örnek olarak yeni seçilmiş bir veri kümesi veya bi raporu verilebilir.

Tasarım önerileri

Veri idaresiyle ölçeklendirmenize olanak sağlayan tasarım ilkelerine bağlı kalarak veri giriş bölgenizde veri ürünleri oluşturun. Aşağıdaki bölümlerde, veri uygulaması ekosisteminizi planladığınızda size yardımcı olacak tasarım önerileri sağlanır.

Birden çok kaynak grubu dağıtma

Her veri uygulaması bir kaynak grubudur. Veri uygulamaları işlem hizmetleri, çok teknolojili kalıcılık hizmetleri veya her ikisi olduğundan, bunlar yalnızca belirli kullanım örneklerine bağlı olarak gerekli olabilir. Bu nedenle isteğe bağlı bir veri giriş bölgesi bileşeni olarak kabul edilirler. Veri uygulamalarına ihtiyacınız olması durumunda, aşağıdaki diyagramda gösterildiği gibi veri uygulamasına göre birden çok kaynak grubu oluşturun.

Veri uygulaması kaynak gruplarının diyagramı.

Korumaları ayarlama

Azure İlkesi, bir veri giriş bölgesi içindeki hizmetlerin varsayılan yapılandırmasını yönetir. operasyonel analizi, veri ürün ekibinizin standart bir hizmet kataloğundan isteyebileceği birden çok kaynak grubu olarak düşünün. Azure İlkesi kullanarak güvenlik sınırını ve gerekli özellik kümesini yapılandırabilirsiniz.

Önemli

Tutarlılığı sağlamak için her veri uygulaması için bir Azure İlkesi yapılandırın.

Birden çok yerden veri kullanma

Veri uygulamaları, birden çok veri varlığındaki verileri yönetir, düzenler ve anlamlı hale getirir ve elde edilen içgörüleri sunar. Veri ürünü, veri giriş bölgeleri içindeki bir veya birden çok veri uygulamasından gelen verilerin sonucudur. Gerektiğinde veri uygulamalarınızın birden çok ve çeşitli kaynaktan verilere erişmesine izin verin.

Gerektiğinde ölçeklendirin

Veri uygulamalarını oluşturan hizmetler, veri giriş bölgesine yapılan artımlı dağıtımlardır. Veri uygulamalarınızı gerektiği gibi ölçeklendirin.

Veri bulmayı etkinleştirme

Veri taramaya izin vermek için veri ürünlerinizi Azure Purview gibi bir veri kataloğuna otomatik olarak kaydedin.

Veri ürünlerinizi tanımlama

Bir veri giriş bölgesi planlamaya başlarken, veri ürünü uygulama mimarinizi yönlendirmeye yardımcı olmak için gereken sayıda veri ürününü (ve bunları çıkışını veren ve koruyan veri uygulamalarını) tanımlayın. Uygulanan platform idaresine uygunluk, kararlarınızda en büyük rolü oynamalıdır.

Veri uygulamalarınızın başkaları için veri üreticisi ve tüketicisi olarak nasıl olduğunu öğrenin. Örneğin, üretilen ve tüketilen bir veri ürünleri (A, B, C ve D) paketi tanımladığınız varsayılır. B veri ürünü için B Veri Uygulaması'ndaki veriler için kaynak olarak A ve D veri ürünlerine ihtiyacınız vardır. B veri ürünü B, Veri Uygulaması B'nin A ve D veri ürünlerinden tükettiği verilerden oluşturulur. Veri Uygulaması B, veri üreticisi olarak görev yapar ve C veri ürünü için de veri üretir.

Veri üreticisi ve tüketici diyagramı.

Kod olarak altyapı ile veri uygulama ortamınızı denetleme

İdare ve kod olarak altyapı, önceki diyagramda gösterildiği gibi veri ürünleri ekosisteminiz genelinde veri uygulaması ortamını denetlemelidir.

Veri modellerini yayımlama

Veri ürün ekipleriniz, veri modellerini bir modelleme deposunda yayımlamalıdır.

Veri ürünü kullanıcıları için beklentileri belirleme

Veri ürününün olası kullanıcılarına doğru beklentileri iletmeniz için veri paylaşım sözleşmelerinizi veri ürünleriniz için hizmet düzeyi sözleşmeleri ve sertifikalarla güncelleştirin.

Kökeni yakalama

Veri ürünü B, A ve D veri ürünlerinden gelen verilerden oluşturulduysa, köken A ve D'den B'ye yakalanmalıdır. B veri ürünündeki veriler kullanılarak oluşturulduğundan C veri ürünü için daha fazla köken de yakalanmalıdır. Güncelleştirilmiş köken, veri ürününüzün her sürümünden önce bir veri kökeni uygulamasında yakalanmalıdır.

Not

Azure Pipelines'ı kullanarak onay geçitleri oluşturabilir ve meta verilerin, kökenlerin ve SLA'ların doğru idare hizmetine kaydedildiğinden emin olabilecek işlevleri çağırabilirsiniz.

Veri uygulaması mimarisini tanımlama

Her veri ürünü için diğer veri ürünleriyle ilişkisini, bağımlılıklarını ve erişim gereksinimlerini tam olarak tanımlayan ayrıntılı bir mimari oluşturmanız gerekir.

Örnek tasarım senaryosu

Mimari tanımı sürecini anlamak için aşağıdaki finansal kurum örneğini ve kredi izleme veri ürününü keşfedin.

Ayrıntılı olarak define-data-product mimarisinin diyagramı.

Bu diyagramda gösterilen kredi izleme verisi ürünü, tümleştirme işlemleri ekibi tarafından alınan bir okuma veri deposundaki verileri kullanır. Diğer iki veri ürünü tarafından da kullanılan veri ürünleri üretir.

Not

Okuma veri kaynağı veya deposu altın kayıt kaynağı olarak da bilinir. Bu veri kaynakları temizlendi ancak bunlara herhangi bir dönüştürme uygulanmadı.

Kredi izleme verisi ürün ekibi, veri ürünü oluşturmaları için ihtiyaç duydukları okuma veri depolarına okuma erişimi isteğinde bulunur. İstekleri, onay için verilerin sahiplerine yönlendirilir. Onay aldıktan sonra ürün ekibi veri uygulamasını oluşturmaya başlayabilir.

Okuma veri kaynağındaki veriler kredi izleme veri ürünlerine dönüştürülür. Tüm yeni veri ürünleri, veri gölün seçilmiş katmanında depolanır. Bu yeni veri ürünleri ve yeni veri kökeni DevOps dağıtım sürecinin bir parçası olarak kaydedilmelidir. İşlev, kayıtlı meta verileri veri varlığının fiziksel yapısıyla denetleyebilir. Okuma veri kaynağı veri varlıklarına ve veri ürünlerine bağımlılığı kaydetmesi gerekir.

Kredi onay verisi ürün ekibinin bazı kredi izleme veri ürünlerine bağımlılığı vardır. Kredi onay ekibi, veri ürünleri için ihtiyaç duydukları kredi izleme veri ürünlerine okuma erişimi isteyebilir. Kredi onay veri ürününü ve veri uygulamasını kullanıma sunulduktan sonra tüm veri ürün varlıkları, kökeni ve modelleri ilgili idare hizmetlerine kaydedilmelidir.

Örnek veri uygulamaları

Aşağıdaki bölümlerde, veri uygulaması senaryolarını daha ayrıntılı göstermek için örnek veri uygulamaları yer almaktadır.

Veri analizi ve veri bilimi veri uygulaması

Veri analizi ve veri bilimi için bir uygulama, örnek veri uygulamasında product-analytics-rggösterilen hizmetleri içerebilir.

Analiz Veri Uygulaması Dağıtımı için seçilebilen olası hizmetleri gösteren diyagram.

Not

Yukarıdaki veri uygulaması, veri analizi ve veri bilimi için kullanabileceğiniz bir dizi hizmeti dağıtan bir şablon olarak kullanılabilir. Tüm şablonlarımız gibi, bu veri ürünü uygulama şablonu da işlevsel ekipler arası ortamları hızla oluşturmak için kullanabileceğiniz bir şemadır. Gerektirmiyorsanız tüm hizmetler açıkça devre dışı bırakılmalıdır.

Veri Ürün Analizi şablonu, bulut ölçeğinde analiz senaryosu veri giriş bölgesi içinde analiz ve veri bilimi için bir veri ürünü dağıtmaya yönelik tüm şablonları içerir.

Dağıtım ve kod yapıtları aşağıdaki hizmetleri içerir:

Batch Veri Uygulaması

Batch Veri Uygulaması şablonu, bulut ölçeğinde analiz senaryosu veri giriş bölgesi içinde toplu veri işleme için bir veri ürünü dağıtmaya yönelik tüm şablonları içerir.

Dağıtım ve kod yapıtları aşağıdaki hizmetleri içerir:

Batch Veri Uygulaması Dağıtımı için seçilebilen olası hizmetleri gösteren diyagram.

Akış Veri Uygulaması

Akış Veri Uygulaması şablonu, bulut ölçeğinde analiz senaryosu veri giriş bölgesi içinde gerçek zamanlı veri işleme için bir veri ürünü dağıtmaya yönelik tüm şablonları içerir

Dağıtım ve kod yapıtları aşağıdaki hizmetleri içerir:

Akış Veri Uygulaması Dağıtımı için seçilebilen olası hizmetleri gösteren diyagram.

Daha önce bahsedilen dağıtım şablonlarını içeren depoları bulmak için bulut ölçeğinde analiz için dağıtım şablonlarına bakın

Sonraki adımlar

Veri uygulamaları (kaynakla hizalanmış)