Azure'da bulut ölçeğinde analiz veri ürünleri
Veri ürünleri , belirli kullanım örnekleri için gerekli olabilecek, çok teknolojili kalıcılık hizmetleri tarafından sunulan ve hesaplanan, kaydedilen ve sunulan verilerdir. Veri ürünü oluşturma ve sunma işlemi, veri giriş bölgesi çekirdek hizmetlerine dahil olmayan hizmetler ve teknolojiler gerektirebilir. Bunun bir örneği, uyumluluk ve vergi raporlama gibi niş gereksinimleriyle raporlamak olabilir.
Tasarımla ilgili dikkat edilecek noktalar
Bir veri giriş bölgesi, aynı veri giriş bölgesinden veya birden çok veri giriş bölgesinden veri alarak oluşturulan birden çok veri ürününe hizmet verebilir. Bu, aşağıdaki diyagramda gösterilir.
Yukarıdaki örnekte aşağıdakiler gösterilmektedir:
- Bölge içi veri tüketimi:
- B veri ürünü, A veri ürünündeki verileri ve kendi giriş bölgesi içindeki veri gölünde bulunan diğer verileri veya veri ürünlerini kullanır.
- C ve D veri ürünleri yalnızca kendi veri giriş bölgelerindeki verileri kullanır.
- Bölge içi veri tüketimi:
- B veri ürünü, C veri ürününden ve giriş bölgesi 3'ün veri gölündeki verileri de tüketir.
Önemli
Bölgeler arası veri tüketimi söz konusu olduğunda, B veri ürünü veri giriş bölgesi 3'ten okunarak oluşturulduğundan, bu okuma erişimi veri giriş bölgesi operasyonlarından ve veri giriş bölgesi 3'ün tümleştirme işlemleri ekiplerinden onay gerektirir.
Önemli
B veri ürünü, A ve C veri ürünlerinden verileri kullanır. Bunun gerçekleşebilmesi için B veri ürününün veri ürünleri tüketimini veri paylaşım sözleşmeleri aracılığıyla kaydetmesi gerekir. Bu veri paylaşım sözleşmesi, A veri ürününden B veri ürününe ve C veri ürününden B veri ürününe veri kökenini güncelleştirmelidir.
Bir veri ürününün kaynak grubu, ürünü oluşturmak ve korumak için gereken tüm hizmetleri içerir. Bu kaynak grubunu veri uygulaması olarak adlandırabiliriz. Veri uygulamasının parçası olabilecek hizmetlere örnek olarak Azure İşlevleri, Azure Uygulaması Hizmeti, Logic Apps, Azure Analysis Services, Azure Bilişsel Hizmetler, Azure Machine Learning, Azure SQL Veritabanı, MySQL için Azure Veritabanı ve Azure Cosmos verilebilir DB. Daha fazla bilgi için bkz . veri uygulaması örnekleri.
Veri ürünlerinde bazı veri dönüştürmeleri uygulanmış READ veri kaynaklarından veriler bulunur. Örnek olarak yeni seçilmiş bir veri kümesi veya BI raporu verilebilir.
Tasarım önerileri
Veri idaresi ile ölçeklendirmenize olanak sağlayan tasarım ilkelerine bağlı olarak veri giriş bölgenizde veri ürünleri oluşturun. Aşağıdaki bölümlerde, veri uygulama ekosisteminizi planladığınızda size yardımcı olacak tasarım önerileri sağlanır.
Birden çok kaynak grubu dağıtma
Her veri uygulaması bir kaynak grubudur. Veri uygulamaları işlem hizmetleri, çok yönlü kalıcılık hizmetleri veya her ikisi olduğundan, yalnızca belirli kullanım örneklerine bağlı olarak gerekli olabilir. Bu nedenle isteğe bağlı bir veri giriş bölgesi bileşeni olarak kabul edilirler. Veri uygulamalarına ihtiyacınız olması durumunda, aşağıdaki diyagramda gösterildiği gibi veri uygulamasına göre birden çok kaynak grubu oluşturun.
Korumaları ayarlama
Azure İlkesi, bir veri giriş bölgesi içindeki hizmetlerin varsayılan yapılandırmasını yönetir. operasyonel analizi, veri ürün ekibinizin standart bir hizmet kataloğundan isteyebileceği birden çok kaynak grubu olarak düşünün. Azure İlkesi kullanarak güvenlik sınırını ve gerekli özellik kümesini yapılandırabilirsiniz.
Önemli
Tutarlılığı sağlamak için her veri uygulaması için bir Azure İlkesi yapılandırın.
Birden çok yerden veri kullanma
Veri uygulamaları, birden çok veri varlığındaki verileri yönetir, düzenler ve anlamlı hale getirir ve elde edilen içgörüleri sunar. Veri ürünü, veri giriş bölgeleri içindeki bir veya birden çok veri uygulamasından alınan verilerin sonucudur. Gerektiğinde veri uygulamalarınızın birden çok ve çeşitli kaynaktan verilere erişmesine izin verin.
Gerektiğinde ölçeklendirin
Veri uygulamalarını oluşturan hizmetler, veri giriş bölgesine yapılan artımlı dağıtımlardır. Veri uygulamalarınızı gerektiği gibi ölçeklendirin.
Veri bulmayı etkinleştirme
Veri taramaya izin vermek için veri ürünlerinizi Azure Purview gibi bir veri kataloğuna otomatik olarak kaydedin.
Veri ürünlerinizi tanımlama
Bir veri giriş bölgesi planlamaya başlarken, veri ürünü uygulama mimarinizi yönlendirmeye yardımcı olmak için gereken sayıda veri ürününü (ve bunları çıkışını veren ve koruyan veri uygulamalarını) tanımlayın. Uygulanan platform idaresine uygunluk, kararlarınızda en büyük rolü oynamalıdır.
Veri uygulamalarınızın başkaları için veri üreticisi ve tüketicisi olarak nasıl olduğunu öğrenin. Örneğin, üretilen ve tüketilen bir veri ürünleri (A, B, C ve D) paketi tanımladığınız varsayılır. B veri ürünü için Veri Uygulaması B'deki veriler için kaynak olarak A ve D veri ürünlerine ihtiyacınız vardır. B veri ürünü B, Veri Uygulaması B'nin A ve D veri ürünlerinden tükettiği verilerden oluşturulur. Veri Uygulaması B, veri üreticisi olarak görev yapar ve ayrıca C veri ürünü için veri üretir.
Kod olarak altyapı ile veri uygulama ortamınızı denetleme
İdare ve kod olarak altyapı, önceki diyagramda gösterildiği gibi veri ürünleri ekosisteminiz genelinde veri uygulaması ortamını denetlemelidir.
Veri modellerini yayımlama
Veri ürün ekipleriniz, veri modellerini bir modelleme deposunda yayımlamalıdır.
Veri ürünü kullanıcıları için beklentileri ayarlama
Veri ürününün olası kullanıcılarına doğru beklentileri iletmeniz için veri paylaşım sözleşmelerinizi veri ürünlerinizin hizmet düzeyi sözleşmeleri ve sertifikaları ile güncelleştirin.
Kökeni yakalama
Veri ürünü B, A ve D veri ürünlerinden gelen verilerden oluşturulursa, köken A ve D'den B'ye yakalanmalıdır. Veri ürünü B'den alınan veriler kullanılarak oluşturulduğundan C veri ürünü için daha fazla köken de yakalanmalıdır. Güncelleştirilmiş köken, veri ürününüzün her sürümünden önce bir veri kökeni uygulamasında yakalanmalıdır.
Not
Azure Pipelines'ı kullanmak, onay geçitleri oluşturmanıza ve meta verilerin, kökenlerin ve SLA'ların doğru idare hizmetine kaydedildiğinden emin olan işlevleri çağırmanıza olanak tanır.
Veri uygulaması mimarisini tanımlama
Her veri ürünü için diğer veri ürünleriyle ilişkisini, bağımlılıklarını ve erişim gereksinimlerini tam olarak tanımlayan ayrıntılı bir mimari oluşturmanız gerekir.
Örnek tasarım senaryosu
Mimari tanımı sürecini anlamak için aşağıdaki finansal kurum örneğini ve kredi izleme veri ürününü inceleyin.
Bu diyagramda gösterilen kredi izleme verileri ürünü, tümleştirme işlemleri ekibi tarafından alınan bir okuma veri deposundaki verileri kullanır. Diğer iki veri ürünü tarafından da tüketilen veri ürünleri üretir.
Not
Okuma veri kaynağı veya deposu altın kayıt kaynağı olarak da bilinir. Bu veri kaynakları temizlendi ancak bunlara herhangi bir dönüştürme uygulanmadı.
Kredi izleme verisi ürün ekibi, veri ürünü oluşturmaları için ihtiyaç duydukları okuma veri depolarına okuma erişimi istiyor. İstekleri, onay için veri sahiplerine yönlendirilir. Onay aldıktan sonra ürün ekibi veri uygulamasını oluşturmaya başlayabilir.
Okuma veri kaynağındaki veriler kredi izleme veri ürünlerine dönüştürülür. Tüm yeni veri ürünleri, data lake'in seçilmiş katmanında depolanır. Bu yeni veri ürünleri ve yeni veri kökeni DevOps dağıtım sürecinin bir parçası olarak kaydedilmelidir. İşlev, kayıtlı meta verileri veri varlığının fiziksel yapısıyla denetleyebilir. Okuma veri kaynağı veri varlıklarına ve veri ürünlerine bağımlılığı kaydetmelidir.
Kredi onay verisi ürün ekibinin bazı kredi izleme veri ürünlerine bağımlılığı vardır. Kredi onay ekibi, veri ürünleri için ihtiyaç duydukları kredi izleme veri ürünlerine okuma erişimi isteyebilir. Kredi onayı veri ürününü ve veri uygulamasını kullanıma sunulduktan sonra tüm veri ürün varlıkları, kökeni ve modelleri ilgili idare hizmetlerine kaydedilmelidir.
Örnek veri uygulamaları
Aşağıdaki bölümlerde, veri uygulaması senaryolarını daha fazla göstermek için örnek veri uygulamaları yer almaktadır.
Veri analizi ve veri bilimi veri uygulaması
Veri analizi ve veri bilimi için bir uygulama, örnek veri uygulamasında product-analytics-rg
gösterilen hizmetleri içerebilir.
Not
Önceki veri uygulamasını şablon olarak kullanabilirsiniz. Bu şablon, veri analizi ve veri bilimi için kullanabileceğiniz bir hizmet kümesi dağıtır. İşlevsel ekiplere yönelik ortamları hızla oluşturmak için bu veri ürünü uygulama şablonunu kullanabilirsiniz. Gerekli olmayan hizmetleri açıkça devre dışı bırakmanız gerekir.
Veri Ürün Analizi şablonu, bulut ölçeğinde analiz senaryosu veri giriş bölgesi içinde analiz ve veri bilimi için bir veri ürünü dağıtmaya yönelik tüm şablonları içerir.
Dağıtım ve kod yapıtları aşağıdaki hizmetleri içerir:
- Machine Learning
- Anahtar Kasası
- Application Insights
- Depolama
- Container Registry
- Bilişsel Hizmetler (isteğe bağlı)
- Data Factory (Data Factory ile Synapse arasında seçim yapın)
- Synapse Çalışma Alanı (Data Factory ile Synapse arasında seçim yapın)
- Azure Search (isteğe bağlı)
- SQL Havuzu (isteğe bağlı)
- BigData Havuzu (isteğe bağlı)
Batch Veri Uygulaması
Batch Veri Uygulaması şablonu, bulut ölçeğinde analiz senaryosu veri giriş bölgesi içinde toplu veri işleme için bir veri ürünü dağıtmaya yönelik tüm şablonları içerir.
Dağıtım ve kod yapıtları aşağıdaki hizmetleri içerir:
- Anahtar Kasası
- Data Factory (Data Factory ile Synapse arasında seçim yapın)
- Azure Cosmos DB (isteğe bağlı)
- Synapse Çalışma Alanı (Data Factory ile Synapse arasında seçim yapın)
- My SQL Veritabanı (isteğe bağlı)
- Azure SQL Veritabanı (isteğe bağlı)
- Postgre SQL Veritabanı (isteğe bağlı)
- MariaDB Veritabanı (isteğe bağlı)
- SQL Havuzu (isteğe bağlı)
- SQL Server (isteğe bağlı)
- SQL Elastik Havuzu (isteğe bağlı)
- BigData Havuzu
Akış Veri Uygulaması
Akış Veri Uygulaması şablonu, bulut ölçeğinde analiz senaryosu veri giriş bölgesi içinde gerçek zamanlı veri işleme için bir veri ürünü dağıtmaya yönelik tüm şablonları içerir
Dağıtım ve kod yapıtları aşağıdaki hizmetleri içerir:
- Anahtar Kasası
- Event Hubs
- IoT Hub
- Stream Analytics (isteğe bağlı)
- Azure Cosmos DB (isteğe bağlı)
- Synapse Çalışma Alanı
- Azure SQL Veritabanı (isteğe bağlı)
- SQL Havuzu (isteğe bağlı)
- SQL Server (isteğe bağlı)
- SQL Elastik Havuzu (isteğe bağlı)
- BigData Havuzu
- Veri Gezgini (isteğe bağlı)
Daha önce bahsedilen dağıtım şablonlarını içeren depoları bulmak için bulut ölçeğinde analiz için dağıtım şablonlarına bakın
Sonraki adımlar
Geri Bildirim
https://aka.ms/ContentUserFeedback.
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz.Gönderin ve geri bildirimi görüntüleyin