Veri uygulamaları (kaynakla hizalanmış)
İşletimsel kaynaklardan bir kez veri almak için veri bağımsız altyapısı uygulamamayı seçtiyseniz veya veri bağımsız altyapınızda karmaşık bağlantılar kolaylaştırılmıyorsa, kaynakla hizalanmış bir veri uygulaması oluşturmanız gerekir. Dış veri kaynaklarından veri alırken veri bağımsız altyapısıyla aynı akışı izlemelidir.
Genel Bakış
Uygulama kaynak grubunuz yalnızca telemetri, finans veya CRM gibi dış kaynaklardan veri alımından ve zenginleştirmeden sorumludur. Bu katman gerçek zamanlı, toplu ve mikro toplu iş olarak çalışabilir.
Bu bölümde, veri giriş bölgenizdeki her veri uygulaması (kaynağa hizalanmış) kaynak grubu için dağıtılan altyapı açıklanmaktadır.
İpucu
Veri ağı için, kaynak başına bunlardan birini veya etki alanı başına bir tane dağıtmayı seçebilirsiniz. Veri standartlaştırma, veri kalitesi ve veri kökeni ilkelerine uyulmalıdır. Veri platformu operasyon ekipleri standart kod parçacıkları geliştirebilir ve bunu başarmak için onları çağırabilir.
Veri giriş bölgenizdeki her veri uygulaması (kaynağa hizalanmış) kaynak grubu için şunları oluşturmanız gerekir:
- Azure Key Vault
- Hamdan zenginleştirilmişe veri dönüştüren geliştirilmiş mühendislik işlem hatlarını çalıştırmak için bir Azure Data Factory
- Veri uygulaması tarafından Azure Databricks'e alma işleri dağıtmak için kullanılan hizmet sorumlusu (kaynak hizalı) (yalnızca Azure Databricks kullanılıyorsa)
Ayrıca Azure Event Hubs, Azure IoT Hub, Azure Stream Analytics ve Azure Machine Learning gibi diğer hizmetlerin örneklerini de oluşturabilirsiniz.
Not
Delta lake standardını uygulamak için Azure Synapse Spark veya Azure Databricks gibi bir spark altyapısı kullanmanız gerekir.
Azure Databricks kullanmaya karar verirseniz, yüzey alanını yalnızca gerekli özelliklere indirgemek için Azure Synapse Analytics çalışma alanı yerine Azure Data Factory dağıtmanızı öneririz.
Ancak işlem hatları ve Spark ile tamamen kapsayan bir geliştirme alanına ihtiyacınız varsa Azure Synapse Analytics'i kullanın. bir Azure Synapse SQL havuzunda silo oluşturmaktan kaçınmak için yalnızca Spark ve işlem hatlarının kullanımına izin vermek için bir ilke uygulayın.
Azure Key Vault
Azure Key Vault işlevselliğini kullanarak azure içindeki gizli dizileri mümkün olduğunca depolayın.
Her veri uygulamasının (kaynağa hizalanmış) kaynak grubu veya veri etki alanı (mesh ise) bir Azure Key Vault olacaktır. Bu, şifreleme anahtarı, gizli dizi ve sertifika türetmesinin ortamınızın gereksinimlerini karşılamasını sağlar. Bu, yönetim görevlerinin daha iyi ayrılmasını sağlar ve ayrıca anahtarları, tümleştirmeleri ve farklı sınıflandırmaların gizli dizilerini karıştırma riskini azaltır.
Veri uygulamanızla ilgili tüm anahtarlar (kaynağa hizalanmış) Azure Key Vault içinde bulunmalıdır.
Önemli
Veri uygulaması (kaynakla hizalanmış) anahtar kasaları en düşük ayrıcalıklı modeli izlemeli ve hem işlem ölçek sınırları hem de ortamlar arasında gizli dizi paylaşımından kaçınmalıdır.
Azure Data Factory
Veri uygulama ekibiniz tarafından yazılan işlem hatlarının geliştirilmiş işlem hatlarını kullanarak hamdan zenginleştirilmişe veri almasına izin vermek için bir Azure Data Factory dağıtın. Dönüştürmeler için eşleme veri akışlarını kullanın ve karmaşık dönüşümler için Azure Databricks (alma) çalışma alanını veya spark'ı Azure Synapse kullanın.
Azure Data Factory veri uygulamanızın DevOps örneğine (kaynakla hizalanmış) bağlamanız gerekir. Bu bağlantı CI/CD dağıtımlarına izin verir.
Event Hubs
Veri uygulamanızın (kaynakla hizalanmış) içinde veri akışı yapmak için bir gereksinimi varsa, veri uygulamanızda (kaynağa hizalanmış) aşağı akış Event Hubs dağıtabilirsiniz.