Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
sdp-meta
Databricks Labs projesi, bakımını yaptığınız meta verilerden işlem hatları oluşturmak için araçlar sağlar.
Note
açık kaynak sdp-meta projesi, databrickslabs GitHub hesabındaki tüm projeler gibi, sadece keşif amaçlı mevcuttur. Azure Databricks bunu desteklemez veya hizmet düzeyi sözleşmeleri (SLA) sağlamaz. Bu projeyle ilgili sorunlar için Azure Databricks destek biletleri göndermeyin. Bunun yerine, GitHub bir sorun oluşturun ve bu sorun zaman izin verdikçe gözden geçirilir.
SDP-meta nedir?
Lakeflow işlem hatları, bildirimli olarak bir tablo belirtmenize ve kaynak veriler değiştikçe hem tabloyu oluşturan hem de güncel tutan bir işlem hattında akış oluşturmanıza olanak tanır. Ancak, kuruluşunuzda yüzlerce tablo varsa, bu işlem hatlarını oluşturmak ve yönetmek zaman alır ve tutarsız uygulamalara yol açabilir.
sdp-meta projesi, Lakeflow boru hatlarıyla çalışmak üzere tasarlanmış metaveri odaklı bir metaprogramlama çerçevesidir. Bu çerçeve, bir dizi JSON ve YAML dosyasında kaydedilen meta verilerden yararlanarak bronz ve gümüş veri işlem hatlarının otomasyonunu sağlar. Çalışma zamanında, genel boru hatları meta verilerinizi okur ve içinde tanımlanan akışları dinamik olarak oluşturur. Bronz ve gümüş işleme ayrı boru hatlarında veya birleşik bir boru hattında birlikte çalışabilir. Boru hatlarınızla ilgili meta verileri siz üretirsiniz, sdp-meta ise boru hatlarınızı oluşturur.
Mantığınız tek bir yerde (meta veriler) merkezi hale getirildiğinde sisteminiz daha hızlı, yeniden kullanılabilir ve bakımı daha kolaydır.
Note
sdp-meta projesi eskiden Azure Databricks'teki eski Delta Live Tables özelliğinden sonra adlandırılıyordudlt-meta.
Delta Live Tables , Lakeflow boru hatlarıyla değiştirildi ve sdp-meta Lakeflow boru hatlarıyla çalışıyor. Mevcut dlt-meta bir kurulumu güncelliyorsanız, sdp-meta dokümantasyonundaki göç rehberine bakınız.
sdp-meta'nın faydaları
sdp-meta için iki ana kullanım durumu vardır:
- Çok sayıda tabloyu kolayca içeri aktarın ve temizleyin.
- Birden çok işlem hattında ve kullanıcıda veri mühendisliği standartlarını zorunlu kılma.
Meta veri temelli bir yaklaşım kullanmanın avantajları şunlardır:
- Meta verilerin bakımı Python veya SQL kodu bilgisi olmadan yapılabilir.
- Kod yerine meta verilerin korunması daha az ek yük gerektirir ve hataları azaltır.
- Kod sdp-meta tarafından üretiliyor, bu yüzden tutarlı kalıyor ve boru hatları ile yayımlanmış tablolar arasında daha az özel kod içeriyor.
- Verilerinizi en verimli şekilde güncelleştirmek için gereken işlem hattı sayısını oluşturarak tabloları meta veriler içindeki işlem hatları halinde kolayca gruplandırabilirsiniz.
sdp-meta nasıl çalışır
Aşağıdaki görsel, sdp-meta sisteminin genel bir görünümünü göstermektedir:
- Meta veri dosyalarını sdp-meta'ya giriş olarak oluşturuyorsunuz; kaynak dosyalarınızı ve çıktılarınızı, kalite kurallarınızı ve gerekli işlemleri belirtmek için. Bu onboarding dosyaları JSON veya YAML ile yazılabilir.
- SDP-meta onboarding işini sen yürütüyorsun. Motor, onboarding dosyalarını DataflowSpec adı verilen bir veri akışı spesifikasyonuna derler ve daha sonra kullanılmak üzere Delta tablolarında (
bronze_dataflowspecvesilver_dataflowspec) saklar. - Çalışma zamanında, genel bir boru hattı DataflowSpec'i okur ve bronz işleme grafiğini dinamik olarak oluşturur. Kaynak verilerinizi (dosyalar, akışlar veya CDC) okur ve kalite kurallarınıza uygun doğru veri beklentilerini uygular, bronz tablolarınızı oluşturur ve bu kuralları karşılamayan kayıtları karantinaya alır.
- Gümüş işleme, Deklaratif Otomasyon Paketleri için varsayılan olan ayrı bir genel boru hattında veya birleşik mod kullandığınızda aynı boru hattında çalışabilir. Boru hattı, uygun dönüşümleri ve diğer işlemleri uygulamak için DataflowSpec'i kullanır ve temizlenmiş, zenginleştirilmiş ve analitiklere hazır gümüş tablolar oluşturur.
Kaynak verileriniz güncellenirken çıktıyı güncel tutmak için sdp-meta tarafından oluşturulan boru hatlarını çalıştırırsınız.
Get started
sdp-meta kullanmak için şunları yapmanız gerekir:
- SDP-meta çözümünü dağıtın ve yapılandırın.
- Bronz ve gümüş katmanlı tablolarınız için meta verileri hazırlayın.
- Meta verileri eklemek için bir iş oluşturun.
- Tablolarınız için işlem hatları oluşturmak için meta verileri kullanın.
sdp-meta projesi birkaç dağıtım arayüzünü destekler: paketler (önerilir), etkileşimli bir CLI, tarayıcı tabanlı bir GUI özellikli bir Databricks Uygulaması, yapay zeka destekli kurulum için bir MCP sunucusu ve beceriye duyarlı yapay zeka ajanları için taşınabilir bir Ajan Skill.
GitHub'taki sdp-meta dokümantasyonu, bu sürece başlamanıza yardımcı olacak bir eğitim kitabı içeriyor. Daha fazla bilgi için, GitHub'ta sdp-meta ile başlama bölümüne bakabilirsiniz.