Azure Databricks’te veri saklama nedir?
Veri ambarı, iş içgörüleri ve raporlama için hızlı bir şekilde erişilebilir olması için birden çok kaynaktan veri toplamayı ve depolamayı ifade eder. Bu makale, data lakehouse'unuzda veri ambarı oluşturmaya yönelik temel kavramları içerir.
Lakehouse'unuzda veri ambarı
Lakehouse mimarisi ve Databricks SQL, veri göllerinize bulut veri ambarı özellikleri getirir. Tanıdık veri yapılarını, ilişkileri ve yönetim araçlarını kullanarak, doğrudan veri gölünüzde çalışan yüksek performanslı, uygun maliyetli bir veri ambarını modelleyebilirsiniz. Daha fazla bilgi için bkz. Data Lakehouse nedir?
Geleneksel veri ambarlarında olduğu gibi, verileri iş gereksinimlerine göre modelleyip analiz ve raporlar için son kullanıcılarınıza sunarsınız. Geleneksel veri ambarlarından farklı olarak, iş analizi verilerinizi sildiğinizden veya hızla eskime durumuna gelen yedekli kopyalar oluşturmaktan kaçınabilirsiniz.
Göl evi içinde bir veri ambarı oluşturmak, tüm verilerinizi tek bir sisteme getirmenize ve Unity Kataloğu ve Delta Lake gibi özelliklerden yararlanmanıza olanak tanır.
Unity Kataloğu , veri erişiminin güvenliğini sağlayıp denetleyebilmeniz ve aşağı akış tablolarında köken bilgileri sağlayabilmeniz için birleşik bir idare modeli ekler. Delta Lake , verilerinizi güvenilir, ölçeklenebilir ve yüksek kaliteli tutmaya yönelik diğer güçlü araçlara ek olarak ACID işlemleri ve şema evrimi ekler.
Databricks SQL nedir?
Not
Databricks SQL Sunucusuz, Azure Çin'de kullanılamaz. Databricks SQL Azure Kamu bölgelerde kullanılamaz.
Databricks SQL, veri ambarı özelliklerini ve performansını mevcut veri göllerinize getiren hizmet koleksiyonudur. Databricks SQL açık biçimleri ve standart ANSI SQL'i destekler. Platform içi SQL düzenleyicisi ve pano araçları, ekip üyelerinin doğrudan çalışma alanında diğer Databricks kullanıcılarıyla işbirliği yapmasına olanak tanır. Databricks SQL ayrıca çeşitli araçlarla tümleştirerek analistlerin yeni bir platforma ayarlama yapmadan sık kullandıkları ortamlarda sorgular ve panolar yazabilmesini sağlar.
Databricks SQL, lakehouse'daki tablolarda yürütülen genel işlem kaynakları sağlar. Databricks SQL, depolama alanından ayrılmış ölçeklenebilir SQL işlem kaynakları sunan SQL ambarları tarafından desteklenir.
SQL Ambarı varsayılanları ve seçenekleri hakkında daha fazla bilgi için bkz. SQL ambarı nedir?
Databricks SQL, Unity Kataloğu ile tümleştirildiğinden veri varlıklarını tek bir yerden bulabilir, denetleyebilir ve yönetebilirsiniz. Daha fazla bilgi edinmek için bkz . Unity Kataloğu nedir?
Azure Databricks'te veri modelleme
Lakehouse çeşitli modelleme stillerini destekler. Aşağıdaki görüntüde, verilerin bir lakehouse'un farklı katmanlarında ilerledikçe nasıl seçkilendiği ve modellendiği gösterilmektedir.
Madalyon mimarisi
Madalyon mimarisi, lakehouse'ta temel bir yapı sağlayan artımlı olarak geliştirilmiş veri katmanlarını açıklayan bir veri tasarımı desenidir. Bronz, gümüş ve altın katmanları, her düzeyde artan veri kalitesini gösterir ve altın en yüksek kaliteyi temsil eder. Daha fazla bilgi için bkz . Madalyon göl evi mimarisi nedir?.
Bir göl evi içinde her katman bir veya daha fazla tablo içerebilir. Veri ambarı gümüş katmanda modellenmiştir ve özel veri reyonlarını altın katmanda besler.
Bronz katman
Veriler lakehouse'unuza herhangi bir biçimde ve toplu işlem veya buharlama işlemlerinin herhangi bir bileşimi aracılığıyla girebilir. Bronz katman, tüm ham verileriniz için özgün biçiminde giriş alanı sağlar. Bu veriler Delta tablolarına dönüştürülür.
Gümüş katman
Gümüş katman, farklı kaynaklardan verileri bir araya getirir. İşletmenin veri bilimi ve makine öğrenmesi uygulamalarına odaklanan bölümü için, anlamlı veri varlıklarını seçmeye başladığınız yer burasıdır. Bu işlem genellikle hız ve çevikliğe odaklanılarak işaretlenir.
Gümüş katmanı ayrıca, mevcut iş süreçlerinizle uyumlu bir veri ambarı oluşturmak için farklı kaynaklardan verileri dikkatle tümleştirebileceğiniz yerdir. Bu veriler genellikle Üçüncü Normal Form (3NF) veya Data Vault modelini izler. Birincil ve yabancı anahtar kısıtlamalarının belirtilmesi, son kullanıcıların Unity Kataloğu'nu kullanırken tablo ilişkilerini anlamasına olanak tanır. Veri ambarınız, veri reyonlarınız için tek bir gerçek kaynağı olarak görev yapmalıdır.
Veri ambarı, şema üzerinde yazma ve atomiktir. Değişiklik için iyileştirildiğinden, iş süreçleriniz değiştiğinde veya geliştikçe veri ambarını geçerli gereksinimlerinize uyacak şekilde hızla değiştirebilirsiniz.
Altın katman
Altın katman, bir veya daha fazla veri reyonu içerebilen sunu katmanıdır. Veri reyonları genellikle belirli bir iş perspektifini yakalayan bir dizi ilişkili tablo biçiminde boyutsal modellerdir.
Altın katman, kuruluş genelinde self servis analiz ve veri bilimi sağlamak için departman ve veri bilimi korumalı alanları da barındırmaktadır. Bu korumalı alanları ve kendi ayrı işlem kümelerini sağlamak, İş ekiplerinin göl evinin dışında veri kopyaları oluşturmasını engeller.
Sonraki adım
Databricks kullanarak bir göl evi uygulama ve çalıştırmaya yönelik ilkeler ve en iyi yöntemler hakkında daha fazla bilgi edinmek için bkz . İyi tasarlanmış data lakehouse'a giriş.