Veri ambarı mimarisi

Veri ambarı, iş içgörüleri ve raporlama için hızlı bir şekilde erişilebilir olması için birden çok kaynaktan veri toplamayı ve depolamayı ifade eder. Bu makale, data lakehouse'unuzda veri ambarı oluşturmaya yönelik temel kavramları içerir.

Lakehouse'unuzda veri ambarı

Lakehouse mimarisi ve Databricks SQL, veri göllerinize bulut veri ambarı özellikleri getirir. Tanıdık veri yapılarını, ilişkileri ve yönetim araçlarını kullanarak, doğrudan veri gölünüzde çalışan yüksek performanslı, uygun maliyetli bir veri ambarını modelleyebilirsiniz. Daha fazla bilgi için bkz. Göl evi nedir?

Geleneksel veri ambarlarında olduğu gibi, verileri iş gereksinimlerine göre modelleyip analiz ve raporlar için son kullanıcılarınıza sunarsınız. Geleneksel veri ambarlarından farklı olarak, iş analizi verilerinizi sildiğinizden veya hızla eskime durumuna gelen yedekli kopyalar oluşturmaktan kaçınabilirsiniz.

Göl evi içinde bir veri ambarı oluşturmak, tüm verilerinizi tek bir sisteme getirmenize ve Unity Kataloğu ve Delta Lake gibi özelliklerden yararlanmanıza olanak tanır.

Unity Kataloğu, veri erişiminin güvenliğini sağlayıp denetleyebilmeniz ve aşağı akış tablolarında köken bilgileri sağlayabilmeniz için birleşik bir idare modeli ekler. Delta Lake, verilerinizi güvenilir, ölçeklenebilir ve yüksek kaliteli tutmaya yönelik diğer güçlü araçlara ek olarak ACID işlemleri ve şema evrimi ekler.

Databricks SQL nedir?

Uyarı

Databricks SQL Serverless, Azure Çin'de mevcut değildir. Databricks SQL Azure Kamu bölgelerde kullanılamaz.

Databricks SQL, veri ambarı özelliklerini ve performansını mevcut veri göllerinize getiren hizmet koleksiyonudur. Databricks SQL açık biçimleri ve standart ANSI SQL'i destekler. Platform içi SQL düzenleyicisi ve pano araçları, ekip üyelerinin doğrudan çalışma alanında diğer Azure Databricks kullanıcıları ile işbirliği yapmasına olanak tanır. Databricks SQL ayrıca çeşitli araçlarla tümleştirerek analistlerin yeni bir platforma ayarlama yapmadan sık kullandıkları ortamlarda sorgular ve panolar yazabilmesini sağlar.

Databricks SQL, lakehouse'daki tablolara karşı yürütülen genel işlem kaynakları sunar. Databricks SQL, eski adıyla SQL uç noktaları olan SQL ambarları tarafından desteklenir ve depolamadan ayrılmış ölçeklenebilir SQL işlem kaynakları sunar.

SQL Ambarı varsayılanları ve seçenekleri hakkında daha fazla bilgi için bkz. SQL ambarları.

Databricks SQL Unity Kataloğu ile tümleştirildiğinden, veri varlıklarını tek bir yerden bulmanızı, denetlemenizi ve yönetmenizi sağlar. Daha fazla bilgi edinmek için bkz. Unity Kataloğu nedir?

Azure Databricks'te veri modelleme

Lakehouse çeşitli modelleme stillerini destekler. Aşağıdaki görüntüde, verilerin bir lakehouse boyunca farklı katmanlarda ilerledikçe nasıl düzenlendiği ve modellendiği gösterilmektedir.

Madalyon mimarisi

Madalyon mimarisi, lakehouse içinde temel bir yapı sağlayan, kademeli olarak geliştirilen bir dizi veri katmanını tanımlayan bir veri tasarım desenidir. Bronz, gümüş ve altın katmanları, en yüksek kaliteyi temsil eden altın ile artan veri kalitesi düzeylerini belirtir. Daha fazla bilgi için bkz . Madalyon göl evi mimarisi nedir?.

Bir lakehouse içinde her katman bir veya daha fazla tablo içerebilir. Veri ambarı gümüş katmanda modellenmiştir ve özel veri reyonlarını altın katmanda besler.

Bronz katman

Veriler, lakehouse'unuza her türlü formatta ve toplu işlem ya da akış işlemlerinin herhangi bir bileşimiyle girebilir. Bronz katman, tüm ham verileriniz için özgün biçiminde giriş alanı sağlar. Bu veriler Delta tablolarına dönüştürülür.

Gümüş katman

Gümüş katman, farklı kaynaklardan verileri bir araya getirir. İşletmenin veri bilimi ve makine öğrenmesi uygulamalarına odaklanan bölümü için, anlamlı veri varlıklarını seçmeye başladığınız yer burasıdır. Bu işlem genellikle hız ve çevikliğe odaklanılarak işaretlenir.

Gümüş katmanı ayrıca, mevcut iş süreçlerinizle uyumlu bir veri ambarı oluşturmak için farklı kaynaklardan verileri dikkatle tümleştirebileceğiniz yerdir. Bu veriler genellikle Üçüncü Normal Form (3NF) veya Data Vault modelini izler. Birincil ve yabancı anahtar kısıtlamalarının belirtilmesi, son kullanıcıların Unity Kataloğu'nu kullanırken tablo ilişkilerini anlamasına olanak tanır. Veri ambarınız, veri reyonlarınız için tek bir gerçek kaynağı olarak görev yapmalıdır.

Veri ambarı, yazma sırasında şema belirleme ve atomik bir yapıya sahiptir. Değişiklik için iyileştirildiğinden, iş süreçleriniz değiştiğinde veya geliştikçe veri ambarını geçerli gereksinimlerinize uyacak şekilde hızla değiştirebilirsiniz.

Altın katman

Altın katman, bir veya daha fazla veri reyonu içerebilen sunu katmanıdır. Veri reyonları genellikle belirli bir iş perspektifini yakalayan bir dizi ilişkili tablo biçiminde boyutsal modellerdir.

Kuruluş genelinde kendi kendine hizmet analitiği ve veri bilimi sağlamak için altın katman, departman ve veri bilimi kum havuzlarını da barındırmaktadır. Bu korumalı alanları ve kendi ayrı işlem kümelerini sağlamak, İş ekiplerinin göl evinin dışında veri kopyaları oluşturmasını engeller.

Sonraki Adımlar

Azure Databricks kullanarak göl evi uygulama ve çalıştırma ilkeleri ve en iyi yöntemleri hakkında daha fazla bilgi edinmek için bkz. Lakehouse mimarisi.