Aracılığıyla paylaş

Birlikte daha iyi: göl evi ve depo

  • Makale

Şunlar için geçerlidir:✅ Microsoft Fabric'te SQL analiz uç noktası ve Ambarı

Bu makalede Lakehouse'un SQL analiz uç noktasıyla veri ambarı iş yükü ve Lakehouse'un veri ambarında kullanımına yönelik senaryolar açıklanmaktadır. Ambar verilerini geliştirmeyi seçmeye ilişkin bir karar kılavuzu için bkz . Microsoft Fabric karar kılavuzu: Ambar ile Lakehouse arasında seçim yapma.

Lakehouse SQL analiz uç noktası nedir?

Fabric'te, bir göl evi oluşturduğunuzda otomatik olarak bir Ambar oluşturulur.

SQL analiz uç noktası, T-SQL dili ve TDS protokollerini kullanarak Lakehouse'daki verileri sorgulamanıza olanak tanır. Her Lakehouse'un bir SQL analiz uç noktası vardır ve her çalışma alanının birden fazla Lakehouse'ı olabilir. Çalışma alanı içindeki SQL analiz uç noktalarının sayısı Lakehouse öğelerinin sayısıyla eşleşir.

  • SQL analiz uç noktası her Lakehouse için otomatik olarak oluşturulur ve Lakehouse'dan Delta tablolarını T-SQL dili kullanılarak sorgulanabilen SQL tabloları olarak kullanıma sunar.
  • Lakehouse'un her delta tablosu tek bir tablo olarak temsil edilir. Veriler delta biçiminde olmalıdır.
  • Varsayılan Power BI anlam modeli her SQL analiz uç noktası için oluşturulur ve Lakehouse nesnelerinin adlandırma kuralına uyar.

Microsoft Fabric'te SQL analiz uç noktası oluşturmanıza gerek yoktur. Microsoft Fabric kullanıcıları çalışma alanında SQL analizi uç noktası oluşturamaz. Her Lakehouse için otomatik olarak bir SQL analizi uç noktası oluşturulur. SQL analiz uç noktasını almak için bir lakehouse oluşturun; Lakehouse için otomatik olarak bir SQL analiz uç noktası oluşturulur.

Not

Arka planda SQL analiz uç noktası, yüksek performanslı ve düşük gecikme süreli SQL sorgularına hizmet vermek için Ambar ile aynı altyapıyı kullanır.

Otomatik Meta Veri Bulma

Sorunsuz bir işlem, değişiklik günlüklerini ve dosyalar klasöründen okur ve istatistikler gibi tablolar için SQL meta verilerinin her zaman güncel olmasını sağlar. Kullanıcı eylemi gerekmez ve verileri içeri aktarmaya, kopyalamaya veya altyapıyı ayarlamaya gerek yoktur. Daha fazla bilgi için bkz . SQL analytics uç noktasında otomatik olarak oluşturulan şema.

Lakehouse'un veri ambarı için olanak sağladığı senaryolar

Fabric'te bir depo sunuyoruz.

Warehouse tarafından desteklenen SQL analiz uç noktasıyla Lakehouse, toplu iş, akış veya lambda mimarisi desenlerinin geleneksel karar ağacını basitleştirebilir. Göl evi, bir depoyla birlikte birçok ek analiz senaryosuna olanak tanır. Bu bölümde, en iyi tür analizi stratejisi için Bir Lakehouse'un bir Warehouse ile birlikte nasıl kullanılacağı incelanmıştır.

Fabric Lakehouse'unuzun altın katmanıyla analiz

Göl verisi organizasyonu için iyi bilinen stratejilerden biri, dosyaların ham (bronz), birleştirilmiş (gümüş) ve rafine (altın) katmanlar halinde düzenlendiği bir madalyon mimarisidir . Sql analytics uç noktası, dosyalar Microsoft Fabric OneLake dışında depolanmış olsalar bile, madalyon mimarisinin altın katmanındaki Delta Lake verileri analiz etmek için kullanılabilir.

Synapse Spark veya Azure Databricks altyapıları tarafından yönetilen dış Azure Data Lake depolama hesaplarındaki altın klasörlere başvurmak için OneLake kısayollarını kullanabilirsiniz.

Ambarlar, özel konu için özel analiz gereksinimleri olabilecek konu alanı veya etki alanı odaklı çözümler olarak da eklenebilir.

Verilerinizi Doku'da tutmayı seçerseniz, api'ler, Delta biçimi ve elbette T-SQL aracılığıyla her zaman açık ve erişilebilir olur.

Lakehouse'dan delta tablolarınızın ve OneLake veri hub'ından diğer öğelerin üzerinden hizmet olarak sorgulama

Bir analistin, veri bilimcinin veya veri mühendisinin bir veri gölü içindeki verileri sorgulaması gerekebilecek kullanım örnekleri vardır. Doku'da bu uçtan uca deneyim tamamen SaaSified'tır.

OneLake , tüm kuruluş için tek, birleşik, mantıksal bir veri gölüdür. OneLake, veriler için OneDrive'dır. OneLake, örneğin kuruluş bölümleriniz boyunca birden çok çalışma alanı içerebilir. Doku'daki her öğe verileri OneLake aracılığıyla erişilebilir hale getirir.

Microsoft Fabric Lakehouse'daki veriler fiziksel olarak OneLake'de aşağıdaki klasör yapısıyla depolanır:

  • klasör, /Files analiz edilmeden önce veri mühendisleri tarafından işlenmesi gereken ham ve çözülmemiş (bronz) dosyalar içerir. Dosyalar CSV, Parquet, farklı görüntü türleri gibi çeşitli biçimlerde olabilir.
  • Klasör, /Tables iş analizi için hazır olan iyileştirilmiş ve birleştirilmiş (altın) veriler içerir. Birleştirilmiş veriler Delta Lake biçimindedir.

SQL analiz uç noktası, OneLake içindeki klasördeki /tables verileri okuyabilir. Analiz, Lakehouse'un SQL analiz uç noktasını sorgulamak kadar basittir. Ayrıca Ambar ile birlikte veritabanları arası sorgular ve salt okunur sorgulardan Synapse Veri Ambarı ile OneLake verilerinizin üzerinde ek iş mantığı oluşturmaya sorunsuz geçiş yapabilirsiniz.

Spark ile Veri Madenciliği ve SQL ile Sunma

Veri temelli kuruluşların arka uç ve analiz sistemlerini müşteriye yönelik uygulamalarla neredeyse gerçek zamanlı olarak eşitlenmiş durumda tutmaları gerekir. İşlemlerin etkisi uçtan uca işlemler, ilgili uygulamalar ve çevrimiçi işlem işleme (OLTP) sistemleri aracılığıyla doğru yansıtılmalıdır.

Doku'da, verilerinizi seçmek için Spark Streaming veya Veri Madenciliği kullanabilirsiniz. Lakehouse SQL analiz uç noktasını kullanarak veri kalitesini ve mevcut T-SQL işlemlerini doğrulayabilirsiniz. Bu işlem bir madalyon mimarisinde veya Lakehouse'unuzun birden çok katmanında yapılabilir; bronz, gümüş, altın veya hazırlama, küratör ve rafine veriler sunma. Spark aracılığıyla oluşturulan klasörleri ve tabloları, veri mühendisliği ve iş gereksinimlerinizi karşılayacak şekilde özelleştirebilirsiniz. Hazır olduğunda, Bir Ambar veri kopyalamadan, Görünümler kullanarak veya verileri (CTAS), saklı yordamları ve diğer DML/DDL komutlarını kullanarak CREATE TABLE AS SELECT iyileştirmeden tüm aşağı akış iş zekası uygulamalarınıza ve diğer analiz kullanım örneklerinize hizmet verebilir.

Open Lakehouse'unuzun altın katmanıyla tümleştirme

SQL analiz uç noktasının kapsamı yalnızca Fabric Lakehouse'daki veri analizi kapsamına alınmaz. SQL analizi uç noktası Synapse Spark, Azure Databricks veya diğer göl merkezli veri mühendisliği altyapısını kullanarak herhangi bir göl evindeki göl verilerini analiz etmenizi sağlar. Veriler Azure Data Lake Storage veya Amazon S3'te depolanabilir.

Fabric Lakehouse ile bu sıkı, çift yönlü tümleştirmeye açık API'lere, Delta biçimine ve elbette T-SQL'e sahip tüm altyapılardan her zaman erişilebilir.

Dış veri göllerinin kısayollarla Sanallaştırılması

Synapse Spark veya Azure Databricks altyapıları tarafından yönetilen dış Azure Data Lake depolama hesaplarındaki altın klasörlere ve Amazon S3'te depolanan tüm delta tablolarına başvurmak için OneLake kısayollarını kullanabilirsiniz.

Kısayol kullanılarak başvuruda bulunılan herhangi bir klasör SQL analiz uç noktasından analiz edilebilir ve başvuruda bulunılan veriler için bir SQL tablosu oluşturulur. SQL tablosu, harici olarak yönetilen veri göllerindeki verileri kullanıma açmak ve bunlar üzerinde analiz sağlamak için kullanılabilir.

Bu kısayol, ek aşağı akış analizi gereksinimleri için bir ambardan yararlanabilen veya doğrudan sorgulanabilen bir sanal ambar görevi görür.

Dış data lake storage hesaplarındaki verileri analiz etmek için aşağıdaki adımları kullanın:

  1. Azure Data Lake storage veya Amazon S3 hesabındaki bir klasöre başvuran bir kısayol oluşturun. Bağlantı ayrıntılarını ve kimlik bilgilerini girdikten sonra Lakehouse'da bir kısayol gösterilir.
  2. Lakehouse'un SQL analiz uç noktasına geçin ve kısayol adıyla eşleşen bir ada sahip bir SQL tablosu bulun. Bu SQL tablosu ADLS/S3 klasöründeki klasöre başvurur.
  3. ADLS/S3'teki verilere başvuran SQL tablosunu sorgula. Tablo, SQL analytics uç noktasındaki diğer herhangi bir tablo olarak kullanılabilir. Farklı depolama hesaplarındaki verilere başvuran tabloları birleştirebilirsiniz.

Not

SQL tablosu SQL analiz uç noktasında hemen gösterilmiyorsa birkaç dakika beklemeniz gerekebilir. Dış depolama hesabındaki verilere başvuran SQL tablosu bir gecikmeyle oluşturulur.

Bir veri gölünde arşivlenmiş veya geçmiş verileri analiz etme

Veri bölümleme, veri göllerinde iyi bilinen bir veri erişim iyileştirme tekniğidir. Bölümlenmiş veri kümeleri hiyerarşik klasör yapılarında /year=<year>/month=<month>/day=<day>biçiminde depolanır; burada year, monthve day bölümleme sütunlarıdır. Bu, geçmiş verileri mantıksal olarak ayrılmış bir biçimde depolamanıza olanak tanır ve işlem altyapılarının performans filtrelemesi ile verileri gerektiği gibi okumasına olanak tanır ve dizinin tamamını ve içindeki tüm klasörleri ve dosyaları okumanızı sağlar.

Bölümlenmiş veriler, sorgular koşul sütunlarını bir değerle karşılaştıran koşullarda filtreleniyorsa daha hızlı erişim sağlar.

SQL analiz uç noktası, yapılandırma gerektirmeden bu tür verileri kolayca okuyabilir. Örneğin, SQL Server 2022 veya Azure SQL Yönetilen Örneği dahil olmak üzere herhangi bir uygulamayı kullanarak verileri bir veri gölünde arşivleyebilirsiniz. Verileri bölümledikten ve dış tablolarla arşivleme amacıyla bir göle indirdikten sonra, SQL analiz uç noktası bölümlenmiş Delta Lake tablolarını SQL tabloları olarak okuyabilir ve kuruluşunuzun bunları analiz etmelerine olanak tanıyabilir. Bu, toplam sahip olma maliyetini azaltır, veri yinelemesini azaltır ve büyük veri, yapay zeka ve diğer analiz senaryolarını aydınlatıyor.

Kısayollarla Doku verilerinin veri sanallaştırması

Doku'da, çalışma alanları karmaşık iş, coğrafi veya mevzuat gereksinimlerine göre verileri ayırmanıza olanak tanır.

SQL analizi uç noktası, sorunsuz bir sanallaştırma aracılığıyla verileri yerinde bırakmanıza ve diğer Microsoft Fabric çalışma alanlarında bile Ambar veya Lakehouse'da verileri analiz etmeye devam etmenizi sağlar. Her Microsoft Fabric Lakehouse verileri OneLake'te depolar.

Kısayollar , herhangi bir OneLake konumundaki klasörlere başvurmanızı sağlar.

Her Microsoft Fabric Warehouse, tablo verilerini OneLake'te depolar. Tablo yalnızca ekleme ise, tablo verileri OneLake'te Delta Lake verileri olarak kullanıma sunulur. Kısayollar, Ambar tablolarının kullanıma sunulduğu herhangi bir OneLake'teki klasörlere başvurmanızı sağlar.

Çalışma alanları arası paylaşım ve sorgulama

Çalışma alanları karmaşık iş, coğrafi veya mevzuat gereksinimlerine göre verileri toplamanıza olanak sağlarken, bazen belirli analiz gereksinimleri için bu satırlar arasında paylaşımı kolaylaştırmalısınız.

Lakehouse SQL analiz uç noktası, bir kullanıcının kendi kapasitesini ve ambarını getirebileceği departmanlar ve kullanıcılar arasında kolayca veri paylaşımını sağlayabilir. Çalışma alanları departmanları, iş birimlerini veya analitik etki alanlarını düzenler. Kullanıcılar kısayolları kullanarak herhangi bir Warehouse veya Lakehouse verisini bulabilir. Kullanıcılar aynı paylaşılan verilerden kendi özelleştirilmiş analizlerini anında gerçekleştirebilir. Departman geri ödemelerine ve kullanım ayırmaya yardımcı olmaya ek olarak, bu verilerin de sıfır kopyalı bir sürümüdür.

SQL analizi uç noktası, herhangi bir tablonun sorgulanması ve kolay paylaşıma olanak tanır. Ek iş gereksinimlerini karşılamak için daha fazla katman oluşturulabilen çalışma alanı rollerinin ve güvenlik rollerinin ek denetimleri.

Çalışma alanları arası veri analizini etkinleştirmek için aşağıdaki adımları kullanın:

  1. Erişebileceğiniz bir çalışma alanında bir tabloya veya klasöre başvuran bir OneLake kısayolu oluşturun.
  2. Analiz etmek istediğiniz tablo veya Delta Lake klasörünü içeren bir Lakehouse veya Warehouse seçin. Bir tablo/klasör seçtiğinizde Lakehouse'da bir kısayol gösterilir.
  3. Lakehouse'un SQL analiz uç noktasına geçin ve kısayol adıyla eşleşen bir ada sahip SQL tablosunu bulun. Bu SQL tablosu başka bir çalışma alanındaki klasöre başvurur.
  4. Başka bir çalışma alanındaki verilere başvuran SQL tablosunu sorgula. Tablo, SQL analytics uç noktasındaki diğer herhangi bir tablo olarak kullanılabilir. Farklı çalışma alanlarındaki verilere başvuran tabloları birleştirebilirsiniz.

Not

SQL tablosu SQL analiz uç noktasında hemen gösterilmiyorsa birkaç dakika beklemeniz gerekebilir. Başka bir çalışma alanındaki verilere başvuran SQL tablosu gecikmeli olarak oluşturulur.

Bölümlenmiş verileri analiz etme

Veri bölümleme, veri göllerinde iyi bilinen bir veri erişim iyileştirme tekniğidir. Bölümlenmiş veri kümeleri hiyerarşik klasör yapılarında /year=<year>/month=<month>/day=<day>biçiminde depolanır; burada year, monthve day bölümleme sütunlarıdır. Bölümlenmiş veri kümeleri, sorgular koşul sütunlarını bir değerle karşılaştırarak verileri filtreleyen koşulu kullanarak verileri filtreleiyorsa daha hızlı veri erişimi sağlar.

SQL analiz uç noktası, bölümlenmiş Delta Lake veri kümelerini SQL tabloları olarak temsil edebilir ve bunları analiz etmenizi sağlayabilir.

İlgili içerik