Lakehouse SQL analiz uç noktası kullanım örnekleri

SQL analizi uç noktası, Microsoft Fabric Delta verileri üzerinde okuma için iyileştirilmiş, T-SQL yüzeyidir. Bu makalede Lakehouse'un SQL analiz uç noktası ile Fabric veri ambarı iş yükü ve Lakehouse'un veri ambarında kullanımına yönelik senaryolar açıklanmaktadır.

Lakehouse SQL analiz uç noktası nedir?

SQL analiz uç noktası, T-SQL dili ve TDS protokollerini kullanarak Lakehouse'daki verileri sorgulamanızı sağlar.

  • SQL analiz uç noktası, T-SQL ile sorgulayabileceğiniz SQL tabloları olarak Lakehouse'dan Delta tablolarını kullanıma sunar.
  • Lakehouse'un her delta tablosu tek bir tablo olarak temsil edilir. Veriler delta biçiminde olmalıdır.
  • Her Lakehouse'un bir SQL analiz uç noktası vardır ve her çalışma alanının birden fazla Lakehouse'ı olabilir. Çalışma alanı içindeki SQL analiz uç noktalarının sayısı Lakehouse öğelerinin sayısıyla eşleşir.

Microsoft Fabric'de sql analiz uç noktası oluşturmanız gerekmez. Her lakehouse, veritabanı veya yansıtılmış veritabanı için otomatik olarak bir SQL analitik uç noktası oluşturulur. SQL analizi uç noktası, üst öğeleri için basit bir veri ambarı işlevi görür ve ambarın göl evi mimarisini tamamlar. Bu mimari, Spark veya Fabric yansıtmasının, SQL analiz uç noktasının görebildiği lakehouse içindeki bir klasör yapısında bulunan verileri kontrol etmesini sağlar.

Note

Arka planda, SQL analiz uç noktası, yüksek performanslı ve düşük gecikmeli SQL sorguları sunmak için Warehouse ile aynı altyapıyı kullanır.

Otomatik meta veri bulma

Sorunsuz bir işlem, delta günlüklerini klasörden /Tables okur ve istatistikler gibi tablolar için SQL meta verilerinin her zaman güncel olmasını sağlar. Kullanıcı eylemi gerekmez ve verileri içeri aktarmaya, kopyalamaya veya altyapıyı ayarlamaya gerek yoktur. Daha fazla bilgi için bkz . SQL analytics uç noktasında otomatik olarak oluşturulan şema.

Lakehouse'un veri ambarı için olanak sağladığı senaryolar

Fabric'te bir depo sunuyoruz.

Warehouse tarafından desteklenen SQL analiz uç noktasıyla Lakehouse, toplu iş, akış veya lambda mimarisi desenlerinin geleneksel karar ağacını basitleştirebilir. Göl evi, bir depoyla birlikte birçok ek analiz senaryosuna olanak tanır. Bu bölümde, en iyi analiz stratejisi için bir Lakehouse'un bir Warehouse ile birlikte nasıl kullanılabileceği incelenmektedir.

Fabric Lakehouse'unuzun altın katmanıyla analiz

Göl verisi organizasyonu için iyi bilinen bir strateji, madalyon mimarisidir. Bu strateji dosyaları ham (bronz), birleştirilmiş (gümüş) ve rafine (altın) katmanlar halinde düzenler. Dosyalar OneLake Microsoft Fabric dışında depolanmış olsalar bile Delta Lake biçiminde depolanıyorsa, madalyon mimarisinin altın katmanındaki verileri analiz etmek için SQL analiz uç noktasını kullanabilirsiniz.

Synapse Spark veya Azure Databricks altyapılarının yönettiği harici Azure Data Lake depolama hesaplarındaki altın klasörlere başvurmak için OneLake kısayollarını kullanın.

Ayrıca, özel konu için özel analiz gereksinimlerine sahip olabilecek konu alanı veya etki alanı odaklı çözümler olarak ambarlar ekleyebilirsiniz.

Verilerinizi Fabric'te tutmayı seçerseniz, her zaman açık kalır ve API'ler, Delta biçimi ve elbette T-SQL aracılığıyla erişime açıktır.

Lakehouse'daki delta tablolarınız ve OneLake'deki diğer öğeler üzerinde hizmet olarak sorgulama

Analistlerin, veri bilimcilerinin ve veri mühendislerinin bir veri gölü içindeki verileri sorgulaması gerekebilir. Fabric'te bu uçtan uca deneyim tamamen SaaS hâline getirilmiştir.

OneLake , tüm kuruluş için tek, birleşik, mantıksal bir veri gölüdür. OneLake, veriler için OneDrive'dır. OneLake, örneğin kuruluş bölümleriniz boyunca birden çok çalışma alanı içerebilir. Fabric'daki her öğe verileri OneLake aracılığıyla erişilebilir hale getirir.

Microsoft Fabric Lakehouse'daki veriler fiziksel olarak OneLake'de aşağıdaki klasör yapısıyla depolanır:

  • klasör, /Files veri mühendislerinin analizden önce işlemesi gereken ham ve çözülmemiş (bronz) dosyaları içerir. Dosyalar CSV, Parquet, farklı görüntü türleri ve daha fazlası gibi çeşitli biçimlerde olabilir.
  • /Tables klasörü, iş analizi için hazır olan rafine edilmiş ve birleştirilmiş (altın) verileri içerir. Birleştirilmiş veriler Delta Lake biçimindedir.

SQL analiz uç noktası, OneLake içindeki klasördeki /tables verileri okuyabilir. Analiz, Lakehouse'un SQL analiz uç noktasını sorgulamak kadar basittir. Warehouse ile birlikte, veritabanları arası sorgulara da sahip olur ve salt okunur sorgulardan, Fabric Data Warehouse ile OneLake verileriniz üzerinde ek iş mantığı oluşturmaya sorunsuzca geçebilirsiniz.

Spark ile Veri Madenciliği ve SQL ile Sunma

Veri temelli kuruluşların arka uç ve analiz sistemlerini müşteriye yönelik uygulamalarla neredeyse gerçek zamanlı olarak eşitlenmiş durumda tutmaları gerekir. İşlemlerin etkisi uçtan uca işlemler, ilgili uygulamalar ve çevrimiçi işlem işleme (OLTP) sistemleri aracılığıyla doğru yansıtılmalıdır.

Fabric'te, verilerinizi düzenlemek için Spark Streaming veya Veri Mühendisliği kullanabilirsiniz. Lakehouse SQL analiz uç noktasını kullanarak veri kalitesini ve mevcut T-SQL işlemlerini doğrulayabilirsiniz. Bu işlem bir madalyon mimarisinde veya Lakehouse'unuzun birden çok katmanında yapılabilir; bronz, gümüş, altın ve hazırlık, seçilmiş ve rafine edilmiş veriler sunma şeklinde gerçekleştirilebilir. Spark aracılığıyla oluşturulan klasörleri ve tabloları, veri mühendisliği ve iş gereksinimlerinizi karşılayacak şekilde özelleştirebilirsiniz. Hazır olduğunda, bir ambar veri kopyalamadan, Görünümler kullanarak veya verileri CREATE TABLE AS SELECT iyileştirerek (CTAS), saklı yordamlar ve diğer DML/DDL komutlarıyla tüm aşağı akış iş zekası uygulamalarınıza ve diğer analiz kullanım örneklerinize hizmet verebilir.

Open Lakehouse'unuzun altın katmanıyla tümleştirme

SQL analizi uç noktası yalnızca Fabric Lakehouse'daki veri analiziyle sınırlı değildir. SQL analiz uç noktası kullanarak Synapse Spark, Azure Databricks veya başka bir göl merkezli veri mühendisliği altyapısını kullanarak herhangi bir göl evindeki göl verilerini analiz edebilirsiniz. Verileri Azure Data Lake Storage veya Amazon S3'te depolayabilirsiniz.

Açık API’leri, Delta biçimini ve elbette T-SQL’i kullanarak, Fabric Lakehouse ile olan bu sıkı, çift yönlü entegrasyona herhangi bir altyapı aracılığıyla her zaman erişebilirsiniz.

Dış veri göllerinin kısayollarla veri sanallaştırması

Synapse Spark veya Azure Databricks altyapılarının yönettiği dış Azure Data Lake depolama hesaplarındaki altın klasörlere ve Amazon S3'te depolanan tüm delta tablolarına başvurmak için OneLake shortcuts kullanın.

SQL analytics uç noktasından bir kısayolla başvuruda bulunan herhangi bir klasörü analiz edebilir ve başvuruda bulunılan veriler için bir SQL tablosu oluşturabilirsiniz. Sql tablosunu kullanarak dış tarafından yönetilen veri göllerindeki verileri kullanıma sunun ve bunlar üzerinde analize olanak tanıyın.

Bu kısayol, ek alt akış analiz gereksinimleri için bir ambar içinden yararlanabileceğiniz veya doğrudan sorgulayabileceğiniz sanal bir ambar işlevi görür.

Dış data lake storage hesaplarındaki verileri analiz etmek için aşağıdaki adımları kullanın:

  1. Azure Data Lake storage veya Amazon S3 hesabındaki bir klasöre başvuran bir kısayol oluşturun. Bağlantı ayrıntılarını ve kimlik bilgilerini girdikten sonra Lakehouse'da bir kısayol gösterilir.
  2. Lakehouse'un SQL analiz uç noktasına geçin ve kısayol adıyla eşleşen bir ada sahip bir SQL tablosu bulun. Bu SQL tablosu ADLS veya S3'teki klasöre başvurur.
  3. ADLS veya S3'teki verilere başvuran SQL tablosunu sorgula. TABLOYU SQL analiz uç noktasındaki diğer tüm tablolarda olduğu gibi kullanın. Farklı depolama hesaplarındaki verilere başvuran tabloları birleştirebilirsiniz.

Note

SQL tablosu SQL analiz uç noktasında hemen gösterilmiyorsa birkaç dakika bekleyin. Dış depolama hesabındaki verilere başvuran SQL tablosu bir gecikmeyle oluşturulur.

Bir veri gölünde arşivlenmiş veya geçmiş verileri analiz etme

Veri bölümleme, veri göllerinde iyi bilinen bir veri erişim iyileştirme tekniğidir. Bölümlenmiş veri kümelerini hiyerarşik klasör yapılarında /year=<year>/month=<month>/day=<day>biçiminde depolayın; burada year, monthve day bölümleme sütunlarıdır. Bu yapı, geçmiş verileri mantıksal olarak ayrı tutar ve işlem altyapılarının tüm dizini ve içindeki tüm klasörleri ve dosyaları okumak yerine performans filtrelemesi ile gerektiğinde verileri okumasını sağlar.

Bölümlenmiş veriler, koşul sütunlarını bir değerle karşılaştıran koşullarda sorgular filtrelendiyse daha hızlı erişim sağlar.

SQL analiz uç noktası, yapılandırma gerektirmeden bu tür verileri kolayca okuyabilir. Örneğin, SQL Server 2022 veya Azure SQL Yönetilen Örneği dahil olmak üzere herhangi bir uygulamayı kullanarak verileri bir veri gölünde arşivleyebilirsiniz. Dış tabloları kullanarak verileri bölümleyip arşivleme amacıyla bir göle indirdikten sonra, SQL analiz uç noktası bölümlenmiş Delta Lake tablolarını SQL tabloları olarak okuyabilir ve kuruluşunuzun bunları analiz etmelerine izin verebilir. Bu yaklaşım toplam sahip olma maliyetini azaltır, veri yinelemesini azaltır ve büyük veri, yapay zeka ve diğer analiz senaryolarını aydınlatıyor.

Verilerin önceki sürümlerini hızlı bir şekilde sorgulamak için zaman yolculuğu sorgularını da kullanabilirsiniz. Zaman yolculuğu, T-SQL sorguları ile verilerin geçmiş durumlarını sorgulamak için düşük maliyetli ve verimli bir özelliktir. Lakehouse SQL analiz uç noktası için zaman yolculuğu , vakum saklama ayarlarıyla sınırlıdır. Başlamak için İfade düzeyinde zaman yolculuğu kullanarak sorgulama: Nasıl yapılır bölümüne bakın.

Fabric verilerinin kısayollarla veri sanallaştırması

Doku'da, çalışma alanları karmaşık iş, coğrafi veya mevzuat gereksinimlerine göre verileri ayırmanıza olanak tanır.

SQL analizi uç noktası, sorunsuz bir sanallaştırma aracılığıyla verileri yerinde bırakmanıza ve diğer Microsoft Fabric çalışma alanlarında bile Ambar veya Lakehouse'da verileri analiz etmeye devam etmenizi sağlar. Her Microsoft Fabric Lakehouse verileri OneLake'te depolar.

Kısayollar , herhangi bir OneLake konumundaki klasörlere başvurmanızı sağlar.

Her Microsoft Fabric Warehouse, tablo verilerini OneLake'te depolar. Tablo yalnızca ekleme ise, tablo verileri OneLake'te Delta Lake verileri olarak kullanıma sunulur. Kısayollar, Ambar tablolarının kullanıma sunulduğu herhangi bir OneLake'teki klasörlere başvurmanızı sağlar.

Çalışma alanları arası paylaşım ve sorgulama

Çalışma alanları karmaşık iş, coğrafi veya mevzuat gereksinimlerine göre verileri toplamanıza olanak sağlarken, bazen belirli analiz gereksinimleri için bu satırlar arasında paylaşımı kolaylaştırmalısınız.

Lakehouse SQL analiz uç noktası, bir kullanıcının kendi kapasitesini ve ambarını getirebileceği departmanlar ve kullanıcılar arasında kolayca veri paylaşımını sağlayabilir. Çalışma alanları departmanları, iş birimlerini veya analitik etki alanlarını düzenler. Kullanıcılar kısayolları kullanarak herhangi bir Warehouse veya Lakehouse verilerini bulabilir. Kullanıcılar aynı paylaşılan verilerden kendi özelleştirilmiş analizlerini anında gerçekleştirebilir. Bu yaklaşım, departman geri ödemelerinde ve kullanım ayırmada yardımcı olmaya ek olarak verilerin sıfır kopyalı bir sürümüdür.

SQL analizi uç noktası, herhangi bir tablonun sorgulanması ve kolay paylaşıma olanak tanır. Ek iş gereksinimlerini karşılamak için çalışma alanı rollerini ve güvenlik rollerini kullanarak denetimler ekleyebilirsiniz.

Çalışma alanları arası veri analizini etkinleştirmek için aşağıdaki adımları kullanın:

  1. Erişebileceğiniz bir çalışma alanında bir tabloya veya klasöre başvuran bir OneLake kısayolu oluşturun.
  2. Analiz etmeyi düşündüğünüz tablo veya Delta Lake klasörünü içeren bir Lakehouse ya da Warehouse seçin. Bir tablo veya klasör seçtiğinizde Lakehouse'da bir kısayol görünür.
  3. Lakehouse'un SQL analiz uç noktasına geçin ve kısayol adıyla eşleşen bir ada sahip SQL tablosunu bulun. Bu SQL tablosu başka bir çalışma alanındaki klasöre başvurur.
  4. Başka bir çalışma alanındaki verilere başvuran SQL tablosunu sorgula. Tabloyu SQL analiz uç noktasındaki diğer tüm tablolarda olduğu gibi kullanabilirsiniz. Farklı çalışma alanlarındaki verilere başvuran tabloları birleştirebilirsiniz.

SQL analiz uç noktasında güvenlik hakkında daha fazla bilgi için bkz. SQL analiz uç noktaları için OneLake güvenliği.

Note

SQL tablosu SQL analizi uç noktasında hemen görünmüyorsa birkaç dakika bekleyin. Başka bir çalışma alanındaki verilere başvuran SQL tablosu gecikmeli olarak oluşturulur.

Bölümlenmiş verileri analiz etme

Veri bölümleme, veri göllerinde iyi bilinen bir veri erişim iyileştirme tekniğidir. Bölümlenmiş veri kümelerini hiyerarşik klasör yapılarında /year=<year>/month=<month>/day=<day>biçiminde depolarsınız; burada year, monthve day bölümleme sütunlarıdır. Bölümlenmiş veri kümeleri, sorgular koşul sütunlarını bir değerle karşılaştırarak verileri filtreleyen koşul kullanırsa daha hızlı veri erişimi sağlar.

SQL analiz uç noktası, bölümlenmiş Delta Lake veri kümelerini SQL tabloları olarak temsil edebilir ve bunları analiz etmenizi sağlayabilir.

Dış verileri sorgulama hakkında daha fazla bilgi ve örnek için bkz. Fabric Data Warehouse veya SQL analytics uç noktasını kullanarak dış data lake dosyalarını sorgulama. Bölümlenmiş parquet dosyalarını sorgulamaya yönelik bir örnek ve kullanım örneği için bkz. Bölümlenmiş verileri sorgulama.

Lakehouse, Warehouse veya Eventhouse'da verileri analiz etme

Lakehouse ve Warehouse ana sayfalarında, Verileri analiz etme menüsünün bir parçası olarak Eventhouse uç noktasını içerir. Eventhouse uç noktası, veri yineleme veya el ile eşitleme olmadan doğrudan Lakehouse ve Warehouse verilerinin üzerinde Eventhouse destekli bir sorgu deneyimi sağlar.

SQL analiz uç noktasını ve Eventhouse uç noktası seçeneklerini görmek için genişletilmiş verileri analiz et düğmesinin ekran görüntüsü.

Eventhouse uç noktasını etkinleştirdiğinizde, bir Eventhouse ve KQL veritabanı otomatik olarak kaynak Lakehouse veya Warehouse'un alt öğeleri olarak oluşturulur ve şema eşitlemesi arka planda işlenir. Uç nokta her zaman kaynak verilerin geçerli şemasını yansıtır ve neredeyse gerçek zamanlı analitik erişimi etkinleştirir.

Bu tümleştirme Eventhouse'un, ayarlamanız ve yönetmeniz gereken ayrı bir sistem yerine veri kaynağının doğal bir uzantısı olmasını sağlar. Eventhouse Uç Noktası hakkında daha fazla bilgi için bkz. Lakehouse ve warehouse için Eventhouse uç noktasını etkinleştirme.

İlgili içerik

  • Last updated on