Lakehouse SQL analiz uç noktası kullanım örnekleri

SQL analitik uç noktası, Fabric'te Delta veri üzerinde okuma optimize edilmiş T-SQL yüzeyidir. Bu makale, göl evinin SQL analitik uç noktasıyla Fabric veri depolama iş yükünü ve göl evinin veri depolamasında kullanımı senaryolarını açıklar.

Lakehouse SQL analitik uç noktası nedir?

SQL analitik uç noktası, T-SQL dili ve TDS protokolü kullanarak göl evindeki verileri sorgulamanızı sağlar.

  • SQL analitik uç noktası, T-SQL ile sorgulayabileceğiniz Lakehouse'dan Delta tablolarını SQL tabloları olarak açığa çıkarır.
  • Bir lakehouse'taki her Delta tablosu, tek bir tablo olarak temsil edilir. Veriler delta biçiminde olmalıdır.
  • Her göl evinin bir SQL analitik uç noktası vardır ve her çalışma alanında birden fazla göl evi bulunabilir. Depolar, yansıtılmış veritabanları, SQL veritabanları ve Azure Cosmos DB dahil olmak üzere diğer Fabric öğeleri de otomatik olarak bir SQL analitik uç noktası sağlar, böylece bir çalışma alanı göl evi öğelerinden daha fazla SQL analitik uç noktasına sahip olabilir.

Fabric'te SQL analitik uç noktası oluşturmanıza gerek yok. Her lakehouse, veritabanı veya yansıtılmış veritabanı için otomatik olarak bir SQL analitik uç noktası oluşturulur. SQL analizi uç noktası, üst öğeleri için basit bir veri ambarı işlevi görür ve ambarın göl evi mimarisini tamamlar. Bu mimari, Spark veya Fabric yansıtmasının, SQL analiz uç noktasının görebildiği lakehouse içindeki bir klasör yapısında bulunan verileri kontrol etmesini sağlar.

Note

Arka planda, SQL analiz uç noktası, yüksek performanslı ve düşük gecikmeli SQL sorguları sunmak için Warehouse ile aynı altyapıyı kullanır.

Otomatik meta veri bulma

Sorunsuz bir işlem, delta günlüklerini klasörden /Tables okur ve istatistikler gibi tablolar için SQL meta verilerinin her zaman güncel olmasını sağlar. Kullanıcı eylemi gerekmez ve verileri içeri aktarmaya, kopyalamaya veya altyapıyı ayarlamaya gerek yoktur. Daha fazla bilgi için bkz . SQL analytics uç noktasında otomatik olarak oluşturulan şema.

Göl evinin veri deposu için mümkün kıldığı senaryolar

Fabric'te bir depo sunuyoruz.

Lakehouse, veri ambarı tarafından desteklenen SQL analitik uç noktasıyla, toplu işleme, akış işleme veya lambda mimarisi düzenleri arasındaki geleneksel karar ağacını basitleştirebilir. Göl evi, bir depoyla birlikte birçok ek analiz senaryosuna olanak tanır. Bu bölüm, bir göl evini depo ile birlikte en iyi tip analitik stratejisi için nasıl kullanacağınızı inceler.

Lakehouse'unuzun altın katmanını kullanarak analiz

Göl verisi organizasyonu için iyi bilinen bir strateji, madalyon mimarisidir. Bu strateji dosyaları ham (bronz), birleştirilmiş (gümüş) ve rafine (altın) katmanlar halinde düzenler. Dosyalar OneLake Microsoft Fabric dışında depolanmış olsalar bile Delta Lake biçiminde depolanıyorsa, madalyon mimarisinin altın katmanındaki verileri analiz etmek için SQL analiz uç noktasını kullanabilirsiniz.

Azure Synapse Spark veya Azure Databricks altyapılarının yönettiği harici Azure Data Lake depolama hesaplarındaki gold klasörlere başvurmak için OneLake'te kısayollar kullanın.

Ayrıca, özel konu için özel analiz gereksinimlerine sahip olabilecek konu alanı veya etki alanı odaklı çözümler olarak ambarlar ekleyebilirsiniz.

Verilerinizi Fabric'te tutmayı seçerseniz, her zaman açık kalır ve API'ler, Delta biçimi ve elbette T-SQL aracılığıyla erişime açıktır.

Lakehouse’taki Delta tablolarınız ve OneLake’teki diğer öğeler üzerinde hizmet olarak sorgulama yapın

Analistlerin, veri bilimcilerinin ve veri mühendislerinin bir veri gölü içindeki verileri sorgulaması gerekebilir. Fabric'te bu uçtan uca deneyim tamamen SaaS hâline getirilmiştir.

OneLake , tüm kuruluş için tek, birleşik, mantıksal bir veri gölüdür. OneLake, veriler için OneDrive'dır. OneLake, örneğin kuruluş bölümleriniz boyunca birden çok çalışma alanı içerebilir. Fabric'daki her öğe verileri OneLake aracılığıyla erişilebilir hale getirir.

Fabric'teki bir göl evindeki veriler, OneLake'te fiziksel olarak aşağıdaki klasör yapısıyla depolanır:

  • klasör, /Files veri mühendislerinin analizden önce işlemesi gereken ham ve çözülmemiş (bronz) dosyaları içerir. Dosyalar CSV, Parquet, farklı görüntü türleri ve daha fazlası gibi çeşitli biçimlerde olabilir.
  • /Tables klasörü, iş analizi için hazır olan rafine edilmiş ve birleştirilmiş (altın) verileri içerir. Birleştirilmiş veriler Delta Lake biçimindedir.

SQL analiz uç noktası, OneLake içindeki klasördeki /tables verileri okuyabilir. Analiz, göl evinin SQL analitik uç noktasını sorgulamak kadar basittir. Veri ambarıyla birlikte, veritabanları arası sorgulara ve salt okunur sorgulardan Fabric Data Warehouse ile OneLake verileriniz üzerinde ek iş mantığı oluşturmaya sorunsuzca geçiş yapabilme olanağına da sahip olursunuz.

Spark ile Veri Madenciliği ve SQL ile Sunma

Veri temelli kuruluşların arka uç ve analiz sistemlerini müşteriye yönelik uygulamalarla neredeyse gerçek zamanlı olarak eşitlenmiş durumda tutmaları gerekir. İşlemlerin etkisi uçtan uca işlemler, ilgili uygulamalar ve çevrimiçi işlem işleme (OLTP) sistemleri aracılığıyla doğru yansıtılmalıdır.

Fabric'te, verilerinizi düzenlemek için Spark Streaming veya Veri Mühendisliği kullanabilirsiniz. Lakehouse SQL analitik uç noktasını veri kalitesini doğrulamak ve mevcut T-SQL süreçleri için kullanabilirsiniz. Bu, madalyon mimarisinde veya lakehouse’unuzun birden çok katmanı içinde bronz, gümüş, altın, hazırlama, kürasyonlu ve rafine edilmiş veriler sunularak yapılabilir. Spark aracılığıyla oluşturulan klasörleri ve tabloları, veri mühendisliği ve iş gereksinimlerinizi karşılayacak şekilde özelleştirebilirsiniz. Hazır olduğunda, bir depo, veri kopyalamadan, Views kullanmadan veya CREATE TABLE AS SELECT verileri (CTAS), depolanmış prosedürler ve diğer DML / DDL komutlarıyla iyileştirmeden tüm aşağı yönlü iş zekası uygulamalarınızı ve diğer analitik kullanım durumlarınızı sunabilir.

Açık lakehouse'unuzun altın katmanıyla entegrasyon

Bir SQL analitik uç noktası, sadece Fabric'teki göl evindeki veri analitiği ile sınırlı değildir. SQL analitik uç noktası kullanarak, Azure Synapse Spark, Azure Databricks veya diğer göl merkezli herhangi bir veri mühendisliği motorunu kullanarak herhangi bir göl evindeki göl verilerini analiz edebilirsiniz. Verileri Azure Data Lake Storage veya Amazon S3'te depolayabilirsiniz.

Bu sıkı, çift yönlü entegrasyona Fabric'teki lakehouse ile açık API'ler, Delta formatı ve tabii ki T-SQL kullanarak herhangi bir motor üzerinden erişebilirsiniz.

Dış veri göllerinin kısayollarla veri sanallaştırması

Azure Synapse Spark veya Azure Databricks motorlarının yönettiği harici Azure Data Lake depolama hesaplarındaki altın klasörlere ve Amazon S3'te depolanan herhangi bir Delta tablosuna OneLake kısayollarını referans vermek için kullanın.

SQL analytics uç noktasından bir kısayolla başvuruda bulunan herhangi bir klasörü analiz edebilir ve başvuruda bulunılan veriler için bir SQL tablosu oluşturabilirsiniz. Sql tablosunu kullanarak dış tarafından yönetilen veri göllerindeki verileri kullanıma sunun ve bunlar üzerinde analize olanak tanıyın.

Bu kısayol, ek alt akış analiz gereksinimleri için bir ambar içinden yararlanabileceğiniz veya doğrudan sorgulayabileceğiniz sanal bir ambar işlevi görür.

Dış data lake storage hesaplarındaki verileri analiz etmek için aşağıdaki adımları kullanın:

  1. Azure Data Lake storage veya Amazon S3 hesabındaki bir klasöre başvuran bir kısayol oluşturun. Bağlantı detaylarını ve kimlik bilgilerini girdikten sonra, göl evinde bir kısayol gösteriliyor.
  2. Lakehouse'un SQL analitik uç noktasına geçin ve kısayol ismine uygun bir SQL tablosu bulun. Bu SQL tablosu ADLS veya S3'teki klasöre başvurur.
  3. ADLS veya S3'teki verilere başvuran SQL tablosunu sorgula. TABLOYU SQL analiz uç noktasındaki diğer tüm tablolarda olduğu gibi kullanın. Farklı depolama hesaplarındaki verilere başvuran tabloları birleştirebilirsiniz.

Note

SQL tablosu SQL analiz uç noktasında hemen gösterilmiyorsa birkaç dakika bekleyin. Dış depolama hesabındaki verilere başvuran SQL tablosu bir gecikmeyle oluşturulur.

Bir veri gölünde arşivlenmiş veya geçmiş verileri analiz etme

Veri bölümleme, veri göllerinde iyi bilinen bir veri erişim iyileştirme tekniğidir. Bölümlenmiş veri kümelerini hiyerarşik klasör yapılarında /year=<year>/month=<month>/day=<day>biçiminde depolayın; burada year, monthve day bölümleme sütunlarıdır. Bu yapı, geçmiş verileri mantıksal olarak ayrı tutar ve işlem altyapılarının tüm dizini ve içindeki tüm klasörleri ve dosyaları okumak yerine performans filtrelemesi ile gerektiğinde verileri okumasını sağlar.

Bölümlenmiş veriler, koşul sütunlarını bir değerle karşılaştıran koşullarda sorgular filtrelendiyse daha hızlı erişim sağlar.

SQL analiz uç noktası, yapılandırma gerektirmeden bu tür verileri kolayca okuyabilir. Örneğin, SQL Server 2022 veya Azure SQL Yönetilen Örneği dahil olmak üzere herhangi bir uygulamayı kullanarak verileri bir veri gölünde arşivleyebilirsiniz. Dış tabloları kullanarak verileri bölümleyip arşivleme amacıyla bir göle indirdikten sonra, SQL analiz uç noktası bölümlenmiş Delta Lake tablolarını SQL tabloları olarak okuyabilir ve kuruluşunuzun bunları analiz etmelerine izin verebilir. Bu yaklaşım toplam sahip olma maliyetini azaltır, veri yinelemesini azaltır ve büyük veri, yapay zeka ve diğer analiz senaryolarını aydınlatıyor.

Verilerin önceki sürümlerini hızlı bir şekilde sorgulamak için zaman yolculuğu sorgularını da kullanabilirsiniz. Zaman yolculuğu, T-SQL sorguları ile verilerin geçmiş durumlarını sorgulamak için düşük maliyetli ve verimli bir özelliktir. Lakehouse SQL analitik uç noktası için, zaman yolculuğu vakum tutma ayarlarıyla sınırlıdır. Başlamak için İfade düzeyinde zaman yolculuğu kullanarak sorgulama: Nasıl yapılır bölümüne bakın.

Fabric verilerinin kısayollarla veri sanallaştırması

Doku'da, çalışma alanları karmaşık iş, coğrafi veya mevzuat gereksinimlerine göre verileri ayırmanıza olanak tanır.

Bir SQL analitik uç noktası, verileri yerinde bırakıp verileri depoda veya göl evinde, hatta diğer Fabric çalışma alanlarında bile kesintisiz bir sanallaştırma yoluyla analiz etmenizi sağlar. Fabric'teki her göl evi OneLake'te veri depolar.

Kısayollar , herhangi bir OneLake konumundaki klasörlere başvurmanızı sağlar.

Fabric'teki her depo, OneLake'te tablo verilerini saklar. Tablo yalnızca ekleme ise, tablo verileri OneLake'te Delta Lake verileri olarak kullanıma sunulur. Kısayollar, depo tablolarının açık olduğu herhangi bir OneLake'te klasörlere referans vermenize olanak tanır.

Çalışma alanları arası paylaşım ve sorgulama

Çalışma alanları karmaşık iş, coğrafi veya mevzuat gereksinimlerine göre verileri toplamanıza olanak sağlarken, bazen belirli analiz gereksinimleri için bu satırlar arasında paylaşımı kolaylaştırmalısınız.

Lakehouse SQL analitik uç noktası, departmanlar ile kullanıcılar arasında kolayca veri paylaşımını mümkün kılarak kullanıcının kendi kapasitesini ve deposunu getirebileceğini sağlar. Çalışma alanları departmanları, iş birimlerini veya analitik etki alanlarını düzenler. Kestirmeleri kullanarak kullanıcılar herhangi bir depo veya göl evinin verilerini bulabilirler. Kullanıcılar aynı paylaşılan verilerden kendi özelleştirilmiş analizlerini anında gerçekleştirebilir. Bu yaklaşım, departman geri ödemelerinde ve kullanım ayırmada yardımcı olmaya ek olarak verilerin sıfır kopyalı bir sürümüdür.

SQL analizi uç noktası, herhangi bir tablonun sorgulanması ve kolay paylaşıma olanak tanır. Ek iş gereksinimlerini karşılamak için çalışma alanı rollerini ve güvenlik rollerini kullanarak denetimler ekleyebilirsiniz.

Çalışma alanları arası veri analizini etkinleştirmek için aşağıdaki adımları kullanın:

  1. Erişebileceğiniz bir çalışma alanında bir tabloya veya klasöre başvuran bir OneLake kısayolu oluşturun.
  2. Analiz etmek istediğiniz bir tablo veya Delta Lake klasörü içeren bir göl evi veya depo seçin. Bir tablo veya klasör seçtiğinizde, göl evinde bir kısayol belirir.
  3. Lakehouse'un SQL analitik uç noktasına geçin ve kısayol adıyla eşleşen bir isme sahip SQL tablosunu bulun. Bu SQL tablosu başka bir çalışma alanındaki klasöre başvurur.
  4. Başka bir çalışma alanındaki verilere başvuran SQL tablosunu sorgula. Tabloyu SQL analiz uç noktasındaki diğer tüm tablolarda olduğu gibi kullanabilirsiniz. Farklı çalışma alanlarındaki verilere başvuran tabloları birleştirebilirsiniz.

SQL analiz uç noktasında güvenlik hakkında daha fazla bilgi için bkz. SQL analiz uç noktaları için OneLake güvenliği.

Note

SQL tablosu SQL analizi uç noktasında hemen görünmüyorsa birkaç dakika bekleyin. Başka bir çalışma alanındaki verilere başvuran SQL tablosu gecikmeli olarak oluşturulur.

Bölümlenmiş verileri analiz etme

Veri bölümleme, veri göllerinde iyi bilinen bir veri erişim iyileştirme tekniğidir. Bölümlenmiş veri kümelerini hiyerarşik klasör yapılarında /year=<year>/month=<month>/day=<day>biçiminde depolarsınız; burada year, monthve day bölümleme sütunlarıdır. Bölümlenmiş veri kümeleri, sorgular koşul sütunlarını bir değerle karşılaştırarak verileri filtreleyen koşul kullanırsa daha hızlı veri erişimi sağlar.

SQL analiz uç noktası, bölümlenmiş Delta Lake veri kümelerini SQL tabloları olarak temsil edebilir ve bunları analiz etmenizi sağlayabilir.

Dış verileri sorgulama hakkında daha fazla bilgi ve örnek için bkz. Fabric Data Warehouse veya SQL analytics uç noktasını kullanarak dış data lake dosyalarını sorgulama. Bölümlenmiş parquet dosyalarını sorgulamaya yönelik bir örnek ve kullanım örneği için bkz. Bölümlenmiş verileri sorgulama.

Göl evinde, depoda veya etkinlik evinde verileri analiz edin

Lakehouse ve Warehouse ana sayfalarında, Verileri analiz etme menüsünün bir parçası olarak Eventhouse uç noktasını içerir. Eventhouse uç noktası, veri yineleme veya el ile eşitleme olmadan doğrudan Lakehouse ve Warehouse verilerinin üzerinde Eventhouse destekli bir sorgu deneyimi sağlar.

SQL analiz uç noktasını ve Eventhouse uç noktası seçeneklerini görmek için genişletilmiş verileri analiz et düğmesinin ekran görüntüsü.

Eventhouse uç noktasını etkinleştirdiğinizde, bir Eventhouse ve KQL veritabanı otomatik olarak kaynak Lakehouse veya Warehouse'un alt öğeleri olarak oluşturulur ve şema eşitlemesi arka planda işlenir. Uç nokta her zaman kaynak verilerin geçerli şemasını yansıtır ve neredeyse gerçek zamanlı analitik erişimi etkinleştirir.

Bu tümleştirme Eventhouse'un, ayarlamanız ve yönetmeniz gereken ayrı bir sistem yerine veri kaynağının doğal bir uzantısı olmasını sağlar. Eventhouse Uç Noktası hakkında daha fazla bilgi için bkz. Lakehouse ve warehouse için Eventhouse uç noktasını etkinleştirme.

İlgili içerik

  • Last updated on