Microsoft Fabric'te veri ambarı nedir?

Makale
04/24/2024

Şunlar için geçerlidir: Microsoft Fabric'te SQL analiz uç noktası ve Ambarı

Microsoft Fabric, müşterilere göl merkezli ve açık eksiksiz, SaaS ile onaylanmış bir Veri, Analiz ve yapay zeka platformu sunarak veri varlıklarının her yönüne hitap eden birleşik bir ürün sunar. Microsoft Fabric'in temeli, acemi kullanıcının deneyimli bir profesyonele Veritabanı, Analiz, Mesajlaşma, Veri Entegrasyonu ve İş Zekası iş yüklerinden zengin, kullanımı kolay, ortak SaaS deneyimiyle yararlanmasını sağlar.

Her beceri düzeyi için oluşturulmuş göl merkezli bir SaaS deneyimi

Microsoft Fabric, büyük ölçekte sektör lideri performans sağlarken yapılandırma ve yönetim gereksinimini ortadan kaldıran kurumsal düzeyde dağıtılmış işleme altyapısı üzerine oluşturulmuş göl merkezli bir veri ambarı sunmaktadır. Kolay analiz ve raporlama için Power BI ile sıkı bir şekilde tümleştirilen kullanımı kolay SaaS deneyimi sayesinde Microsoft Fabric'teki Warehouse, kuruluşların analiz varlıklarındaki yatırımlarını büyük ölçüde basitleştirme hedefiyle veri gölleri ve ambarlar dünyasını birleştirir. Veri ambarı iş yükleri, SQL altyapısının açık veri biçimine göre zengin özelliklerinden yararlanarak müşterilerin Microsoft OneLake'lerinde depolanan verilerinin tek bir kopyası üzerinde veri hazırlama, analiz ve raporlamaya odaklanmasını sağlar.

Depo, vatandaş geliştiriciden profesyonel geliştiriciye, DBA'ya veya veri mühendisine kadar her beceri düzeyi için geliştirilmiştir. Microsoft Fabric çalışma alanında yerleşik olarak bulunan zengin deneyimler, müşterilerin DirectLake modunda Power BI ile tümleştirilmiş, kolayca kullanılabilir, her zaman bağlı bir anlam modeline sahip olarak içgörülere olan zamanlarını azaltmalarını sağlar. Bu, müşterinin raporunda analiz ve raporlama için her zaman en son verilere sahip olmasını sağlayan ikinciden hiç sektör lideri performansa olanak tanır. Veritabanları arası sorgulama, hızlı içgörüler ve sıfır veri yineleme için birden çok veritabanına yayılan birden çok veri kaynağını hızlı ve sorunsuz bir şekilde kullanmak için kullanılabilir.

Veritabanları arası sorgu içeren sanal ambarlar

Microsoft Fabric, müşterilere kısayolları kullanarak neredeyse tüm kaynaklardan veri içeren sanal ambarları ayağa kaldırma olanağı sağlar. Müşteriler, bulundukları her yerde verilerine kısayollar oluşturarak bir sanal ambar oluşturabilir. Bir sanal ambar OneLake, Azure Data Lake Depolama veya tek bir sınır içindeki ve yinelenen veri içermeyen başka bir bulut satıcısı depolamasından verilerden oluşabilir.

Microsoft Fabric'te veritabanları arası sorgulamanın zenginliği sayesinde çeşitli veri kaynaklarından sorunsuz bir şekilde değer elde edin. Veritabanları arası sorgulama, müşterilerin hızlı içgörüler ve sıfır veri yinelemesi için birden çok veri kaynağını hızlı ve sorunsuz bir şekilde kullanmasına olanak tanır. Farklı kaynaklarda depolanan veriler kolayca birleştirilebilir ve böylece müşteriler daha önce veri tümleştirme ve mühendislik ekiplerinden önemli çaba gerektiren zengin içgörüler sunabilir.

Veritabanları arası sorgular, birden çok tablodaki içgörülere kod içermeyen bir yol sunan Visual Query düzenleyicisi aracılığıyla oluşturulabilir. VERITABANLARı arası sorgular oluşturmak için SQL Query düzenleyicisi veya SQL Server Management Studio (SSMS) gibi diğer tanıdık araçlar da kullanılabilir.

Otonom iş yükü yönetimi

Microsoft Fabric'teki ambarlar, müşterilere doğal yalıtım sınırına sahip iş yükleri sağlayan sektör lideri bir dağıtılmış sorgu işleme altyapısını kullanır. Otomatik ölçek ve eşzamanlılık yerleşik olarak en iyi performansı sunmak için otonom ayırma ve kaynaklardan feragat etme ile dönecek hiçbir düğme yoktur. Gerçek yalıtım, farklı özelliklere sahip iş yüklerini ayırarak, ETL işlerinin geçici analiz ve raporlama iş yüklerini hiçbir zaman engellememesini sağlayarak elde edilir.

Sorunsuz altyapı birlikte çalışabilirliği için açık biçim

Ambardaki veriler parquet dosya biçiminde depolanır ve Delta Lake Günlükleri olarak yayımlanarak Spark, Pipelines, Power BI ve Azure Veri Gezgini gibi diğer Microsoft Fabric iş yükleri aracılığıyla yararlanabilen ACID işlemleri ve çapraz altyapı birlikte çalışabilirliği sağlanır. Müşterilerin artık farklı beceri kümelerine sahip veri uzmanlarını etkinleştirmek için verilerinin birden çok kopyasını oluşturmaları gerekmez. Python'da çalışmaya alışkın olan veri mühendisleri, SQL'de çalışmaya alışkın bir veri ambarı uzmanı tarafından modellenen ve sunulan verileri kolayca kullanabilir. Buna paralel olarak, BI uzmanları aynı verileri hızlı ve kolay bir şekilde kullanarak Power BI'da kayıt performansına sahip ve veri yinelemesi olmayan zengin bir görselleştirme kümesi oluşturabilir.

Depolama ve işlem ayrımı

İşlem ve depolama, müşterilerin işlerinin taleplerini karşılamak için neredeyse anında ölçeklendirilmesini sağlayan bir Ambarda ayrılmıştır. Bu, birden çok işlem altyapısının güçlü güvenlik ve tam ACID işlem garantileri ile desteklenen herhangi bir depolama kaynağından okumasına olanak tanır.

Büyük ölçekte kolayca alma, yükleme ve dönüştürme

Veriler İşlem Hatları, Veri Akışları, çapraz veritabanı sorgulaması veya COPY INTO komutu aracılığıyla Ambar'a aktarılabilir. Veriler alındıktan sonra, paylaşım ve çapraz veritabanı sorgulama gibi işlevler aracılığıyla birden çok iş grubu tarafından analiz edilebilir. Ambar Düzenleyicisi'nde sorgulama için kullanımı kolay grafik veri modellemesi web deneyimi aracılığıyla tam tümleşik bi deneyimiyle içgörüler elde etme süresi hızlandırılır.

Microsoft Fabric'te veri ambarı öğeleri

İki ayrı veri ambarı öğesi vardır: Lakehouse ve Warehouse'un SQL analiz uç noktası.

Lakehouse'un SQL analiz uç noktası

SQL analizi uç noktası, Microsoft Fabric'teki bir Lakehouse'dan otomatik olarak oluşturulan bir ambardır. Müşteri Lakehouse'un "Göl" görünümünden (veri mühendisliğini ve Apache Spark'ı destekleyen) aynı Lakehouse'un "SQL" görünümüne geçiş yapabilir. SQL analiz uç noktası salt okunurdur ve veriler yalnızca Spark kullanılarak Lakehouse'un "Lake" görünümü aracılığıyla değiştirilebilir.

Lakehouse'un SQL analiz uç noktası aracılığıyla, kullanıcının veri nesnelerini tanımlayıp sorgulayan ancak verileri işlemeyen bir SQL komutları alt kümesi vardır. SQL analytics uç noktasında aşağıdaki eylemleri gerçekleştirebilirsiniz:

Göldeki Delta Lake klasörlerinizdeki verilere başvuran tabloları sorgula.
T-SQL'de semantiğinizi ve iş mantığınızı kapsüllemek için görünümler, satır içi TVF'ler ve yordamlar oluşturun.
Nesneler üzerindeki izinleri yönetin.

Microsoft Fabric çalışma alanında, TÜR sütununun altında bir SQL analiz uç noktası "SQL analiz uç noktası" olarak etiketlenmiştir. Her Lakehouse,SQL Server Management Studio, Azure Data Studio , Microsoft Fabric SQL Sorgu Düzenleyicisi gibi tanıdık SQL araçları aracılığıyla yararlanabilen otomatik olarak oluşturulmuş bir SQL analizi uç noktasına sahiptir.

SQL analiz uç noktasını kullanmaya başlamak için bkz . Birlikte daha iyi: Microsoft Fabric'te göl evi ve ambar.

Synapse Veri Ambarı

Microsoft Fabric çalışma alanında Synapse Veri Ambarı veya Ambarı, Tür sütununun altında 'Ambar' olarak etiketlenmiştir. Ambar işlemleri, DDL ve DML sorgularını destekler.

Yalnızca salt okunur sorguları destekleyen ve görünümler ile TVF'lerin oluşturulmasını destekleyen bir SQL analizi uç noktasından farklı olarak, Ambar tam işlem DDL ve DML desteğine sahiptir ve bir müşteri tarafından oluşturulur. Ambar, COPY INTO, Pipelines, Dataflows veya CREATE TABLE AS SELECT (CTAS), INSERT.. gibi veritabanları arası alım seçenekleri gibi desteklenen veri alımı yöntemlerinden biriyle doldurulur. SELECT veya SELECT INTO.

Ambar'ı kullanmaya başlamak için bkz . Microsoft Fabric'te ambar oluşturma.

Lakehouse'un Ambar ve SQL analiz uç noktasını karşılaştırma

Bu bölümde, Microsoft Fabric'teki Ambar ve SQL analiz uç noktası arasındaki farklar açıklanmaktadır.

SQL analiz uç noktası ve Ambar dahil olmak üzere veri ambarı için Doku çalışma alanı diyagramı.

SQL analiz uç noktası, Microsoft Fabric'teki bir Lakehouse'dan oluşturuldukça otomatik olarak oluşturulan salt okunur bir ambardır. Bir Lakehouse'da Spark aracılığıyla oluşturulan delta tabloları SQL analiz uç noktasında otomatik olarak tablo olarak bulunabilir. SQL analiz uç noktası, veri mühendislerinin Lakehouse'daki fiziksel verilerin üzerine ilişkisel bir katman oluşturmasına ve SQL bağlantı dizesi kullanarak bunu analiz ve raporlama araçlarına sunmasına olanak tanır. Veri analistleri daha sonra Synapse Veri Ambarı'nın kullanıldığı Lakehouse verilerine erişmek için T-SQL kullanabilir. SQL analytics uç noktasını kullanarak ambarınızı IŞ zekası gereksinimleri ve veri sunma için tasarlar.

Synapse Veri Ambarı veya Ambarı 'geleneksel' bir veri ambarıdır ve kurumsal veri ambarı gibi tam işlemsel T-SQL özelliklerini destekler. Tabloların ve verilerin otomatik olarak oluşturulduğu SQL analytics uç noktasının aksine, Microsoft Fabric portalını veya T-SQL komutlarını kullanarak veri ambarında tablo oluşturma, yükleme, dönüştürme ve sorgulama işlemleri tamamen sizin denetiminizdedir.

Microsoft Fabric'te verilerinizi sorgulama hakkında daha fazla bilgi için bkz . Sql analytics uç noktasını veya Microsoft Fabric'teki Ambar'ı sorgulama.

Farklı depolama özelliklerini karşılaştırma

Analiz kullanım örneklerinize en iyi şekilde hizmet vermek için kullanabileceğiniz çeşitli özellikler vardır. Genel olarak, depo diğer tüm özelliklerin üst kümesi olarak düşünülebilir ve T-SQL sağlayan diğer tüm analiz teklifleri arasında sinerjik bir ilişki sağlar.

Doku içinde, Bir Ambar, Lakehouse ve hatta bir Power BI veri akıllı makinesi arasında karar vermeleri gerekebilecek kullanıcılar vardır.

Microsoft Fabric teklifi

Depo

Lakehouse'un SQL analiz uç noktası

Power BI datamart

Lisanslama

Doku veya Power BI Premium

Yalnızca Power BI Premium

Birincil özellikler

T-SQL'de işlem desteğiyle ACID uyumlu, tam veri ambarı.

T-SQL sorgulama ve sunma için Lakehouse için sistem tarafından oluşturulan sql analiz uç noktası salt okunur. Lakehouse Delta tablolarında analizi ve kısayollar aracılığıyla başvuruda bulunan Delta Lake klasörlerini destekler.

Kodsuz veri ambarı ve T-SQL sorgulama

Geliştirici profili

SQL Geliştiricileri veya vatandaş geliştiriciler

Veri Mühendisi veya SQL Geliştiricileri

Yalnızca vatandaş geliştirici

Önerilen kullanım örneği

Kurumsal kullanım için Veri Depolama
Departman, iş birimi veya self servis kullanımını destekleyen Veri Depolama
Tablolar, görünümler, yordamlar ve işlevler ile T-SQL'de yapılandırılmış veri analizi ve BI için Gelişmiş SQL desteği

Göl evinden delta tablolarını keşfetme ve sorgulama
Analiz için Hazırlama Verileri ve Arşiv Bölgesi
Bronz, gümüş ve altın analiz bölgelerine sahip madalyon göl evi mimarisi
Kurumsal analiz kullanım örnekleri için Ambar ile eşleştirme

Küçük departman veya iş birimi ambarı kullanım örnekleri
Self servis veri ambarı kullanım örnekleri
Power BI veri akışları için giriş bölgesi ve BI için basit SQL desteği

Geliştirme deneyimi

Veri alımı, modelleme ve sorgulama için T-SQL veri alımı, modelleme, geliştirme ve sorgu kullanıcı arabirimi deneyimleri için tam destek içeren Ambar Düzenleyicisi
1. ve 3. taraf araçları için okuma / yazma desteği

Görünümler, tablo değerli işlevler ve SQL Sorguları için sınırlı T-SQL desteğine sahip Lakehouse SQL analiz uç noktası
Modelleme ve sorgulama için kullanıcı arabirimi deneyimleri
1. ve 3. taraf araçlar için sınırlı T-SQL desteği

Kullanıcı arabirimi deneyimleri ve sorgu desteğine sahip Datamart Düzenleyicisi
Veri alımı, modelleme ve sorgulama için kullanıcı arabirimi deneyimleri
1. ve 3. taraf araçları için salt okunur destek

T-SQL özellikleri

Tam DQL, DML ve DDL T-SQL desteği, tam işlem desteği

Tam DQL, DML Yok, SQL Görünümleri ve TVF'ler gibi sınırlı DDL T-SQL Desteği

Yalnızca Tam DQL

Veri yükleme

SQL, işlem hatları, veri akışları

Spark, işlem hatları, veri akışları, kısayollar

Yalnızca veri akışları

Delta tablosu desteği

Delta tablolarını okur ve yazar

Delta tablolarını okur

Depolama katmanı

Açık Veri Biçimi - Delta

Lakehouse'un SQL analiz uç noktasında otomatik olarak oluşturulan şema

SQL analytics uç noktası, çalışma alanı kullanıcılarının bunları değiştirememeleri için otomatik olarak oluşturulan tabloları yönetir. Kullanıcılar kendi SQL şemalarını, görünümlerini, yordamlarını ve diğer veritabanı nesnelerini ekleyerek veritabanı modelini zenginleştirebilir.

Lakehouse'unuzda her Delta tablosu için SQL analiz uç noktası otomatik olarak bir tablo oluşturur.

SQL analiz uç noktasındaki tablolar gecikmeli olarak oluşturulur. Delta Lake klasörünü/tablosunu gölde oluşturduktan veya güncelleştirdiğinizde, göl verilerine başvuran ambar tablosu hemen oluşturulmaz/yenilenmez. Değişiklikler 5-10 saniye sonra ambara uygulanır.

SQL analizi uç noktası için otomatik oluşturulan şema veri türleri için bkz . Microsoft Fabric'te veri türleri.

Microsoft Fabric'te veri ambarı nedir?

Her beceri düzeyi için oluşturulmuş göl merkezli bir SaaS deneyimi