Microsoft Fabric'te veri depolama

Microsoft Fabric, birleştirilmiş bir platformda analiz, gerçek zamanlı işleme ve operasyonel raporlamayı desteklemek için tasarlanmış birden çok depolama seçeneği sunar. Doğru depolama deneyimini seçmek performansı iyileştirmenize, maliyetleri yönetmenize ve veri mimarinizi iş yükü gereksinimleriyle uyumlu hale getirmenize yardımcı olur. Kaynak veya hazırlık yöntemi ne olursa olsun, tüm veriler OneLake adlı birleşik bir depolama temeline iner.

Bu makalede verilerin Doku'da nasıl depolandığı ve kullanılabilir temel depolama deneyimleri açıklanmaktadır. Aşağıdaki bölümler şunları kapsar:

  • OneLake – Tüm Fabric platformu iş yüklerini destekleyen birleşik, mantıksal veri gölü.
  • Lakehouse : Delta tablolarını kullanarak yapılandırılmış ve yapılandırılmamış verileri depolayın ve analiz edin.
  • Depolama – Yüksek performanslı SQL analizi için optimize edilmiş ilişkisel verileri depolar.
  • Eventhouse : Yüksek hacimli, gerçek zamanlı olay verilerini depolayın ve sorgulayın.
  • Veritabanları ve diğer depolama deneyimleri – Doku içinde kullanılabilen ek depolama özelliklerini anlayın.

Her depolama seçeneğinin nasıl çalıştığını anlamak ve analitik ve operasyonel senaryolarınız için en uygun olanı seçmek için bu genel bakışı kullanın.

Esnek veri depolama için Lakehouse

Lakehouse, Doku'da verileri hem dosya hem de tablo biçimlerinde depolamak için OneLake kullanan temel bir depolama öğesidir. Lakehouse, OneLake'te seçilmiş bir klasör yapısını temsil eder ve bir SQL arabirimi içerir. Lakehouse verileri Delta Parquet dosyaları olarak depolar. CSV dosyaları veya resimler gibi ham dosyaları klasörlerde düzenleyebilir ve yapılandırılmış veriler için yönetilen Delta tabloları oluşturabilirsiniz. Bu model aynı ortamda hem yapılandırılmış hem de yapılandırılmamış verileri destekler.

Fabric, her Lakehouse için otomatik olarak bir SQL analiz uç noktası oluşturur. Siz ve Power BI gibi araçlar Transact-SQL kullanarak ilişkisel veritabanını sorgular gibi Delta tablolarını sorgulayabilirsiniz. Lakehouse, bir veri gölünün ölçeklenebilirliğini ve esnekliğini doğrudan tablo sorgulama ve şema yönetimi gibi temel ambar özellikleriyle birleştirir.

Yapılandırılmış analiz için ambar

Fabric'teki Depo, Fabric'in birleşik depolama alanında tablolar, SQL görünümleri, saklı yordamlar ve daha fazlasını içeren geleneksel bir SQL veri ambarı deneyimi sağlar. Bir ambar oluşturduğunuzda, verileri OneLake'te Delta biçiminde, ANSI SQL arabirimi ile düzenli bir Delta tabloları kümesi olarak depolar. Veri Ambarı, karmaşık SQL sorguları ve BI tarzı iş yükleri için özel hesaplama kaynakları ve ince ayarlanmış performans sağlar. Tablolarda dizin oluşturma, saklı yordamlar ve sağlam ACID işlemleri gibi özellikleri destekler.

Warehouse ve Lakehouse aynı temel OneLake depolama alanını paylaşır. Gerektiğinde kısayolları veya diğer birlikte çalışabilirlik özelliklerini kullanarak bunları tümleştirebilirsiniz. Ancak, bunları genellikle farklı kullanım örnekleri için ayrı tutarsınız. Veri Ambarı, SQL ile dilimleyip parçalayabileceğiniz yapılandırılmış, ilişkisel yıldız şeması verileri için idealdir. Verileri Ambar'a yüklemek için Doku işlem hatlarını kullanabilirsiniz. Power BI, içeri aktarma olmadan veri almak için Direct Lake veya DirectQuery kullanarak bağlanabilir.

Karar kılavuzu: Lakehouse ve Warehouse karşılaştırması

Depolar ve Lakehouse'lar ayrı ama tamamlayıcı roller sunar.

  • Ambarlar, tam T-SQL desteği, ACID işlemleri ve güçlü şema zorlaması ile yapılandırılmış, kurumsal ölçekli veri ambarlaması için optimize edilmiştir; iş zekası ve raporlama için idealdir. Yönetilen, yüksek performanslı SQL iş yükleri için bir Veri Ambarı ve büyük veri işleme, araştırma analizi ve çeşitli veri biçimleri veya dış göl tümleştirmesi içeren senaryolar için bir Lakehouse seçin.

  • Lakehouses, otomatik uç noktalar aracılığıyla Spark tabanlı veri mühendisliğini ve salt okunur SQL analizini destekleyen, hem yapılandırılmış hem de yapılandırılmamış veriler için esnek, ölçeklenebilir depolama sunar.

Birçok kuruluş, her iki yapıdan da yararlanıyor: Alım ve dönüşüm için Lakehouse'lar ve geliştirilmiş analiz ve raporlama için Veri Ambarları. Daha fazla bilgi edinmek için karar kılavuzuna bakın.

Neredeyse gerçek zamanlı çoğaltma için yansıtılmış veritabanları

Fabric'deki yansıtılmış veritabanı, Azure SQL Veritabanı, SQL Server, Azure Cosmos DB veya Snowflake gibi bir dış işletimsel veritabanının sürekli olarak çoğaltılan bir kopyasıdır. Fabric, aynalanmış verileri OneLake'te Delta Lake biçiminde depolar.

Yansıtma, geleneksel ayıklama, dönüştürme, yükleme işlem hatlarına gerek kalmadan kaynağın değişikliklerini neredeyse gerçek zamanlı olarak Fabric'e senkronize eder. Çoğaltmadan sonra veriler SQL uç noktaları aracılığıyla hemen sorgulanabilir hale gelir ve Power BI, Spark not defterleri ve işlem hatları gibi Doku iş yüklerinde kullanılabilir.

Bu mimari, kaynak sistem bütünlüğünü korurken operasyonel verileri analiz ettiğiniz karma işlemsel ve analitik işleme (HTAP) senaryolarını destekler. Kaynak veriler OneLake kısayolları (Azure Data Lake Storage veya başka bir Doku çalışma alanı gibi) aracılığıyla erişilebilen bir konumda zaten depolanıyorsa yansıtma yerine sıfır kopya erişimi için kısayolları kullanmayı göz önünde bulundurun. Yansıtma, sürekli değişiklik verilerinin yakalanması gereken işletimsel veritabanları için en uygun yöntemdir, ancak çoğaltma olmadan canlı, salt okunur erişime ihtiyacınız olduğunda kısayollar idealdir.

Sıfır kopya veri erişimi için OneLake kısayolları

OneLake kısayolları , dış depolama sistemlerindeki veya diğer Doku çalışma alanlarındaki verilere kopyalamadan başvuran mantıksal bağlantılardır. Kısayollar başvuruda bulunılan verilerin yerel OneLake ad alanının bir parçası olarak görünmesini sağlar, böylece tüm Doku işlem altyapıları (Spark, SQL, Power BI) yerel verilerle birlikte kısayol hedeflerini sorgulayabilir. Bu yaklaşım tek bir doğruluk sürümünü korur ve depolama yinelemesini önler.

Kısayol erişimini Microsoft Entra kiracı sınırları arasında genişletmek için OneLake veri paylaşımını da kullanabilirsiniz. Veri sahipleri dış kimlikler için OneLake izinleri verir ve alıcılar kendi çalışma alanlarında paylaşılan veriler için kısayollar oluşturur. Yönetişim politikaları kaynakta uygulanmaya devam eder. Daha fazla bilgi için bkz. OneLake kısayolları ve dış veri paylaşımı.

Gerçek zamanlı olay analizi için Eventhouse

Eventhouse, yüksek hacimli olay verilerini almak, depolamak ve analiz etmek için tasarlanmış ölçeklenebilir bir gerçek zamanlı analiz ortamı sağlar. Real-Time Intelligence iş yükleri için temel altyapıdır.

Eventhouse, Kusto altyapısını temel alan bir veya daha fazla Kusto Sorgu Dili veritabanını barındırıyor. Bu veritabanları verileri alma süresine göre otomatik olarak dizine alır ve bölümler. Kusto Sorgu Dili kullanarak verileri sorgularsınız.

Eventhouse, telemetri, güvenlik günlükleri, uyumluluk kayıtları ve düşük gecikmeli analizler ile yüksek hacimli veri alımı gerektiren finansal işlemler için uygundur.

İşlem iş yükleri için SQL veritabanı

Fabric'teki SQL veritabanları işlemsel ve operasyonel analiz iş yüklerini destekler. Veri tanımı (DDL), işleme (DML) ve sorgulama (DQL) özellikleri dahil olmak üzere T-SQL desteğiyle tam olarak yönetilen bir ilişkisel veritabanı deneyimi sağlar. İşlemsel ve analitik çözümler oluşturmak için saklı yordamları, görünümleri ve işlevleri kullanabilirsiniz.

SQL veritabanları, işlem tablolarını analiz için OneLake'e çoğaltmak için otomatik yansıtma hizmeti kullanır. SQL veritabanı oluşturduğunuzda Fabric, SQL altyapısı değişiklik akışı aracılığıyla ekleme, güncelleştirme ve silme işlemlerini yakalayan ve bu değişiklikleri Delta Parquet dosyaları olarak OneLake'e yazan bir çoğaltma altyapısı başlatır. Çoğaltma neredeyse gerçek zamanlı olarak gerçekleşir ve otomatik olarak başlar. Desteklenen tüm tablolar varsayılan olarak yansıtılır. Bu davranış, OneLake kopyasının işletimsel veritabanıyla eşitlenmiş kalmasını sağlar.

SQL veritabanları, TDS protokolü aracılığıyla Power BI, not defterleri, kullanıcı veri işlevleri, işlem hatları ve dış araçlar gibi diğer Doku deneyimleri ile tümleştirilir. Bu tümleştirme, Doku ortamından çıkmadan veri alımı ve dönüştürmeden görselleştirme ve raporlamaya kadar uçtan uca çözümler oluşturmanıza olanak tanır. Platform dizin oluşturmayı ve performans iyileştirmeyi otomatik olarak işler, bu nedenle altyapıyı el ile ayarlamanız veya yönetmeniz gerekmez.

Dağıtılmış NoSQL iş yükleri için Cosmos DB

Microsoft Fabric'teki Cosmos DB , yüksek aktarım hızı ve genel olarak dağıtılmış uygulamalar için tasarlanmış, tam olarak yönetilen, dağıtılmış bir NoSQL veritabanıdır. Esnek şema modellerini ve yarı yapılandırılmış JSON verilerini destekler.

Cosmos DB, işletimsel performansı etkilemeden analizleri desteklemek için Delta biçiminde OneLake'e otomatik olarak yansıtılır. Çoğaltma sürekli ve neredeyse gerçek zamanlıdır ve el ile yapılandırma gerektirmez.

Çoğaltmadan sonra verilere sql analiz uç noktası üzerinden erişilebilir hale gelir. Transact-SQL kullanarak verileri sorgulayabilir, görünümler oluşturabilir ve Power BI, not defterleri ve işlem hatları ile tümleştirebilirsiniz.

SQL analiz uç noktası, analitik sorguların işlem operasyonlarını engellememesini sağlayarak, yansıtılan verilere salt okunur bir arabirim sağlar. Bu mimari hibrit işlem ve analitik işlemeyi (HTAP) desteklediği için operasyonel ve analitik iş yüklerini tek bir platformda birleştirebilirsiniz.

İş mantığı ve raporlama için anlamsal model

Anlam modelleri , Microsoft Fabric'teki ham verilerin üzerinde iş mantığını, ölçüleri, hiyerarşileri, ilişkileri ve meta verileri tanımlayan yapılandırılmış, seçilmiş katmanı sağlar. Analiz deneyimleri için verileri yorumlanabilir ve platform genelinde yeniden kullanılabilir hale getirir.

Fabric'teki anlamsal modeller, platformun kapasite modeli ve çalışma alanı yapısıyla sıkı bir şekilde tümleştirilmiştir. Anlam modelleri üç sorgu modunu destekler: İçeri Aktarma, DirectQuery ve Direct Lake. Her mod performans, yenilik ve ölçeklenebilirlik arasında farklı dengeler sunar:

  • İçeri aktarma modu , zamanlanmış veya el ile yenilemeler sırasında verileri kaynaktan anlam modeline kopyalar. Power BI bellek içi veriler üzerinde çalıştığından bu mod en hızlı sorgu performansını sunar, ancak kaynak güncelleştirmeleri ile rapor görünürlüğü arasında gecikme süresi sağlar. İçeri aktarma modu, gerçek zamanlı verilerin kritik olmadığı yüksek performanslı panolar için idealdir.

  • DirectQuery modu , verileri anlamsal modelde depolamadan sorguları çalışma zamanında doğrudan kaynak sisteme gönderir. Bu yaklaşım, güncel sonuçlar sağlar, ancak kaynak sistemin yanıt verme hızına göre performansın yavaşlamasına neden olabilir. DirectQuery, operasyonel raporlama gibi veri tazeliğinin hızdan daha önemli olduğu senaryolar için uygundur.

  • Direct Lake modu , Power BI'ın OneLake'te depolanan Delta tablolarını doğrudan sorgulamasına olanak tanır. İçe Aktarma'nın performans özelliklerini DirectQuery'nin güncelliğiyle birleştirir. Veri yinelemesini önler ve ölçeklenebilir, neredeyse gerçek zamanlı analiz için göle özel mimariyi kullanır. Direct Lake, Fabric tarafından yönetilen verilerde büyük ölçekli analizler için önerilir.

Anlamsal modeller ayrıca Doku Veri Aracıları, Power BI Copilot, Ontologies ve Power BI raporları gibi gelişmiş özellikleri bir araya getirerek konuşma yapay zekası, anlamsal arama, kurumsal raporlama ve etki alanları arası mantığı etkinleştirir. İş kullanıcıları ayrıca Excel aracılığıyla anlamsal modellere erişebilir ve burada anlamsal modeldeki canlı verileri kullanan bir PivotTable arabirimindeki verileri ve içgörüleri inceleyebilir.

Karar kılavuzu: Doğru veri depoyu seçin

Microsoft Fabric, her birinin belirli iş yükleri için iyileştirilmiş birden çok veri deposu seçeneği sağlar:

  • Spark ve SQL altyapıları desteğiyle, Delta ve Iceberg gibi büyük ölçekli veri mühendisliği ve açık biçimli depolama için Lakehouse.
  • Veri Ambarı, yüksek performanslı SQL yetenekleri ve kurumsal raporlama için yapılandırılmış, ilişkisel analizler sağlar.
  • Kusto Sorgu Dili kullanarak gerçek zamanlı telemetri ve günlük analizi için Eventhouse.
  • İşlem iş yükleri ve operasyonel analizler için SQL veritabanı.
  • Küresel olarak dağıtılmış NoSQL uygulamaları için Cosmos DB, düşük gecikme süreli erişime sahip çok modelli uygulamalar.
  • Ayrı bir kopyaya ihtiyacınız olmadığında ve tek bir doğruluk sürümünü korumak istediğinizde, dış depolama veya diğer Fabric çalışma alanları ve kiracılarındaki verilere sıfır kopya erişimi için OneLake kısayolları.

Uygun deponun seçilmesi veri yapısına, gecikme süresi gereksinimlerine, sorgu karmaşıklığı ve tümleştirme gereksinimlerine bağlıdır. İhtiyacınız olan veriler erişilebilir bir konumda zaten mevcut olduğunda, kısayollar çoğaltma gereksinimini tamamen ortadan kaldırabilir. Daha fazla kılavuz için bkz. Doğru mağazayı seçme.

İlgili içerik

  • Last updated on