Aracılığıyla paylaş

Verileri Ambar'a alma

Şunlar için geçerlidir:✅ Microsoft Fabric'te Ambar

Microsoft Fabric'teki Ambar, kullanıcıların kod içermeyen veya kod açısından zengin deneyimler kullanarak büyük ölçekteki ambarlara veri almalarına olanak sağlayan yerleşik veri alımı araçları sunar.

Hangi veri alımı aracının kullanılacağına karar verme

Hangi veri alımı seçeneğini kullanacağınıza karar vermek için aşağıdaki ölçütleri kullanabilirsiniz:

  • Kod açısından zengin veri alımı işlemleri, mümkün olan en yüksek veri alımı aktarım hızı için veya Transact-SQL mantığının parçası olarak veri alımı eklemeniz gerektiğinde COPY (Transact-SQL) deyimini kullanın.
    • Başlamak için bkz . COPY deyimini kullanarak veri alma
    • Warehouse, BULK INSERT ile eş anlamlı olan geleneksel COPY INTO deyimini klasik yükleme seçenekleriyle de destekler.
    • COPY Warehouse deyimi, Azure depolama hesaplarından ve OneLake lakehouse klasörlerinden veri kaynaklarını destekler. OneLake kaynakları şu anda bir önizleme özelliğidir.
  • Kodsuz veya düşük kodlu, sürekli olarak, zamanlamaya göre çalışan veya büyük hacimli veriler içeren güçlü veri alımı iş akışları için işlem hatlarını kullanın.
    • Başlamak için, işlem hatlarını kullanarak verileri Veri Ambarınıza alma konusunu inceleyin.
    • İşlem hatlarını kullanarak, hedef ortamı hazırlamaya, özel Transact-SQL deyimlerini çalıştırmaya, arama gerçekleştirmeye veya kaynaktan hedefe veri kopyalamaya yardımcı olacak etkinlikler içeren tam ayıklama, dönüştürme, yükleme (ETL) deneyimi için sağlam iş akışlarını düzenleyebilirsiniz.
  • Veri akışlarını, özel dönüştürmelerin veri alımı öncesinde kaynak verilere izin veren kodsuz bir deneyim için kullanın.
    • Başlamak için bkz. Veri akışını kullanarak veri alma.
    • Bu dönüştürmeler arasında veri türlerini değiştirme, sütun ekleme veya kaldırma ya da hesaplanan sütun oluşturmak için işlevleri kullanma sayılabilir (ancak bunlarla sınırlı değildir).
  • Yeni tablolar oluşturmak veya mevcut tabloları aynı çalışma alanı veya dış depolama alanı içindeki kaynak verilerle güncelleştirmek için kod açısından zengin deneyimler için T-SQL alımını kullanın.
    • Başlamak için bkz. Transact-SQL kullanarak verileri Ambarınıza alma.
    • , veya gibi INSERT...SELECTSELECT INTOCREATE TABLE AS SELECT (CTAS) Transact-SQL özelliklerini kullanarak aynı çalışma alanı içindeki diğer ambarlara, göl binalarına veya yansıtılmış veritabanlarına başvuran tablodaki verileri okuyabilir veya dış Azure depolama hesaplarındaki dosyalara başvuran işlevden OPENROWSET verileri okuyabilirsiniz.
    • Fabric çalışma alanınızdaki farklı ambarlar arasında veritabanları arasında da sorgular yazabilirsiniz.

Desteklenen veri biçimleri ve kaynaklar

Microsoft Fabric'teki Ambar için veri alımı, kullanabileceğiniz çok sayıda veri biçimi ve kaynağı sunar. Ana hatlarıyla belirtilen seçeneklerin her biri, desteklenen veri bağlayıcısı türlerinin ve veri biçimlerinin kendi listesini içerir.

T-SQL alımı için tablo veri kaynaklarının aynı Microsoft Fabric çalışma alanında ve dosya veri kaynaklarının Azure Data Lake veya Azure Blob depolama alanında olması gerekir. Sorgular, kaynak veriler için üç bölümlü adlandırma veya OPENROWSET işlevi kullanılarak gerçekleştirilebilir. Tablo veri kaynakları Delta Lake veri kümelerine, OPENROWSET() ise Azure Data Lake veya Azure Blob depolama alanındaki Parquet, CSV veya JSONL dosyalarına başvurabilir.

Örneğin, bir çalışma alanında Inventory ve Sales adlı iki ambar olduğunu varsayalım. Aşağıdaki gibi bir sorgu, Stok ambarında, Stok ambarında bir tablonun içeriğiyle, Satış ambarında bir tabloyla ve müşteri bilgilerini içeren dış dosyalarla birleştirilmiş yeni bir tablo oluşturur:

CREATE TABLE Inventory.dbo.RegionalSalesOrders
AS
SELECT 
    s.SalesOrders,
    i.ProductName,
    c.CustomerName
FROM Sales.dbo.SalesOrders s
JOIN Inventory.dbo.Products i
    ON s.ProductID = i.ProductID
JOIN OPENROWSET( BULK 'abfss://<container>@<storage>.dfs.core.windows.net/<customer-file>.csv' ) AS c
    ON s.CustomerID = c.CustomerID
WHERE s.Region = 'West region';

Note

kullanarak OPENROWSET veri okumak, tablodaki verileri sorgulamaktan daha yavaş olabilir. Aynı dış verilere tekrar tekrar erişmeyi planlıyorsanız, performansı ve sorgu verimliliğini artırmak için bunları ayrılmış bir tabloya almayı göz önünde bulundurun.

COPY (Transact-SQL) deyimi şu anda PARQUET ve CSV dosya biçimlerini destekler. Veri kaynakları için şu anda Azure Data Lake Storage (ADLS) 2. Nesil ve Azure Blob Depolama desteklenir.

İşlem hatları ve veri akışları çok çeşitli veri kaynaklarını ve veri biçimlerini destekler. Daha fazla bilgi için bkz . İşlem Hatları ve Veri Akışları.

En iyi yöntemler

Microsoft Fabric'teki Ambar'daki COPY komut özelliği, SQL iş yükleri için yüksek aktarım hızına sahip veri alımı için basit, esnek ve hızlı bir arabirim kullanır. Geçerli sürümde verileri yalnızca dış depolama hesaplarından yüklemeyi destekliyoruz.

Ayrıca T-SQL dilini kullanarak yeni bir tablo oluşturabilir ve tabloya ekleyebilir ve veri satırlarını güncelleştirip silebilirsiniz. Veriler, veritabanları arası sorgular kullanılarak Microsoft Fabric çalışma alanı içindeki herhangi bir veritabanından eklenebilir. Lakehouse'dan bir ambara veri almak istiyorsanız, bunu çapraz veritabanı sorgusuyla yapabilirsiniz. Örneğin:

INSERT INTO MyWarehouseTable
SELECT * FROM MyLakehouse.dbo.MyLakehouseTable;
  • Sorgularda ve güncelleştirmelerde düşük performansa neden olduğundan tekil ifadeler INSERT kullanarak veri almaktan kaçının. Veri alımı için ardışık singleton INSERT deyimleri kullanıldıysa, CREATE TABLE AS SELECT (CTAS) veya INSERT...SELECT desenlerini kullanarak yeni bir tablo oluşturmanızı, ardından özgün tabloyu silmenizi ve CREATE TABLE AS SELECT (CTAS) ile oluşturduğunuz tablodan kendi tablonuzu tekrar oluşturmanızı tavsiye ederiz.
    • Mevcut tablonuzu bırakmak, semantik modelde yapmış olabileceğiniz özel ölçüler veya özelleştirmeler de dahil olmak üzere semantik modelinizi etkiler.
  • Dosyalar üzerinde dış verilerle çalışırken dosyaların en az 4 MB boyutunda olması önerilir.
  • Büyük sıkıştırılmış CSV dosyaları için dosyanızı birden çok dosyaya bölmeyi göz önünde bulundurun.
  • Azure Data Lake Storage (ADLS) 2. Nesil, Azure Blob Depolama 'den (eski) daha iyi performans sunar. Mümkün olduğunda bir ADLS 2. Nesil hesabı kullanmayı göz önünde bulundurun.
  • Sık çalışan işlem hatları için Azure depolama hesabınızı aynı anda aynı dosyalara erişebilecek diğer hizmetlerden yalıtmayı göz önünde bulundurun.
  • Açık işlemler birden çok veri değişikliğini birlikte gruplandırmanıza olanak sağlar, böylece bunlar yalnızca işlem tam olarak işlendiğinde bir veya daha fazla tablo okunurken görünür hale gelir. Değişikliklerden herhangi biri başarısız olursa işlemi geri alma olanağınız da vardır.
  • SELECT bir işlemin içindeyse ve öncesinde veri eklemeleri varsa, geri alma işleminden sonra otomatik olarak oluşturulan istatistikler yanlış olabilir. Yanlış istatistikler, iyileştirilmemiş sorgu planlarına ve yürütme sürelerine yol açabilir. Büyük bir INSERT işleminden sonra SELECTs ile bir işlemi geri alırsanız, SELECT'inizde belirtilen sütunların istatistiklerini güncelleştirin.

Note

Verileri ambarlara nasıl aldığınıza bakılmaksızın, veri alımı görevi tarafından üretilen parquet dosyaları V-Order yazma iyileştirmesi kullanılarak iyileştirilecektir. V-Order, Parquet dosyalarını Power BI, SQL, Spark ve diğerleri gibi Microsoft Fabric işlem altyapıları altında yıldırım hızında okumaları etkinleştirmek için en iyi duruma getirir. Genel olarak ambar sorguları, bu iyileştirmeyle sorgular için daha hızlı okuma sürelerinden yararlanır ve yine de parquet dosyalarının açık kaynak belirtimiyle %100 uyumlu olduğundan emin olur. Okuma performansını etkileyebileceği için V-Order'ın devre dışı bırakılması önerilmez. V-Order hakkında daha fazla bilgi için bkz . Ambar için V-Order'ı anlama ve yönetme.

İlgili içerik

  • Last updated on