Verileri Ambar'a alma

  • Makale

Şunlar için geçerlidir: Microsoft Fabric'te Ambar

Microsoft Fabric'teki Ambar, kullanıcıların kod içermeyen veya kod açısından zengin deneyimler kullanarak büyük ölçekteki ambarlara veri almalarına olanak sağlayan yerleşik veri alımı araçları sunar.

Veri alımı seçenekleri

Aşağıdaki seçeneklerden birini kullanarak bir Ambara veri alabilirsiniz:

  • COPY (Transact-SQL): COPY deyimi, bir dış Azure depolama hesabından esnek, yüksek aktarım hızına sahip veri alımı sunar. Copy deyimini Transact-SQL kodunda var olan ETL/ELT mantığınızın bir parçası olarak kullanabilirsiniz.
  • Veri işlem hatları: İşlem hatları, veri alımı için kodsuz veya düşük kodlu bir deneyim sunar. İşlem hatlarını kullanarak, hedef ortamı hazırlamaya, özel Transact-SQL deyimlerini çalıştırmaya, arama gerçekleştirmeye veya kaynaktan hedefe veri kopyalamaya yardımcı olacak etkinlikler içeren tam ayıklama, dönüştürme, yükleme (ETL) deneyimi için sağlam iş akışlarını düzenleyebilirsiniz.
  • Veri akışları: İşlem hatlarına alternatif olarak veri akışları, kodsuz bir deneyim kullanarak kolay veri hazırlama, temizleme ve dönüştürme olanağı sağlar.
  • Çapraz ambar alımı: Çalışma alanı kaynaklarından veri alımı da mümkündür. Bu senaryo, farklı bir tablonun alt kümesine sahip yeni bir tablo oluşturma gereksinimi olduğunda veya ambarda ve göl evinde farklı tabloları birleştirmenin bir sonucu olarak gerekli olabilir. Çapraz ambar alımı için, belirtilen seçeneklere ek olarak INSERT gibi Transact-SQL özellikleri... SELECT, SELECT INTO veya CREATE TABLE AS SELECT (CTAS) aynı çalışma alanı içinde çapraz ambarlar arası çalışır.

Hangi veri alımı aracının kullanılacağına karar verme

Hangi veri alımı seçeneğini kullanacağınıza karar vermek için aşağıdaki ölçütleri kullanabilirsiniz:

  • Kod açısından zengin veri alımı işlemleri, mümkün olan en yüksek veri alımı aktarım hızı için veya Transact-SQL mantığının parçası olarak veri alımı eklemeniz gerektiğinde COPY (Transact-SQL) deyimini kullanın. Söz dizimi için bkz . COPY INTO (Transact-SQL).
  • Kodsuz veya düşük kodlu, sürekli olarak, zamanlamaya göre çalışan veya büyük hacimli veriler içeren güçlü veri alımı iş akışları için veri işlem hatlarını kullanın. Daha fazla bilgi için bkz . Veri işlem hatlarını kullanarak veri alma.
  • Veri akışlarını, özel dönüştürmelerin veri alımı öncesinde kaynak verilere izin veren kodsuz bir deneyim için kullanın. Bu dönüştürmeler arasında veri türlerini değiştirme, sütun ekleme veya kaldırma ya da hesaplanan sütun oluşturmak için işlevleri kullanma sayılabilir (ancak bunlarla sınırlı değildir). Daha fazla bilgi için bkz . Veri akışları.
  • Aynı çalışma alanında kaynak verilerle yeni tablolar oluşturmak için kod açısından zengin deneyimler için çapraz ambar alımını kullanın. Daha fazla bilgi için bkz . Transact-SQL kullanarak veri alma ve Veritabanları arası sorgu yazma.

Not

Ambar'daki COPY deyimi, Paylaşılan Erişim İmzası (SAS), Depolama Hesap Anahtarı (SAK) veya genel erişime sahip hesaplar için kimlik doğrulaması ile yalnızca Azure depolama hesaplarındaki veri kaynaklarını destekler. Diğer sınırlamalar için bkz . COPY (Transact-SQL).

Desteklenen veri biçimleri ve kaynaklar

Microsoft Fabric'teki Ambar için veri alımı, kullanabileceğiniz çok sayıda veri biçimi ve kaynağı sunar. Ana hatlarıyla belirtilen seçeneklerin her biri, desteklenen veri bağlayıcısı türlerinin ve veri biçimlerinin kendi listesini içerir.

Çapraz ambar alımı için veri kaynaklarının aynı Microsoft Fabric çalışma alanında olması gerekir. Sorgular, kaynak veriler için üç bölümlü adlandırma kullanılarak gerçekleştirilebilir.

Örneğin, bir çalışma alanında Inventory ve Sales adlı iki ambar olduğunu varsayalım. Aşağıdaki gibi bir sorgu, Stok ambarında, Stok ambarında Satış ambarında bir tabloyla birleştirilen bir tablonun içeriğiyle yeni bir tablo oluşturur:

CREATE TABLE Inventory.dbo.RegionalSalesOrders
AS
SELECT s.SalesOrders, i.ProductName
FROM Sales.dbo.SalesOrders s
JOIN Inventory.dbo.Products i
WHERE s.ProductID = i.ProductID
    AND s.Region = 'West region'

COPY (Transact-SQL) deyimi şu anda PARQUET ve CSV dosya biçimlerini destekler. Veri kaynakları için şu anda Azure Data Lake Depolama (ADLS) 2. Nesil ve Azure Blob Depolama desteklenmektedir.

Veri işlem hatları ve veri akışları çok çeşitli veri kaynaklarını ve veri biçimlerini destekler. Daha fazla bilgi için bkz . Veri işlem hatları ve Veri akışları.

En iyi yöntemler

Microsoft Fabric'teki Ambar'daki COPY komut özelliği, SQL iş yükleri için yüksek aktarım hızına sahip veri alımı için basit, esnek ve hızlı bir arabirim kullanır. Geçerli sürümde verileri yalnızca dış depolama hesaplarından yüklemeyi destekliyoruz.

Ayrıca TSQL kullanarak yeni bir tablo oluşturabilir ve tabloya ekleyebilir, ardından veri satırlarını güncelleştirebilir ve silebilirsiniz. Veriler, veritabanları arası sorgular kullanılarak Microsoft Fabric çalışma alanı içindeki herhangi bir veritabanından eklenebilir. Lakehouse'dan bir ambara veri almak istiyorsanız, bunu çapraz veritabanı sorgusuyla yapabilirsiniz. Örneğin:

INSERT INTO MyWarehouseTable
SELECT * FROM MyLakehouse.dbo.MyLakehouseTable;
  • Sorgularda ve güncelleştirmelerde düşük performansa neden olduğundan, tekil INSERT deyimlerini kullanarak veri almaktan kaçının. Veri alımı için art arda singleton INSERT deyimleri kullanıldıysa CREATE TABLE AS SELECT (CTAS) veya INSERT... kullanarak yeni bir tablo oluşturmanızı öneririz. SELECT desenleri, özgün tabloyu bırakma ve create TABLE AS SELECT (CTAS) kullanarak oluşturduğunuz tablodan tablonuzu yeniden oluşturma.
    • Mevcut tablonuzu bırakmak, semantik modelde yapmış olabileceğiniz özel ölçüler veya özelleştirmeler dahil olmak üzere anlamsal modelinizi etkiler.
  • Dosyalar üzerinde dış verilerle çalışırken dosyaların en az 4 MB boyutunda olması önerilir.
  • Büyük sıkıştırılmış CSV dosyaları için dosyanızı birden çok dosyaya bölmeyi göz önünde bulundurun.
  • Azure Data Lake Depolama (ADLS) 2. Nesil, Azure Blob Depolama 'den (eski) daha iyi performans sunar. Mümkün olduğunda bir ADLS 2. Nesil hesabı kullanmayı göz önünde bulundurun.
  • Sık çalışan işlem hatları için Azure depolama hesabınızı aynı anda aynı dosyalara erişebilecek diğer hizmetlerden yalıtmayı göz önünde bulundurun.
  • Açık işlemler birden çok veri değişikliğini birlikte gruplandırmanıza olanak sağlar, böylece bunlar yalnızca işlem tam olarak işlendiğinde bir veya daha fazla tablo okunurken görünür hale gelir. Değişikliklerden herhangi biri başarısız olursa işlemi geri alma olanağınız da vardır.
  • SELECT bir işlemin içindeyse ve öncesinde veri eklemeleri varsa, geri alma işleminden sonra otomatik olarak oluşturulan istatistikler yanlış olabilir. Yanlış istatistikler, iyileştirilmemiş sorgu planlarına ve yürütme sürelerine yol açabilir. Büyük bir INSERT işleminden sonra SELECTs ile bir işlemi geri alırsanız, SELECT'inizde belirtilen sütunların istatistiklerini güncelleştirin.

Not

Verileri ambarlara nasıl aldığınıza bakılmaksızın, veri alımı görevi tarafından üretilen parquet dosyaları V-Order yazma iyileştirmesi kullanılarak iyileştirilecektir. V-Order, Power BI, SQL, Spark ve diğerleri gibi Microsoft Fabric işlem altyapıları altında yıldırım hızında okumaları etkinleştirmek için parquet dosyalarını iyileştirir. Genel olarak ambar sorguları, bu iyileştirmeyle sorgular için daha hızlı okuma sürelerinden yararlanır ve yine de parquet dosyalarının açık kaynak belirtimiyle %100 uyumlu olduğundan emin olur. Doku Veri Madenciliği aksine, V-Order Synapse Veri Ambarı'nda devre dışı bırakılamayan genel bir ayardır.

İlgili içerik