Microsoft Fabric'te Data Factory'de kopyalama etkinliği için Data Warehouse bağlayıcısını yapılandırma

  • Makale

Bu makalede, veri işlem hattındaki kopyalama etkinliğini kullanarak bir Data Warehouse veri kopyalama işleminin nasıl kullanılacağı açıklanmıştır.

Önemli

Microsoft Fabric şu anda ÖNİzLEME aşamasındadır. Bu bilgiler, yayımlanmadan önce önemli ölçüde değiştirilebilen bir yayın öncesi ürünle ilgilidir. Microsoft, burada sağlanan bilgilerle ilgili olarak açık veya zımni hiçbir garanti vermez. Azure'da hizmetin Azure Data Factory belgelerine bakın.

Desteklenen yapılandırma

Kopyalama etkinliği altındaki her sekmenin yapılandırması için sırasıyla aşağıdaki bölümlere gidin.

Genel

Genel sekmesi yapılandırması için Genel'e gidin.

Kaynak

Kopyalama etkinliğinde kaynak olarak Data Warehouse için aşağıdaki özellikler desteklenir.

Kaynak sekmesini ve özellik listesini gösteren ekran görüntüsü.

Aşağıdaki özellikler gereklidir:

  • Veri deposu türü: Çalışma Alanını seçin.

  • Çalışma alanı veri deposu türü: Veri deposu türü listesinden Data Warehouse seçin.

  • Data Warehouse: Çalışma alanından mevcut bir Data Warehouse seçin.

  • Sorguyu kullan: Tablo, Sorgu veya Saklı yordam'ı seçin.

    • Tablo'yu seçerseniz, tablo listesinden var olan bir tabloyu seçin veya Düzenle kutusunu seçerek el ile bir tablo adı belirtin.

      Tablonun kullanım sorgusunu gösteren ekran görüntüsü.

    • Sorgu'yu seçerseniz, kaynak verileri alan bir SQL sorgusu yazmak için özel SQL sorgu düzenleyicisini kullanın.

      Sorgunun kullanım sorgusunu gösteren ekran görüntüsü.

    • Saklı yordam'ı seçerseniz, açılan listeden var olan bir saklı yordamı seçin veya Düzenle kutusunu seçerek kaynak olarak bir saklı yordam adı belirtin.

      Saklı yordamın kullanım sorgusunu gösteren ekran görüntüsü.

Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:

  • Sorgu zaman aşımı (dakika):: Varsayılan değer 120 dakika olan sorgu komutu yürütme zaman aşımı. Bu özellik ayarlanırsa, izin verilen değerler "02:00:00" (120 dakika) gibi bir zaman aralığı biçimindedir.

  • Yalıtım düzeyi: SQL kaynağı için işlem kilitleme davranışını belirtin.

  • Bölüm seçeneği: Data Warehouse'dan veri yüklemek için kullanılan veri bölümleme seçeneklerini belirtin. Yok veya Dinamik aralık'ı seçebilirsiniz.

    Dinamik aralık'ı seçerseniz, paralel etkinleştirilmiş sorgu kullanılırken aralık bölümleme parametreleri?AdfDynamicRangePartitionCondition gerekir. Örnek sorgu: SELECT * FROM <TableName> WHERE ?AdfDynamicRangePartitionCondition.

    Dinamik aralığı gösteren ekran görüntüsü.

    • Bölüm sütunu adı: Paralel kopyalama için aralık bölümleme tarafından kullanılan kaynak sütunun adını tamsayı veya tarih/tarih saat türünde (int, smallint, bigint, date, smalldatetime, datetime, datetime2veya datetimeoffset) belirtin. Belirtilmezse, tablonun dizini veya birincil anahtarı otomatik olarak algılanır ve bölüm sütunu olarak kullanılır.
    • Bölüm üst sınırı: Bölüm aralığı bölme için bölüm sütununun en büyük değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımını belirlemek için kullanılır. Tablo veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır.
    • Bölüm alt sınırı: Bölüm aralığı bölme için bölüm sütununun en küçük değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımını belirlemek için kullanılır. Tablo veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır.

  • Ek sütunlar: Kaynak dosyaların göreli yolunu veya statik değerini depolamak için ek veri sütunları ekleyin. İfade, ikincisi için desteklenir.

    Ek sütunları gösteren ekran görüntüsü.

Hedef

Kopyalama etkinliğinde Hedef olarak Data Warehouse için aşağıdaki özellikler desteklenir.

Hedef sekmesini ve özellik listesini gösteren ekran görüntüsü.

Aşağıdaki özellikler gereklidir:

  • Veri deposu türü: Çalışma Alanını seçin.
  • Çalışma alanı veri deposu türü: Veri deposu türü listesinden Data Warehouse seçin.
  • Data Warehouse: Çalışma alanından mevcut bir Data Warehouse seçin.
  • Tablo: Tablo listesinden var olan bir tabloyu seçin veya hedef olarak bir tablo adı belirtin.

Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:

  • Komut ayarlarını kopyala: Kopyalama komutu özelliklerini belirtin.

    Kopyalama komutu ayarlarının varsayılan değerlerini gösteren ekran görüntüsü.

  • Tablo seçenekleri: Kaynak şemaya göre hiçbiri yoksa hedef tablonun otomatik olarak oluşturulup oluşturulmayacağını belirtin. Yok'u veya Tabloyu otomatik olarak oluştur'u seçebilirsiniz.

  • Ön kopyalama betiği: Her çalıştırmada Data Warehouse veri yazmadan önce çalıştırılacak bir SQL sorgusu belirtin. Önceden yüklenmiş verileri temizlemek için bu özelliği kullanın.

  • Toplu iş yazma zaman aşımı: Toplu ekleme işleminin zaman aşımına uğramadan önce bitmesini bekleme süresi. İzin verilen değerler zaman aralığı biçimindedir. Varsayılan değer :"00:30:00" (30 dakika).

  • Performans ölçümleri analizini devre dışı bırakma: Hizmet, kopyalama performansı iyileştirme ve öneriler için ölçümleri toplar. Bu davranışla ilgileniyorsanız bu özelliği kapatın.

Kaynak verileriniz Azure Blob Depolama veya Azure Data Lake Storage 2. Nesil içindeyse ve biçim COPY deyimi uyumluysa, kopyalama etkinliği doğrudan COPY komutunu çağırarak Data Warehouse verileri kaynaktan çekmesine izin verir.

  1. Kaynak veriler ve biçim aşağıdaki türleri ve kimlik doğrulama yöntemlerini içerir:

    Desteklenen kaynak veri deposu türü Desteklenen biçim Desteklenen kaynak kimlik doğrulama türü
    Azure Blob Depolama Sınırlandırılmış metin
    Parquet    		 Anonim kimlik doğrulama
    Paylaşılan erişim imzası kimlik doğrulaması
    Azure Data Lake Storage Gen2 Sınırlandırılmış metin
    Parquet    		 Paylaşılan erişim imzası kimlik doğrulaması

  2. Aşağıdaki Biçim ayarları ayarlanabilir:

    1. Parquet için: sıkıştırma sıkıştırma, Snappy veya GZip olamaz.
    2. Sınırlandırılmış metin için:
      1. rowDelimiter açıkça tek karakter veya "\r\n" olarak ayarlanır, varsayılan değer desteklenmez.
      2. nullValue varsayılan olarak bırakılır veya boş dize ("") olarak ayarlanır.
      3. encodingName varsayılan olarak bırakılır veya utf-8 veya utf-16 olarak ayarlanır.
      4. skipLineCount varsayılan olarak bırakılır veya 0 olarak ayarlanır.
      5. sıkıştırma , sıkıştırma veya GZip olamaz.

  3. Kaynağınız bir klasörse kopyalama recursive etkinliğinde true olarak ayarlanmalıdır.

  4. modifiedDateTimeStart, modifiedDateTimeEnd, prefix, enablePartitionDiscovery, ve additionalColumns belirtilmedi.

Kaynak veri deponuz ve biçiminiz başlangıçta bir COPY deyimi tarafından desteklenmiyorsa, bunun yerine COPY deyimi özelliğini kullanarak Aşamalı kopyayı kullanın. Aşamalı kopyalama özelliği size daha iyi aktarım hızı da sağlar. Verileri otomatik olarak COPY deyimiyle uyumlu bir biçime dönüştürür, ardından verileri Data Warehouse yüklemek için copy deyimini çağırır.

Eşleme

Eşleme sekmesi yapılandırması için Eşleme'ye gidin.

Ayarlar

Ayarlar sekmesi yapılandırması için Ayarlar'a gidin.

Tablo özeti

Aşağıdaki tablolar Data Warehouse'daki kopyalama etkinliği hakkında daha fazla bilgi içerir.

Kaynak bilgileri

Adı Açıklama Değer Gerekli JSON betik özelliği
Veri deposu türü Veri deposu türünüz. Çalışma alanı Yes /
Çalışma alanı veri deposu türü Çalışma alanı veri deposu türünüzü seçme bölümü. Data Warehouse Yes tür
Data Warehouse Kullanmak istediğiniz Data Warehouse. <veri ambarınız> Yes endpoint
Artifactıd
Sorgu kullanma Data Warehouse'dan veri okuma yolu. •Tablo
•Sorgu
• Saklı yordam		 Hayır (-altındatypeProperties>source)
• typeProperties:
 schema
 tablo
• sqlReaderQuery
• sqlReaderStoredProcedureName
Sorgu zaman aşımı (dakika) Varsayılan değer 120 dakika olan sorgu komutu yürütme zaman aşımı. Bu özellik ayarlanırsa, izin verilen değerler "02:00:00" (120 dakika) gibi bir zaman aralığı biçimindedir. timespan Hayır Querytimeout
Yalıtım düzeyi Kaynak için işlem kilitleme davranışı. •Hiçbiri
•An -lık görüntü		 Hayır ısolationlevel
Bölüm seçeneği Data Warehouse'dan veri yüklemek için kullanılan veri bölümleme seçenekleri. •Hiçbiri
• Dinamik aralık		 Hayır Partitionoption
Bölüm sütun adı Paralel kopyalama için aralık bölümleme tarafından kullanılan tamsayı veya tarih/tarih saat türünde (int, smallint, bigint, date, smalldatetime, , datetime, datetime2veya datetimeoffset) kaynak sütunun adı. Belirtilmezse, tablonun dizini veya birincil anahtarı otomatik olarak algılanır ve bölüm sütunu olarak kullanılır. <bölüm sütunu adı> Hayır partitionColumnName
Bölüm üst sınırı Bölüm aralığı bölme için bölüm sütununun en yüksek değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımını belirlemek için kullanılır. Tablo veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır. <bölüm üst sınırı> Hayır partitionUpperBound
Bölüm alt sınırı Bölüm aralığı bölme için bölüm sütununun en düşük değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımını belirlemek için kullanılır. Tablo veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır. <bölüm alt sınırı> Hayır partitionLowerBound
Ek sütunlar Kaynak dosyaların göreli yolunu veya statik değerini depolamak için ek veri sütunları ekleyin. •Adı
•Değer		 Hayır additionalColumns:
•Adı
•Değer

Hedef bilgileri

Adı Açıklama Değer Gerekli JSON betik özelliği
Veri deposu türü Veri deposu türünüz. Çalışma alanı Yes /
Çalışma alanı veri deposu türü Çalışma alanı veri deposu türünüzü seçme bölümü. Data Warehouse Yes tür
Data Warehouse Kullanmak istediğiniz Data Warehouse. <veri ambarınız> Yes endpoint
Artifactıd
Tablo Veri yazacak hedef tablo. <hedef tablonuzun adı> Yes schema
tablo
Komut ayarlarını kopyalama Kopyalama komutu özellik ayarları. Varsayılan değer ayarlarını içerir. Varsayılan değer:
•Sütun
•Değer		 Hayır copyCommandSettings:
defaultValues:
•Columnname
• defaultValue
Tablo seçeneği Kaynak şemaya göre hiçbiri yoksa hedef tablonun otomatik olarak oluşturulup oluşturulmayacağı. •Hiçbiri
• Otomatik tablo oluşturma		 Hayır Tableoption:

• otomatik Oluştur
Ön kopyalama betiği Her çalıştırmada Data Warehouse veri yazmadan önce çalıştırılacak bir SQL sorgusu. Önceden yüklenmiş verileri temizlemek için bu özelliği kullanın. <kopyalama öncesi betiği> Hayır preCopyScript
Toplu iş yazma zaman aşımı Toplu ekleme işleminin zaman aşımına uğramadan önce bitmesini bekleme süresi. İzin verilen değerler zaman aralığı biçimindedir. Varsayılan değer :"00:30:00" (30 dakika). timespan Hayır writeBatchTimeout
Performans ölçümleri analizini devre dışı bırakma Hizmet, kopyalama performansı iyileştirmesi için ölçümler ve ek ana veritabanı erişimi sunan öneriler toplar. seçme veya seçimini kaldırma Hayır disableMetricsCollection:
true veya false

Sonraki adımlar