Kopyalama etkinliğinde Veri Ambarı yapılandırma

Bu makalede, veri ambarından ve veri ambarından veri kopyalamak için veri işlem hattındaki kopyalama etkinliğinin nasıl kullanılacağı özetlenmiştir.

Desteklenen yapılandırma

Kopyalama etkinliği altındaki her sekmenin yapılandırması için sırasıyla aşağıdaki bölümlere gidin.

• Genel
• Kaynak
• Hedef
• Eşleme
• Ayarlar

Genel

Genel sekmesi yapılandırması için Genel'egidin.

Kaynak

Veri Ambarı için aşağıdaki özellikler kopyalama etkinliğinde Kaynak olarak desteklenir.

Aşağıdaki özellikler gereklidir:

• Veri deposu türü: Çalışma Alanını seçin.

• Çalışma alanı veri deposu türü: Veri deposu türü listesinden Veri Ambarı'nı seçin.

• Veri Ambarı: Çalışma alanından mevcut bir Veri Ambarı'nı seçin.

• Sorguyu kullan: Tablo, Sorgu veya Saklı yordam'ı seçin.

  • Tablo'yu seçerseniz, tablo listesinden varolan bir tabloyu seçin veya Düzenle kutusunu seçerek tablo adını el ile belirtin.

    

  • Sorgu'yu seçerseniz, kaynak verileri alan bir SQL sorgusu yazmak için özel SQL sorgu düzenleyicisini kullanın.

    

  • Saklı yordam'ı seçerseniz, açılan listeden mevcut bir saklı yordamı seçin veya Düzenle kutusunu seçerek kaynak olarak bir saklı yordam adı belirtin.

    

Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:

• Sorgu zaman aşımı (dakika):Sorgu komutu yürütme için varsayılan olarak 120 dakika olan zaman aşımı. Bu özellik ayarlanırsa, izin verilen değerler "02:00:00" (120 dakika) gibi bir zaman aralığı biçimindedir.

• Yalıtım düzeyi: SQL kaynağı için işlem kilitleme davranışını belirtin.

• Bölüm seçeneği: Veri Ambarı'ndan veri yüklemek için kullanılan veri bölümleme seçeneklerini belirtin. Yok veya Dinamik aralık'ı seçebilirsiniz.

  Dinamik aralık'ı seçerseniz, paralel etkin sorgu kullanılırken aralık bölüm parametresi(?AdfDynamicRangePartitionCondition) gerekir. Örnek sorgu: SELECT * FROM <TableName> WHERE ?AdfDynamicRangePartitionCondition.

  

  • Bölüm sütunu adı: Paralel kopyalama için aralık bölümleme tarafından kullanılan kaynak sütunun adını tamsayı veya tarih/tarih saat türünde (int, smallint, bigintdate, , smalldatetime, datetime, , datetime2veya datetimeoffset) belirtin. Belirtilmezse, tablonun dizini veya birincil anahtarı otomatik olarak algılanır ve bölüm sütunu olarak kullanılır.
  • Bölüm üst sınırı: Bölüm aralığı bölme için bölüm sütununun en büyük değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımlarını belirlemek için kullanılır. Tablo veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır.
  • Bölüm alt sınırı: Bölüm aralığı bölme için bölüm sütununun en düşük değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımlarını belirlemek için kullanılır. Tablo veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır.

• Ek sütunlar: Kaynak dosyaların göreli yolunu veya statik değerini depolamak için ek veri sütunları ekleyin. İfade, ikincisi için desteklenir.

  

Hedef

Veri Ambarı için kopyalama etkinliğinde Hedef olarak aşağıdaki özellikler desteklenir.

Aşağıdaki özellikler gereklidir:

• Veri deposu türü: Çalışma Alanını seçin.
• Çalışma alanı veri deposu türü: Veri deposu türü listesinden Veri Ambarı'nı seçin.
• Veri Ambarı: Çalışma alanından mevcut bir Veri Ambarı'nı seçin.
• Tablo: Tablo listesinden var olan bir tabloyu seçin veya hedef olarak bir tablo adı belirtin.

Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:

• Komut ayarlarını kopyala: Komut kopyalama özelliklerini belirtin.

  

• Tablo seçenekleri: Kaynak şemaya göre hiçbiri yoksa hedef tablonun otomatik olarak oluşturulup oluşturulmayacağını belirtin. Yok'u veya Tabloyu otomatik olarak oluştur'u seçebilirsiniz.

• Ön kopyalama betiği: Her çalıştırmada Veri Ambarı'na veri yazmadan önce çalıştırılacak bir SQL sorgusu belirtin. Önceden yüklenmiş verileri temizlemek için bu özelliği kullanın.

• Toplu iş yazma zaman aşımı: Toplu ekleme işleminin zaman aşımına uğramadan önce bitmesini bekleme süresi. İzin verilen değerler zaman aralığı biçimindedir. Varsayılan değer :"00:30:00" (30 dakika).

• Performans ölçümleri analizini devre dışı bırakma: Hizmet, kopyalama performansı iyileştirme ve öneriler için ölçümler toplar. Bu davranışla ilgileniyorsanız bu özelliği kapatın.

COPY komutunu kullanarak doğrudan kopyalama

Veri Ambarı COPY komutu, kaynak veri depoları olarak Azure Blob Depolama ve Azure Data Lake Storage 2. Nesil doğrudan destekler. Kaynak verileriniz bu bölümde açıklanan ölçütleri karşılıyorsa, doğrudan kaynak veri deposundan Veri Ambarı'na kopyalamak için COPY komutunu kullanın.

1. Kaynak veriler ve biçim aşağıdaki türleri ve kimlik doğrulama yöntemlerini içerir:

   Desteklenen kaynak veri deposu türü	Desteklenen biçim	Desteklenen kaynak kimlik doğrulama türü
   Azure Blob Storage	Sınırlandırılmış metin Parquet	Anonim kimlik doğrulama Hesap anahtarı kimlik doğrulaması Paylaşılan erişim imzası kimlik doğrulaması
   Azure Data Lake Storage 2. Nesil	Sınırlandırılmış metin Parquet	Hesap anahtarı kimlik doğrulaması Paylaşılan erişim imzası kimlik doğrulaması

2. Aşağıdaki Biçim ayarları ayarlanabilir:
   

   1. Parquet için: Sıkıştırma türü None, snappy veya gzip olabilir.
   2. DelimitedText için:
      1. Satır sınırlayıcısı: Sınırlandırılmış metni doğrudan COPY komutuyla Veri Ambarı'na kopyalarken, satır sınırlayıcısını açıkça belirtin (\r; \n; veya \r\n). Yalnızca kaynak dosyanın satır sınırlayıcısı \r\n olduğunda, varsayılan değer (\r, \n veya \r\n) çalışır. Aksi takdirde senaryonuz için hazırlamayı etkinleştirin.
      2. Null değer varsayılan olarak bırakılır veya boş dize ("") olarak ayarlanır.
      3. Kodlama varsayılan olarak bırakılır veya UTF-8 veya UTF-16 olarak ayarlanır.
      4. Satır sayısını atla varsayılan olarak bırakılır veya 0 olarak ayarlanır.
      5. Sıkıştırma türü Yok veya gzip olabilir.

3. Kaynağınız bir klasörse Özyinelemeli onay kutusunu seçmeniz gerekir.

4. En son değiştirilene göre filtrele, Önek, Bölüm bulmayı etkinleştir ve Ek sütunlar belirtilmez.

COPY komutunu kullanarak Veri Ambarınıza veri almayı öğrenmek için bu makaleye bakın.

Kaynak veri deponuz ve biçiminiz başlangıçta COPY komutu tarafından desteklenmiyorsa, bunun yerine COPY komut özelliğini kullanarak Aşamalı kopyayı kullanın. Verileri otomatik olarak COPY komutuyla uyumlu bir biçime dönüştürür, ardından Veri Ambarı'na veri yüklemek için copy komutunu çağırır.

Eşleme

Eşleme sekmesi yapılandırması için, hedef olarak otomatik oluşturma tablosuyla Veri Ambarı'nı uygulamıyorsanız Eşleme'ye gidin.

Veri Ambarı'nı hedef olarak otomatik oluşturma tablosuyla uygularsanız, Eşleme'deki yapılandırma dışında hedef sütunlarınızın türünü düzenleyebilirsiniz. Şemaları içeri aktar'ı seçtikten sonra, hedefinizde sütun türünü belirtebilirsiniz.

Örneğin, kaynaktaki KIMLIK sütununun türü int'tir ve hedef sütuna eşlerken bunu float türü olarak değiştirebilirsiniz.

Ayarlar

Ayarlar sekmesi yapılandırması için Ayarlar gidin.

Tablo özeti

Aşağıdaki tablolar, Veri Ambarı'ndaki kopyalama etkinliği hakkında daha fazla bilgi içerir.

Kaynak bilgileri

Veri Akışı Adı	Açıklama	Değer	Zorunlu	JSON betik özelliği
Veri deposu türü	Veri deposu türünüz.	Çalışma alanı	Yes	/
Çalışma alanı veri deposu türü	Çalışma alanı veri deposu türünüzü seçen bölüm.	Veri Ambarı	Yes	Tür
Veri Ambarı	Kullanmak istediğiniz Veri Ambarı.	<veri ambarınız>	Yes	endpoint Artifactıd
Sorguyu kullanma	Veri Ambarı'ndan veri okuma yolu.	•Tablo •Sorgu • Saklı yordam	Hayır	(->sourcealtında typeProperties ) • typeProperties:  schema  table • sqlReaderQuery • sqlReaderStoredProcedureName
Sorgu zaman aşımı (dakika)	Varsayılan olarak 120 dakika olan sorgu komutu yürütme zaman aşımı. Bu özellik ayarlanırsa, izin verilen değerler "02:00:00" (120 dakika) gibi bir zaman aralığı biçimindedir.	timespan	Hayır	Querytimeout
Yalıtım düzeyi	Kaynak için işlem kilitleme davranışı.	•Hiçbiri •An -lık görüntü	Hayır	ısolationlevel
Bölüm seçeneği	Veri Ambarı'ndan veri yüklemek için kullanılan veri bölümleme seçenekleri.	•Hiçbiri • Dinamik aralık	Hayır	Partitionoption
Bölüm sütunu adı	Paralel kopyalama için aralık bölümleme tarafından kullanılan tamsayı veya tarih/tarih saat türünde (int, smallint, bigint, date, smalldatetime, , datetime, veya datetime2datetimeoffset) kaynak sütunun adı. Belirtilmezse, tablonun dizini veya birincil anahtarı otomatik olarak algılanır ve bölüm sütunu olarak kullanılır.	<bölüm sütunu adı>	Hayır	partitionColumnName
Bölüm üst sınırı	Bölüm aralığı bölme için bölüm sütununun en büyük değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımlarını belirlemek için kullanılır. Tablo veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır.	<bölüm üst sınırı>	Hayır	partitionUpperBound
Bölüm alt sınırı	Bölüm aralığı bölme için bölüm sütununun en düşük değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımlarını belirlemek için kullanılır. Tablo veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır.	<bölüm alt sınırı>	Hayır	partitionLowerBound
Ek sütunlar	Kaynak dosyaların göreli yolunu veya statik değerini depolamak için ek veri sütunları ekleyin.	• Adı •Değer	Hayır	additionalColumns: •Adı •Değer

Hedef bilgileri

Veri Akışı Adı	Açıklama	Değer	Zorunlu	JSON betik özelliği
Veri deposu türü	Veri deposu türünüz.	Çalışma alanı	Yes	/
Çalışma alanı veri deposu türü	Çalışma alanı veri deposu türünüzü seçen bölüm.	Veri Ambarı	Yes	Tür
Veri Ambarı	Kullanmak istediğiniz Veri Ambarı.	<veri ambarınız>	Yes	endpoint Artifactıd
Table	Veri yazmak için hedef tablo.	<hedef tablonuzun adı>	Yes	Şema table
Komut ayarlarını kopyala	Kopyalama komutu özellik ayarları. Varsayılan değer ayarlarını içerir.	Varsayılan değer: •Sütun •Değer	Hayır	copyCommand Ayarlar: defaultValues: •Columnname • defaultValue
Tablo seçeneği	Kaynak şemaya göre hiçbiri yoksa hedef tablonun otomatik olarak oluşturulup oluşturulmayacağı.	•Hiçbiri • Otomatik tablo oluşturma	Hayır	Tableoption: • otomatik Oluştur
Ön kopyalama betiği	Her çalıştırmada Veri Ambarı'na veri yazmadan önce çalıştırılacak bir SQL sorgusu. Önceden yüklenmiş verileri temizlemek için bu özelliği kullanın.	<ön kopyalama betiği>	Hayır	preCopyScript
Toplu iş yazma zaman aşımı	Toplu ekleme işleminin zaman aşımına uğramadan önce bitmesini bekleme süresi. İzin verilen değerler zaman aralığı biçimindedir. Varsayılan değer :"00:30:00" (30 dakika).	timespan	Hayır	writeBatchTimeout
Performans ölçümleri analizini devre dışı bırakma	Hizmet, kopyalama performansı iyileştirmesi için ölçümler ve ek ana veritabanı erişimi sunan öneriler toplar.	seçme veya seçimini kaldırma	Hayır	disableMetricsCollection: true veya false

İlgili içerik

• Veri Ambarı bağlayıcıya genel bakış