Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
GEÇERLİDİR:
Azure Data Factory Azure Synapse Analytics
İpucu
Verileri taşımanın kolay bir yolunu mu arıyorsunuz? Microsoft Fabric'teki Copy job, işlem hattı oluşturmadan verileri yüklemek için basit ve ölçeklenebilir bir yol sağlar. Nasıl oluşturacağınızı öğrenin.
Azure Data Factory ve Synapse işlem hatlarında, şirket içinde ve bulutta bulunan veri depoları arasında veri kopyalamak için Kopyalama etkinliği kullanabilirsiniz. Verileri kopyaladıktan sonra daha fazla dönüştürmek ve analiz etmek için diğer etkinlikleri kullanabilirsiniz. İş zekası (BI) ve uygulama tüketimi için dönüştürme ve analiz sonuçlarını yayımlamak için de Kopyalama etkinliği kullanabilirsiniz.
Kopyalama etkinliği bir tümleştirme çalışma zamanında yürütülür. Farklı veri kopyalama senaryoları için farklı tümleştirme çalışma zamanı türleri kullanabilirsiniz:
- İnternet üzerinden herhangi bir IP'den genel olarak erişilebilen iki veri deposu arasında veri kopyalarken, kopyalama etkinliği için Azure tümleştirme çalışma zamanını kullanabilirsiniz. Bu tümleştirme çalışma zamanı güvenli, güvenilir, ölçeklenebilir ve küresel olarak kullanılabilir.
- Lokal olarak veya erişim denetimi olan bir ağda (örneğin, bir Azure sanal ağı) bulunan veri depolarına veri kopyalıyorsanız, lokal barındırılan tümleştirme çalışma zamanı altyapısını ayarlamanız gerekir.
Tümleştirme çalışma zamanının her kaynak ve havuz veri deposuyla ilişkilendirilmesi gerekir. Kopyalama etkinliğinin hangi tümleştirme çalışma zamanını kullanacağını nasıl belirlediği hakkında bilgi için, bkz: Hangi IR'nin kullanılacağını belirleme.
Not
Aynı Kopyalama etkinliği kapsamında birden fazla self-hosted tümleştirme çalışma zamanı kullanamazsınız. Etkinliğin kaynağı ve havuzu aynı şirket içinde barındırılan tümleştirme çalışma zamanına bağlanmalıdır.
Bir kaynaktan havuza veri kopyalamak için, Kopyalama etkinliği çalıştıran hizmet şu adımları gerçekleştirir:
- Bir kaynak veri deposundaki verileri okur.
- Serileştirme/seri durumdan çıkarma, sıkıştırma/sıkıştırmayı kaldırma, sütun eşleme vb. gerçekleştirir. Bu işlemleri giriş veri kümesinin, çıktı veri kümesinin ve Kopyalama etkinliği yapılandırmasına göre gerçekleştirir.
- Havuza/hedef veri deposuna veri yazar.
Not
Kendi kendine barındırılan entegrasyon çalışma zamanı, bir Kopyalama etkinliği içinde bir kaynak veya hedef veri deposunda kullanılıyorsa, Kopyalama etkinliğinin başarılı olması için hem kaynak hem de hedef, entegrasyon çalışma zamanını barındıran sunucudan erişilebilir olmalıdır.
Desteklenen veri depoları ve biçimleri
Not
Bir bağlayıcı Önizleme olarak işaretlendiyse bu bağlayıcıyı deneyip bunun hakkındaki görüşlerinizi bize bildirebilirsiniz. Çözümünüzde bir önizleme bağlayıcısı bağımlılığı olmasını istiyorsanız Azure desteğine başvurun.
Desteklenen dosya biçimleri
Azure Data Factory aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye bakın.
- Avro biçimi
- İkili biçim
- Sınırlandırılmış metin biçimi
- Excel biçimi
- Iceberg format (yalnızca Azure Data Lake Storage 2. Nesil için)
- JSON biçimi
- ORC biçimi
- Parquet biçimi
- XML biçimi
dosyaları iki dosya tabanlı veri deposu arasında olduğu gibi kopyalamak için Kopyalama etkinliği kullanabilirsiniz; bu durumda veriler serileştirme veya seri durumdan çıkarma olmadan verimli bir şekilde kopyalanır. Ayrıca, belirli bir biçimdeki dosyaları ayrıştırabilir veya oluşturabilirsiniz, örneğin, aşağıdakileri gerçekleştirebilirsiniz:
- SQL Server veritabanından verileri kopyalayın ve Parquet formatında Azure Data Lake Storage Gen2'ye yazın.
- Şirket içi dosya sisteminden metin (CSV) biçimindeki dosyaları kopyalayın ve Avro biçiminde Azure Blob depolamaya yazın.
- Şirket içi dosya sisteminden sıkıştırılmış dosyaları kopyalayın, aktarım sırasında açın ve ayıklanan dosyaları Azure Data Lake Storage Gen2'ye depolayın.
- Verileri Azure Blob depolamadan Gzip sıkıştırılmış metin (CSV) biçiminde kopyalayın ve Azure SQL Veritabanı yazın.
- Serileştirme/deserileştirme veya sıkıştırma/sıkıştırmayı kaldırma gerektiren daha birçok etkinlik.
Desteklenen bölgeler
Kopyalama etkinliği etkinleştiren hizmet, Azure tümleştirme çalışma zamanı konumlarında listelenen bölgelerde ve coğrafyalarda genel olarak kullanılabilir. Genel kullanıma sunulan topoloji, genellikle bölgeler arası atlamaları önleyen verimli veri taşıma sağlar. Belirli bir bölgedeki Data Factory, Synapse Çalışma Alanları ve veri hareketinin kullanılabilirliğini denetlemek için bkz. Bölgeye göre ürünler .
Yapılandırma
Kopyalama etkinliğini bir işlem hattıyla gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:
- Veri Kopyalama aracı
- Azure portalı
- .NET SDK
- Python SDK'sı
- Azure PowerShell
- REST API
- Azure Resource Manager şablonu
Genel olarak, Azure Data Factory veya Synapse işlem hatlarında Kopyalama etkinliği kullanmak için şunları yapmanız gerekir:
- Kaynak veri deposu ve havuz veri deposu için bağlı hizmetler oluşturun. Desteklenen bağlayıcıların listesini bu makalenin Desteklenen veri depoları ve biçimleri bölümünde bulabilirsiniz. Yapılandırma bilgileri ve desteklenen özellikler için bağlayıcı makalesinin "Bağlı hizmet özellikleri" bölümüne bakın.
- Kaynak ve havuz için veri kümeleri oluşturun. Yapılandırma bilgileri ve desteklenen özellikler için kaynak ve havuz bağlayıcısı makalelerinin "Veri kümesi özellikleri" bölümlerine bakın.
- Kopyalama etkinliği ile bir işlem hattı oluşturun. Sonraki bölümde bir örnek verilmiştir.
Sözdizimi
Aşağıdaki Kopyalama etkinliği şablonu desteklenen özelliklerin tam listesini içerir. Senaryonuza uygun olanları belirtin.
"activities":[
{
"name": "CopyActivityTemplate",
"type": "Copy",
"inputs": [
{
"referenceName": "<source dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<sink dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "<source type>",
<properties>
},
"sink": {
"type": "<sink type>"
<properties>
},
"translator":
{
"type": "TabularTranslator",
"columnMappings": "<column mapping>"
},
"dataIntegrationUnits": <number>,
"parallelCopies": <number>,
"enableStaging": true/false,
"stagingSettings": {
<properties>
},
"enableSkipIncompatibleRow": true/false,
"redirectIncompatibleRowSettings": {
<properties>
}
}
}
]
Söz dizimi ayrıntıları
| Özellik | Açıklama | Gerekli mi? |
|---|---|---|
| Tip | Kopyalama etkinliği için, Copy olarak ayarlayın |
Evet |
| Veri Girişleri | Oluşturduğunuz ve kaynak verilere işaret eden veri kümesini belirtin. Kopyalama etkinliği yalnızca tek bir girişi destekler. | Evet |
| Çıkışlar | Havuz verilerini gösteren oluşturduğunuz veri kümesini belirtin. Kopyalama etkinliği yalnızca tek bir çıkışı destekler. | Evet |
| tipÖzellikleri | Kopyalama etkinliği yapılandırılacak özellikleri belirtin. | Evet |
| kaynak | Kopyalama kaynağı türünü ve verileri almak için ilgili özellikleri belirtin. Daha fazla bilgi için Desteklenen veri depoları ve biçimleri bölümünde listelenen bağlayıcı makalesindeki "Kopyalama etkinliği özellikleri" bölümüne bakın. |
Evet |
| lavabo | Kopyalama havuzu türünü ve veri yazmak için ilgili özellikleri belirtin. Daha fazla bilgi için Desteklenen veri depoları ve biçimleri bölümünde listelenen bağlayıcı makalesindeki "Kopyalama etkinliği özellikleri" bölümüne bakın. |
Evet |
| çevirmen | Kaynaktan hedefe belirgin sütun eşlemeleri belirtin. Bu özellik, varsayılan kopyalama davranışı gereksinimlerinizi karşılamadığında geçerlidir. Daha fazla bilgi için bkz . Kopyalama etkinliğinde şema eşlemesi. |
Hayır |
| veri entegrasyon birimleri | Azure tümleştirme çalışma zamanının veri kopyalama için kullandığı güç miktarını temsil eden bir ölçü belirtin. Bu birimler daha önce bulut Veri Taşıma Birimleri (DMU) olarak biliniyordu. Daha fazla bilgi için bkz. Veri Entegrasyonu Birimleri. |
Hayır |
| paralel kopyalar | kaynaktan veri okurken ve havuza veri yazarken Kopyalama etkinliği kullanmasını istediğiniz paralelliği belirtin. Daha fazla bilgi için bkz . Paralel kopyalama. |
Hayır |
| korumak | Veri kopyalama sırasında meta verilerin/ACL'lerin korunup korunmayacağını belirtin. Daha fazla bilgi için bkz Meta verilerini koruma. |
Hayır |
| Sahnelemeyi etkinleştir hazırlık ayarları |
Verileri doğrudan kaynaktan havuza kopyalamak yerine Blob depolamada ara verilerin hazırlanıp hazırlanmayacağını belirtin. Yararlı senaryolar ve yapılandırma ayrıntıları hakkında bilgi için bkz: Aşamalı kopyalama. |
Hayır |
| Uyumsuz Satırları Atlama Etkinleştir Uygun Olmayan Satır Ayarlarını Yeniden Yönlendir |
Kaynaktan havuza veri kopyalarken uyumsuz satırların nasıl işleneceğini seçin. Daha fazla bilgi için bkz . Hataya dayanıklılık. |
Hayır |
İzleme
Azure Data Factory ve Synapse işlem hatlarındaki Kopyalama etkinliği çalışmasını hem görsel olarak hem de programlı bir şekilde izleyebilirsiniz. Ayrıntılar için Kopyalama etkinliğini izleme bölümüne bakın.
Artımlı kopyalama
Data Factory ve Synapse işlem hatları, delta verilerini bir kaynak veri deposundan havuz veri deposuna artımlı olarak kopyalamanızı sağlar. Ayrıntılar için bkz. Eğitici: Verileri artımlı olarak kopyalama.
Performans ve ayar
Kopyalama etkinliği izleme deneyimi, etkinlik çalıştırmalarınızın her biri için kopyalama performansı istatistiklerini gösterir. Kopyalama etkinliği performansı ve ölçeklenebilirlik kılavuzu, Kopyalama etkinliği aracılığıyla veri taşıma performansını etkileyen önemli faktörleri açıklar. Ayrıca test sırasında gözlemlenen performans değerlerini listeler ve Kopyalama etkinliği performansını iyileştirmeyi açıklar.
Son başarısız çalıştırmadan devam et
Kopyalama etkinliği, dosya tabanlı depolar arasında ikili biçime sahip as-is büyük boyutlu dosyaları kopyaladığınızda ve örneğin Amazon S3'ten Azure Data Lake Storage 2. Nesil'e veri geçirmek için kaynaktan havuza klasör/dosya hiyerarşisini korumayı seçtiğinizde, son başarısız çalıştırmadan devam etmeyi destekler. Şu dosya tabanlı bağlayıcılar için geçerlidir: Amazon S3, Amazon S3 Uyumlu DepolamaAzure Blobu, Azure Data Lake Storage 1. Nesil, Azure Data Lake Storage 2. Nesil, Azure Dosyalar, Dosya Sistemi, FTP, Google Cloud Storage, HDFS, Oracle Cloud Storage ve SFTP.
Kopyalama etkinliğini devam ettirme işlemini aşağıdaki iki yolla kullanabilirsiniz:
Etkinlik düzeyi yeniden denemesi: Kopyalama etkinliğinde yeniden deneme sayısını ayarlayabilirsiniz. İşlem hattı yürütmesi sırasında, bu kopyalama etkinliği çalışma başarısız olursa, sonraki otomatik deneme son denemedeki hata noktasından başlar.
Başarısız etkinlikten yeniden çalıştırma: İşlem hattı yürütmesi tamamlandıktan sonra, ADF kullanıcı arabirimi izleme görünümünde veya program aracılığıyla başarısız etkinlikten yeniden çalıştırmayı tetikleyebilirsiniz. Başarısız etkinlik bir kopyalama etkinliğiyse işlem hattı yalnızca bu etkinlikten yeniden çalıştırılamaz, aynı zamanda önceki çalıştırmanın hata noktasından da devam eder.
Dikkate almak için birkaç nokta:
- Özgeçmiş dosya düzeyinde gerçekleşir. Bir dosyayı kopyalarken kopyalama işlemi başarısız olursa, sonraki çalıştırmada bu dosya tekrar kopyalanacaktır.
- Özgeçmişin düzgün çalışması için, yeniden çalıştırmalar arasındaki kopyalama etkinliği ayarlarını değiştirmeyin.
- Amazon S3, Azure Blob, Azure Data Lake Storage 2. Nesil ve Google Cloud Storage'dan veri kopyaladığınızda, kopyalama etkinliği rastgele sayıda kopyalanan dosyadan devam edebilir. Kaynak olarak dosya tabanlı bağlayıcıların geri kalanı için, şu anda kopyalama işlemi sınırlı sayıda dosyadan devam etmeyi destekler, genellikle on binlerce dosya arasında değişir ve dosya yollarının uzunluğuna bağlı olarak farklılık gösterir; bu sayının ötesindeki dosyalar yeniden çalıştırmalar sırasında yeniden kopyalanır.
İkili dosya kopyalama dışında kalan diğer senaryolarda, kopyalama işlemi yeniden çalıştırıldığında baştan başlatılır.
Not
Şirket içinde barındırılan tümleştirme çalışma zamanı aracılığıyla son başarısız çalıştırmadan devam etme artık yalnızca şirket içinde barındırılan tümleştirme çalışma zamanı sürüm 5.43.8935.2 veya üzerinde desteklenmektedir.
Verilerle birlikte meta verileri koruma
Verileri kaynaktan havuza kopyalarken, data lake geçişi gibi senaryolarda, kopyalama etkinliğini kullanarak meta verileri ve ACL'leri korumayı da seçebilirsiniz. Ayrıntılar için Meta verilerini koruma bölümüne bakın.
Dosya tabanlı havuza meta veri etiketleri ekleme
Havuz Azure Depolama tabanlı olduğunda (Azure data lake storage veya Azure Blob Depolama), dosyalara bazı meta veriler eklemeyi tercih edebiliriz. Bu meta veriler, dosya özelliklerinin bir parçası olarak Anahtar-Değer çiftleri olarak görünür. Tüm dosya tabanlı havuz türleri için işlem hattı parametrelerini, sistem değişkenlerini, işlevleri ve değişkenleri kullanarak dinamik içerikle ilgili meta veriler ekleyebilirsiniz. Buna ek olarak, ikili dosya tabanlı havuz için $ $LASTMODIFIED anahtar sözcüğünü ve özel değerleri havuz dosyasına meta veri olarak kullanarak Son Değiştirme tarih saatini (kaynak dosyanın) ekleme seçeneğiniz vardır.
Şema ve veri türü eşlemesi
Kopyalama etkinliği kaynak verilerinizi havuzunuza nasıl eşlediğini öğrenmek için bkz. Şema ve veri türü eşlemesi.
Kopyalama sırasında ek sütunlar ekleme
Kaynak veri deposundan havuza veri kopyalamaya ek olarak, havuza kopyalanacak ek veri sütunları eklemek için de yapılandırabilirsiniz. Örneğin:
- Dosya tabanlı bir kaynaktan kopyaladığınızda, göreli dosya yolunu, verilerin hangi dosyadan geldiğini izlemek için Dize türünde ek bir sütun olarak depolayın.
- ** Belirtilen kaynak sütununu yeni bir sütun olarak çoğaltın.
- İşlem hattı adı/işlem hattı kimliği gibi ADF sistem değişkenlerini eklemek veya yukarı akış etkinliğinin çıkışındaki diğer dinamik değerleri depolamak için ADF ifadesiyle bir sütun ekleyin.
- Aşağı akış tüketim ihtiyaçlarınızı karşılamak için statik değere sahip bir sütun ekleyin.
Kopyalama etkinliği kaynak sekmesinde aşağıdaki yapılandırmayı bulabilirsiniz. Ayrıca, tanımlı sütun adlarınızı kullanarak kopyalama etkinliği şeması eşlemesindeki bu ek sütunları her zamanki gibi eşleyebilirsiniz.
İpucu
Bu özellik en son veri kümesi modeliyle çalışır. Kullanıcı arabiriminde bu seçeneği görmüyorsanız yeni bir veri kümesi oluşturmayı deneyin.
Program aracılığıyla yapılandırmak için kopyalama etkinliği kaynağınıza additionalColumns özelliğini ekleyin.
| Özellik | Açıklama | Gerekli |
|---|---|---|
| ekİlaveSütunlar | Havuza kopyalamak için ek veri sütunları ekleyin. Dizinin altındaki additionalColumns her nesne fazladan bir sütunu temsil eder. , name sütun adını tanımlar ve value bu sütunun veri değerini belirtir.İzin verilen veri değerleri şunlardır: - $$FILEPATH - ayrılmış değişken, kaynak dosyaların veri kümesinde belirtilen klasör yolunun göreli yolunu depolamayı gösterir. Dosya tabanlı kaynağa uygula.- $$COLUMN:<source_column_name> - ayrılmış bir değişken kalıbı, belirtilen kaynak sütununun başka bir sütun olarak çoğaltıldığını belirtir- İfade - Statik değer |
Hayır |
Örnek:
"activities":[
{
"name": "CopyWithAdditionalColumns",
"type": "Copy",
"inputs": [...],
"outputs": [...],
"typeProperties": {
"source": {
"type": "<source type>",
"additionalColumns": [
{
"name": "filePath",
"value": "$$FILEPATH"
},
{
"name": "newColName",
"value": "$$COLUMN:SourceColumnA"
},
{
"name": "pipelineName",
"value": {
"value": "@pipeline().Pipeline",
"type": "Expression"
}
},
{
"name": "staticValue",
"value": "sampleValue"
}
],
...
},
"sink": {
"type": "<sink type>"
}
}
}
]
İpucu
Ek sütunları yapılandırdıktan sonra Eşleme sekmesinde bunları hedef havuzunuza eşlemeyi unutmayın.
Havuz tablolarını otomatik oluşturma
SQL veritabanına/Azure Synapse Analytics'e veri kopyaladığınızda, hedef tablo yoksa kopyalama etkinliği kaynak verilere göre otomatik olarak oluşturulmasını destekler. Verileri hızla yüklemeye ve SQL veritabanını/Azure Synapse Analytics'i değerlendirmeye başlamanıza yardımcı olmayı amaçlar. Veri alımından sonra havuz tablosu şemasını gözden geçirebilir ve ihtiyaçlarınıza göre ayarlayabilirsiniz.
Bu özellik, herhangi bir kaynaktan aşağıdaki havuz veri depolarına veri kopyalarken desteklenir. ADF yazma kullanıcı arabiriminde
Hataya dayanıklılık
Varsayılan olarak, Kopyalama etkinliği veri kopyalamayı durdurur ve kaynak veri satırları havuz veri satırlarıyla uyumsuz olduğunda bir hata döndürür. Kopyalamanın başarılı olması için, Kopyalama etkinliğini uyumsuz satırları atlayacak ve günlüğe kaydedecek, yalnızca uyumlu verileri kopyalayacak şekilde yapılandırabilirsiniz. Ayrıntılar için Kopyalama etkinliği hataya dayanıklılık kısmına bakın.
Veri tutarlılığı doğrulama
Verileri kaynaktan hedef depoya taşıdığınızda kopyalama etkinliği, verilerin yalnızca kaynaktan hedef depoya başarıyla kopyalanmasının yanında kaynak ve hedef depo arasında tutarlı olduğu doğrulandığından emin olmak için ek veri tutarlılığı doğrulaması yapmanıza olanak sağlar. Veri taşıma sırasında tutarsız dosyalar bulunduktan sonra kopyalama etkinliğini durdurabilir veya tutarsız dosyaları atlamak için hataya dayanıklılık ayarını etkinleştirerek geri kalanını kopyalamaya devam edebilirsiniz. Kopyalama etkinliğinde oturum günlüğü ayarını etkinleştirerek atlanan dosya adlarını alabilirsiniz. Ayrıntılar için bkz . Kopyalama etkinliğinde veri tutarlılığı doğrulaması.
Oturum günlüğü
Kopyalanan dosya adlarınızı günlüğe kaydedebilirsiniz. Bu, kopyalama etkinliği oturum günlüklerini gözden geçirerek verilerin yalnızca kaynaktan hedef depoya başarıyla kopyalanmadığından ve kaynak ve hedef depo arasında tutarlı olduğundan emin olmanıza yardımcı olabilir. Ayrıntılar için bkz. Oturum açma kopyalama etkinliği
İlgili içerik
Aşağıdaki hızlı başlangıçlara, öğreticilere ve örneklere bakın: