Kopyalama Etkinliğini kullanarak verileri taşıma
Not
Bu makale, Data Factory’nin 1. sürümü için geçerlidir. Data Factory hizmetinin geçerli sürümünü kullanıyorsanız bkz. V2'de Kopyalama Etkinliği.
Genel Bakış
Azure Data Factory'da, şirket içi ve bulut veri depoları arasında veri kopyalamak için Kopyalama Etkinliği'ni kullanabilirsiniz. Veriler kopyalandıktan sonra daha fazla dönüştürülebilir ve analiz edilebilir. Kopyalama Etkinliği'ni iş zekası (BI) ve uygulama tüketimi için dönüştürme ve analiz sonuçlarını yayımlamak için de kullanabilirsiniz.
Kopyalama Etkinliği güvenli, güvenilir, ölçeklenebilir ve genel olarak kullanılabilir bir hizmet tarafından desteklenir. Bu makalede Data Factory'de veri taşıma ve Kopyalama Etkinliği ile ilgili ayrıntılar sağlanır.
İlk olarak, iki bulut veri deposu arasında ve şirket içi veri deposu ile bulut veri deposu arasında veri geçişinin nasıl gerçekleştiğini görelim.
Not
Genel olarak etkinlikler hakkında bilgi edinmek için bkz. İşlem hatlarını ve etkinlikleri anlama.
İki bulut veri deposu arasında veri kopyalama
Hem kaynak hem de havuz veri depoları bulutta olduğunda, Kopyalama Etkinliği kaynaktan havuza veri kopyalamak için aşağıdaki aşamalardan geçer. Kopyalama Etkinliğini destekleyen hizmet:
- Kaynak veri deposundaki verileri okur.
- Serileştirme/seri durumdan çıkarma, sıkıştırma/sıkıştırmayı kaldırma, sütun eşleme ve tür dönüştürme gerçekleştirir. Bu işlemleri giriş veri kümesinin, çıktı veri kümesinin ve Kopyalama Etkinliğinin yapılandırmalarına göre yapar.
- Verileri hedef veri deposuna yazar.
Hizmet, veri taşımayı gerçekleştirmek için en uygun bölgeyi otomatik olarak seçer. Bu bölge genellikle havuz veri deposuna en yakın bölgedir.
Şirket içi veri deposu ile bulut veri deposu arasında veri kopyalama
Verileri şirket içi veri deposuyla bulut veri deposu arasında güvenli bir şekilde taşımak için Veri Yönetimi Ağ Geçidi'ni şirket içi makinenize yükleyin. Veri Yönetimi Gateway, karma veri taşıma ve işlemeyi sağlayan bir aracıdır. Bunu veri deposuyla aynı makineye veya veri deposuna erişimi olan ayrı bir makineye yükleyebilirsiniz.
Bu senaryoda Veri Yönetimi Ağ Geçidi serileştirme/seri durumdan çıkarma, sıkıştırma/sıkıştırmayı kaldırma, sütun eşleme ve tür dönüştürme işlemlerini gerçekleştirir. Veriler Azure Data Factory hizmetinden akmıyor. Bunun yerine, Veri Yönetimi Ağ Geçidi verileri doğrudan hedef depoya yazar.
Giriş ve izlenecek yol için bkz. Verileri şirket içi ve bulut veri depoları arasında taşıma . Bu aracı hakkında ayrıntılı bilgi için bkz. Veri Yönetimi Gateway.
Ayrıca Veri Yönetimi Gateway kullanarak Azure IaaS sanal makinelerinde (VM) barındırılan desteklenen veri depolarından/depolarına veri taşıyabilirsiniz. Bu durumda, Veri Yönetimi Ağ Geçidi'ni veri deposunun kendisiyle aynı VM'ye veya veri deposuna erişimi olan ayrı bir VM'ye yükleyebilirsiniz.
Desteklenen veri depoları ve biçimleri
Data Factory’deki Kopyalama Etkinliği bir kaynak veri deposundan havuz veri deposuna verileri kopyalar. Data Factory aşağıdaki veri depolarını destekler. Herhangi bir kaynaktan gelen veriler herhangi bir havuza yazılabilir. Bir depoya veya depodan veri kopyalama hakkında bilgi edinmek için veri deposuna tıklayın.
Not
Kopyalama Etkinliğinin desteklemediği bir veri deposuna/veri deposundan veri taşımanız gerekirse Data Factory’de özel bir etkinliği kendi veri kopyalama/taşıma mantığınızla kullanın. Özel bir etkinlik oluşturma ve kullanma hakkında ayrıntılı bilgi için bkz. Azure Data Factory işlem hattında özel etkinlikler kullanma.
| Kategori | Veri deposu | Kaynak olarak desteklenen | Havuz olarak desteklenen |
|---|---|---|---|
| Azure | Azure Blob Depolama | ✓ | ✓ |
| NoSQL için Azure Cosmos DB | ✓ | ✓ | |
| Azure Data Lake Storage Gen1 | ✓ | ✓ | |
| Azure SQL Veritabanı | ✓ | ✓ | |
| Azure Synapse Analytics | ✓ | ✓ | |
| Azure Bilişsel Arama Dizini | ✓ | ||
| Azure Tablo Depolama | ✓ | ✓ | |
| Veritabanları | Amazon Redshift | ✓ | |
| DB2* | ✓ | ||
| Mysql* | ✓ | ||
| Oracle* | ✓ | ✓ | |
| Postgresql* | ✓ | ||
| SAP Business Warehouse* | ✓ | ||
| SAP HANA* | ✓ | ||
| SQL Server* | ✓ | ✓ | |
| Sybase* | ✓ | ||
| Teradata* | ✓ | ||
| NoSQL | Cassandra* | ✓ | |
| MongoDB* | ✓ | ||
| Dosya | Amazon S3 | ✓ | |
| Dosya Sistemi* | ✓ | ✓ | |
| FTP | ✓ | ||
| HDFS* | ✓ | ||
| SFTP | ✓ | ||
| Diğerleri | Genel HTTP | ✓ | |
| Genel OData | ✓ | ||
| Genel ODBC* | ✓ | ||
| Salesforce | ✓ | ||
| Web Tablosu (HTML tablosu) | ✓ |
Not
* taşıyan veri depoları şirket içi veya Azure IaaS üzerinde olabilir ve bir şirket içi/Azure IaaS makinesine Veri Yönetimi Ağ Geçidi yüklemenizi gerektirir.
Desteklenen dosya biçimleri
Kopyalama Etkinliğini kullanarak dosyaları iki dosya tabanlı veri deposu arasında olduğu gibi kopyalayabilirsiniz . Hem giriş hem de çıkış veri kümesi tanımlarındaki biçim bölümünü atlayabilirsiniz. Veriler serileştirme/seri durumdan çıkarma olmadan verimli bir şekilde kopyalanır.
Kopyalama Etkinliği ayrıca belirtilen biçimlerdeki dosyalardan okur ve dosyalara yazar: Metin, JSON, Avro, ORC ve Parquet ile sıkıştırma codec'i GZip, Deflate, BZip2 ve ZipDeflate desteklenir. Bkz. Ayrıntılarla birlikte desteklenen dosya ve sıkıştırma biçimleri .
Örneğin, aşağıdaki kopyalama etkinliklerini yapabilirsiniz:
- SQL Server veritabanındaki verileri kopyalayın ve ORC biçiminde Azure Data Lake Store'a yazın.
- Şirket içi Dosya Sistemi'nden metin (CSV) biçimindeki dosyaları kopyalayın ve Avro biçiminde Azure Blob'a yazın.
- Şirket içi Dosya Sistemi'nden sıkıştırılmış dosyaları kopyalayın ve sıkıştırmasını açın ve Azure Data Lake Store'a gidin.
- Verileri Azure Blob'dan GZip sıkıştırılmış metin (CSV) biçiminde kopyalayın ve Azure SQL Veritabanına yazın.
Genel olarak kullanılabilir veri taşıma
Azure Data Factory yalnızca Batı ABD, Doğu ABD ve Kuzey Avrupa bölgelerinde kullanılabilir. Ancak, Kopyalama Etkinliğini destekleyen hizmet aşağıdaki bölgelerde ve coğrafyalarda genel olarak kullanılabilir. Genel olarak kullanılabilen topoloji, genellikle bölgeler arası atlamaları önleyen verimli veri hareketini sağlar. Bir bölgede Data Factory ve Veri Taşıma'nın kullanılabilirliği için bkz. Bölgeye göre hizmetler .
Bulut veri depoları arasında veri kopyalama
Hem kaynak hem de havuz veri depoları bulutta olduğunda Data Factory, verileri taşımak için aynı coğrafyadaki havuza en yakın bölgede bir hizmet dağıtımı kullanır. Eşleme için aşağıdaki tabloya bakın:
| Hedef veri depolarının coğrafyası | Hedef veri deposunun bölgesi | Veri taşıma için kullanılan bölge |
|---|---|---|
| Birleşik Devletler | Doğu ABD | Doğu ABD |
| Doğu ABD 2 | Doğu ABD 2 | |
| Central US | Central US | |
| Orta Kuzey ABD | Orta Kuzey ABD | |
| Orta Güney ABD | Orta Güney ABD | |
| Orta Batı ABD | Orta Batı ABD | |
| Batı ABD | Batı ABD | |
| Batı ABD 2 | Batı ABD 2 | |
| Kanada | Doğu Kanada | Orta Kanada |
| Orta Kanada | Orta Kanada | |
| Brezilya | Güney Brezilya | Güney Brezilya |
| Avrupa | Kuzey Avrupa | Kuzey Avrupa |
| West Europe | West Europe | |
| Birleşik Krallık | Batı Birleşik Krallık | Güney Birleşik Krallık |
| Güney Birleşik Krallık | Güney Birleşik Krallık | |
| Asya Pasifik | Güneydoğu Asya | Güneydoğu Asya |
| Doğu Asya | Güneydoğu Asya | |
| Avustralya | Doğu Avustralya | Doğu Avustralya |
| Güneydoğu Avustralya | Güneydoğu Avustralya | |
| Hindistan | Orta Hindistan | Orta Hindistan |
| Batı Hindistan | Orta Hindistan | |
| Güney Hindistan | Orta Hindistan | |
| Japonya | Doğu Japonya | Doğu Japonya |
| Batı Japonya | Doğu Japonya | |
| Güney Kore | Güney Kore - Orta | Güney Kore - Orta |
| Güney Kore - Güney | Güney Kore - Orta |
Alternatif olarak, Kopyalama Etkinliği typePropertiesaltında özelliğini belirterek executionLocation kopyalamayı gerçekleştirmek için kullanılacak Data Factory hizmetinin bölgesini açıkça belirtebilirsiniz. Bu özellik için desteklenen değerler , veri taşıma sütunu için kullanılan bölge'nin üstünde listelenmiştir. Verilerinizin kopyalama sırasında kablo üzerinden bu bölgeden geçtiğine dikkat edin. Örneğin, Kore'deki Azure mağazaları arasında kopyalama yapmak için Japonya bölgesi üzerinden yönlendirmeyi belirtebilirsiniz "executionLocation": "Japan East" (başvuru olarak örnek JSON'a bakın).
Not
Hedef veri deposunun bölgesi önceki listede yoksa veya belirlenemiyorsa, belirtilmediği sürece executionLocation alternatif bir bölgeden geçmek yerine varsayılan olarak Kopyalama Etkinliği başarısız olur. Desteklenen bölge listesi zaman içinde genişletilecektir.
Şirket içi veri deposu ile bulut veri deposu arasında veri kopyalama
Veriler şirket içi (veya Azure sanal makineleri/IaaS) ile bulut depoları arasında kopyalandığında, Veri Yönetimi Ağ Geçidi şirket içi makinede veya sanal makinede veri taşıma gerçekleştirir. Aşamalı kopyalama özelliğini kullanmadığınız sürece veriler buluttaki hizmette akışla aktarılmaz. Bu durumda veriler, havuz veri deposuna yazılmadan önce hazırlama Azure Blob depolama alanı üzerinden akar.
Kopyalama Etkinliği ile işlem hattı oluşturma
Kopyalama Etkinliği ile işlem hattı oluşturmak için birkaç yöntem kullanabilirsiniz:
Kopyalama Sihirbazı'nı kullanarak
Data Factory Kopyalama Sihirbazı, Kopyalama Etkinliği ile işlem hattı oluşturmanıza yardımcı olur. Bu işlem hattı, bağlı hizmetler, veri kümeleri ve işlem hatları için JSON tanımları yazmadan desteklenen kaynaklardan hedeflere veri kopyalamanıza olanak tanır. Sihirbaz hakkındaki ayrıntılar için bkz. Data Factory Kopyalama Sihirbazı .
JSON betiklerini kullanarak
Visual Studio'da Data Factory Düzenleyicisi'ni kullanabilir veya Azure PowerShell işlem hattı için JSON tanımı oluşturabilirsiniz (Kopyalama Etkinliği'ni kullanarak). Ardından, Data Factory'de işlem hattını oluşturmak için dağıtabilirsiniz. Adım adım yönergeler içeren bir öğretici için bkz. Öğretici: Azure Data Factory işlem hattında Kopyalama Etkinliğini kullanma.
JSON özellikleri (ad, açıklama, giriş ve çıkış tabloları ve ilkeler gibi) tüm etkinlik türleri için kullanılabilir. Etkinliğin typeProperties bölümünde bulunan özellikler her etkinlik türüne göre değişir.
Kopyalama Etkinliği için typeProperties , bölüm kaynak ve havuz türlerine bağlı olarak değişir. Kopyalama Etkinliği'nin bu veri deposu için desteklediği tür özellikleri hakkında bilgi edinmek için Desteklenen kaynaklar ve havuzlar bölümünde bir kaynağa/havuza tıklayın.
Aşağıda örnek bir JSON tanımı verilmişti:
{
"name": "ADFTutorialPipeline",
"properties": {
"description": "Copy data from Azure blob to Azure SQL table",
"activities": [
{
"name": "CopyFromBlobToSQL",
"type": "Copy",
"inputs": [
{
"name": "InputBlobTable"
}
],
"outputs": [
{
"name": "OutputSQLTable"
}
],
"typeProperties": {
"source": {
"type": "BlobSource"
},
"sink": {
"type": "SqlSink"
},
"executionLocation": "Japan East"
},
"Policy": {
"concurrency": 1,
"executionPriorityOrder": "NewestFirst",
"retry": 0,
"timeout": "01:00:00"
}
}
],
"start": "2016-07-12T00:00:00Z",
"end": "2016-07-13T00:00:00Z"
}
}
Çıkış veri kümesinde tanımlanan zamanlama etkinliğin ne zaman çalıştırıldığını belirler (örneğin: günlük, gün olarak sıklık ve aralık 1 olarak). Etkinlik, verileri bir giriş veri kümesinden (kaynak) çıkış veri kümesine (havuz) kopyalar.
Kopyalama Etkinliği için birden fazla giriş veri kümesi belirtebilirsiniz. Etkinlik çalıştırilmeden önce bağımlılıkları doğrulamak için kullanılırlar. Ancak yalnızca ilk veri kümesindeki veriler hedef veri kümesine kopyalanır. Daha fazla bilgi için bkz . Zamanlama ve yürütme.
Performans ve ayar
Azure Data Factory'da veri taşıma (Kopyalama Etkinliği) performansını etkileyen önemli faktörleri açıklayan Kopyalama Etkinliği performansı ve ayarlama kılavuzuna bakın. Ayrıca iç test sırasında gözlemlenen performansı listeler ve Kopyalama Etkinliğinin performansını iyileştirmenin çeşitli yollarını açıklar.
Hataya dayanıklılık
Varsayılan olarak, kopyalama etkinliği kaynak ve havuz arasında uyumsuz verilerle karşılaştığında veri kopyalamayı durdurur ve hata döndürür; ancak uyumsuz satırları atlayıp günlüğe kaydedecek şekilde açıkça yapılandırabilir ve kopyanın başarılı olması için yalnızca bu uyumlu verileri kopyalayabilirsiniz. Daha fazla ayrıntı için Kopyalama Etkinliği hataya dayanıklılık bölümüne bakın.
Güvenlik konuları
Azure Data Factory'daki veri taşıma hizmetlerinin verilerinizin güvenliğini sağlamak için kullandığı güvenlik altyapısını açıklayan Güvenlikle ilgili dikkat edilmesi gerekenler bölümüne bakın.
Zamanlama ve sıralı kopyalama
Data Factory'de zamanlama ve yürütmenin nasıl çalıştığı hakkında ayrıntılı bilgi için bkz. Zamanlama ve yürütme. Birden çok kopyalama işlemini ardışık/sıralı bir şekilde ardışık olarak çalıştırmak mümkündür. Sıralı olarak kopyalama bölümüne bakın.
Tür dönüştürmeleri
Farklı veri depolarının farklı yerel tür sistemleri vardır. Kopyalama Etkinliği, aşağıdaki iki adımlı yaklaşımla kaynak türlerden havuz türlerine otomatik tür dönüştürmeleri gerçekleştirir:
- Yerel kaynak türlerinden .NET türüne dönüştürün.
- .NET türünden yerel havuz türüne dönüştürün.
Veri deposu için yerel bir tür sisteminden .NET türüne eşleme, ilgili veri deposu makalesinde yer alır. (Desteklenen veri depoları tablosunda belirli bir bağlantıya tıklayın). Bu eşlemeleri tablolarınızı oluştururken uygun türleri belirlemek için kullanabilirsiniz; böylece Kopyalama Etkinliği doğru dönüştürmeleri gerçekleştirir.
Sonraki adımlar
- Kopyalama Etkinliği hakkında daha fazla bilgi edinmek için bkz. Azure Blob depolamadan Azure SQL Veritabanına veri kopyalama.
- Verileri şirket içi veri deposundan bulut veri deposuna taşıma hakkında bilgi edinmek için bkz. Verileri şirket içinden bulut veri depolarına taşıma.