Kopyalama etkinliği performans iyileştirme özellikleri

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

Bu makalede, Azure Data Factory ve Synapse işlem hatlarında yararlanabileceğiniz kopyalama etkinliği performans iyileştirme özellikleri özetlenmiştir.

Kullanıcı arabirimiyle performans özelliklerini yapılandırma

İşlem hattı düzenleyicisi tuvalinde bir Kopyalama etkinliği seçip tuvalin altındaki etkinlik yapılandırma alanında Ayarlar sekmesini seçtiğinizde, aşağıda ayrıntılı olarak açıklanan tüm performans özelliklerini yapılandırma seçeneklerini görürsünüz.

İşlem hattı düzenleyicisinde, etkinliğin Ayarlar sekmesinde Kopyalama etkinliği performans özelliklerini gösterir.

Veri Tümleştirme Birimleri

Veri Entegrasyonu Birimi, hizmet içindeki tek bir birimin gücünü (CPU, bellek ve ağ kaynağı ayırma birleşimi) temsil eden bir ölçüdür. Veri Tümleştirme Birimi yalnızca Azure tümleştirme çalışma zamanı için geçerlidir, ancak de barındırılan tümleştirme çalışma zamanı için geçerli değildir.

Kopyalama etkinliği çalıştırmasını güçlendirmek için izin verilen DIU'lar 4 ile 256 arasındadır. Belirtilmezse veya kullanıcı arabiriminde "Otomatik" seçeneğini belirlerseniz, hizmet kaynak havuz çiftinize ve veri deseninize göre en uygun DIU ayarını dinamik olarak uygular. Aşağıdaki tabloda farklı kopyalama senaryolarında desteklenen DIU aralıkları ve varsayılan davranış listelenmektedir:

Kopyalama Senaryosu Desteklenen DIU aralığı Hizmet tarafından belirlenen varsayılan DIU'lar
Dosya depoları arasında - Dosyadan veya tek dosyaya kopyalama: 4
- Birden çok dosyadan ve dosyaya kopyalama: Dosyaların sayısına ve boyutuna bağlı olarak 4-256

Örneğin, 4 büyük dosya içeren bir klasörden veri kopyalar ve hiyerarşiyi korumayı seçerseniz, en yüksek etkin DIU 16'dır; dosyayı birleştirmeyi seçtiğinizde en yüksek etkin DIU 4'dür.		 Dosyaların sayısına ve boyutuna bağlı olarak 4 ile 32 arasında
Dosya deposundan dosya olmayan depoya - Tek dosyadan kopyala: 4
- Birden çok dosyadan kopyalama: Dosyaların sayısına ve boyutuna bağlı olarak 4-256

Örneğin, 4 büyük dosya içeren bir klasörden veri kopyalarsanız en yüksek etkin DIU 16'dır.		 - Azure SQL Veritabanı veya Azure Cosmos DB'ye kopyala: hedef katmanı (DTU/RU) ve kaynak dosya desenine bağlı olarak 4 ile 16 arasında
- PolyBase veya COPY deyimini kullanarak Azure Synapse Analytics içine kopyalayın: 2
- Diğer senaryo: 4
Dosya olmayan depodan dosya deposuna - Bölüm seçeneği etkin veri depolarından (PostgreSQL için Azure Veri Tabanı, Azure SQL Veritabanı, Azure SQL Yönetilen Örneği, Azure Synapse Analytics, Oracle, Netezza, SQL Server ve Teradata): Bir klasöre yazarken 4-256 ve tek bir dosyaya yazarken 4'tür. Kaynak veri bölümü başına en fazla 4 DIU kullanabileceğini unutmayın.
- Diğer senaryolar: 4		 - REST veya HTTP'den kopyalama: 1
- UNLOAD kullanarak Amazon Redshift'ten kopyalama: 4
- Diğer senaryo: 4
Dosya tabanlı olmayan depolar arasında - Bölüm seçeneği etkin veri depolarından (PostgreSQL için Azure Veri Tabanı, Azure SQL Veritabanı, Azure SQL Yönetilen Örneği, Azure Synapse Analytics, Oracle, Netezza, SQL Server ve Teradata): Bir klasöre yazarken 4-256 ve tek bir dosyaya yazarken 4'tür. Kaynak veri bölümü başına en fazla 4 DIU kullanabileceğini unutmayın.
- Diğer senaryolar: 4		 - REST veya HTTP'den kopyalama: 1
- Diğer senaryo: 4

Kopyalama etkinliği izleme görünümünde veya etkinlik çıkışında her kopyalama çalıştırması için kullanılan DIU'ları görebilirsiniz. Daha fazla bilgi için bkz. Kopya etkinliği izleme. Bu varsayılanı geçersiz kılmak için özelliği için dataIntegrationUnits aşağıdaki gibi bir değer belirtin. Kopyalama işleminin çalışma zamanında kullandığı gerçek DIU sayısı, veri deseninize bağlı olarak yapılandırılan değere eşit veya daha azdır.

Kullanılan DIU sayısı * kopyalama süresi * birim fiyat/DIU-saat için ücretlendirilirsiniz. Geçerli fiyatları burada görebilirsiniz. Abonelik türü başına yerel para birimi ve ayrı indirim uygulanabilir.

Örnek:

"activities":[
    {
        "name": "Sample copy activity",
        "type": "Copy",
        "inputs": [...],
        "outputs": [...],
        "typeProperties": {
            "source": {
                "type": "BlobSource",
            },
            "sink": {
                "type": "AzureDataLakeStoreSink"
            },
            "dataIntegrationUnits": 128
        }
    }
]

Şirket içinde barındırılan tümleştirme çalışma zamanı ölçeklenebilirliği

Daha yüksek aktarım hızı elde etmek istiyorsanız Kendi barındırılan IR'nin ölçeğini büyütebilir veya genişletebilirsiniz:

  • Kendi barındırdığınız IR düğümünde CPU ve kullanılabilir bellek tam olarak kullanılmıyorsa ancak eşzamanlı işlerin yürütülmesi sınıra ulaşıyorsa, bir düğümde çalışabilecek eşzamanlı iş sayısını artırarak ölçeği büyütmelisiniz. Yönergeler için buraya bakın.
  • Öte yandan, kendi barındırdığı IR düğümünde CPU yüksekse veya kullanılabilir bellek düşükse, yükü birden çok düğüme dağıtmak için yeni bir düğüm ekleyebilirsiniz. Yönergeler için buraya bakın.

Aşağıdaki senaryolarda, tek bir kopyalama etkinliği yürütmesinin kendi kendine barındırılan birden çok IR düğümünden yararlanabileceğini unutmayın.

Paralel kopyalama

Copy etkinliğinin JSON tanımında paralel kopyalama (parallelCopies özelliği) veya kullanıcı arayüzünde Copy etkinliği özelliklerinin Degree of parallelism sekmesindeki ayarı ile, kullanmak istediğiniz paralelliği belirleyebilirsiniz. Bu özelliği, kaynağınızdan okuyan veya hedef veri depolarınıza aynı anda yazan kopyalama etkinliğindeki maksimum iş parçacığı sayısı olarak düşünebilirsiniz.

Paralel kopya, Veri Entegrasyonu Birimlerine veya Şirket içinde barındırılan IR düğümlerine dikgendir. Tüm DIU'lar veya Kendi içinde barındırılan IR düğümleri üzerinde hesaplanır.

Her kopyalama etkinliği çalıştırması için, varsayılan olarak hizmet kaynak havuz çiftinize ve veri deseninize göre en uygun paralel kopyalama ayarını dinamik olarak uygular.

İpucu

Paralel kopyalamanın varsayılan davranışı, genellikle kaynak-hedef çifti, veri deseni ve DIU sayısı veya Self-hosted IR'nin CPU/bellek/düğüm sayısına göre hizmet tarafından otomatik olarak belirlenen en iyi verimi sağlar. Paralel kopyalama ayarlarını ne zaman yapmanız gerektiğini öğrenmek için kopyalama işlemi performansı sorun giderme bölümüne bakın.

Aşağıdaki tabloda paralel kopyalama davranışı listelenir:

Kopyalama Senaryosu Paralel kopyalama davranışı
Dosya depoları arasında parallelCopies , paralelliği dosya düzeyinde belirler. Her dosyadaki bölümleme, otomatik olarak ve kullanıcı müdahalesi olmadan gerçekleşir. Verileri paralel olarak yüklemek üzere belirli bir veri deposu türü için en uygun öbek boyutunu kullanacak şekilde tasarlanmıştır.

Kopyalama etkinliğinin çalışma zamanında kullandığı gerçek paralel kopya sayısı, sahip olduğunuz dosya sayısından fazla değildir. Kopyalama davranışı mergeFile dosya havuzuna ise, kopyalama etkinliği dosya düzeyinde paralellikten yararlanamaz.
Dosya deposundan dosya olmayan depoya - Verileri Azure SQL Veritabanı veya Azure Cosmos DB kopyalarken, varsayılan paralel kopyalama da havuz katmanına (DTU/RU sayısı) bağlıdır.
- Azure Tablosuna veri kopyalarken varsayılan paralel kopya 4'dür.
Dosya olmayan depodan dosya deposuna - Bölüm seçeneği etkin veri deposundan veri kopyalarken (Azure SQL Veritabanı, Azure SQL Yönetilen Örneği, Azure Synapse Analytics, Oracle, Oracle içinAmazon RDS, Netezza, SAP HANA, SAP Open Hub, SAP Table, SQL Server, SQL Server ve Teradata) için Amazon RDS), varsayılan paralel kopya 4'dür. Kopyalama etkinliğinin çalışma zamanında kullandığı gerçek paralel kopya sayısı, sahip olduğunuz veri bölümü sayısından fazla değildir. Kendi barındırdığınız Integration Runtime'ı kullanırken ve Azure Blob/ADLS 2. Nesil'e kopyalama yaparken, IR düğümü başına etkin olan maksimum paralel kopya sayısının 4 veya 5 olduğunu unutmayın.
- Diğer senaryolarda paralel kopyalama geçerli olmaz. Paralellik belirtilse bile uygulanmaz.
Dosya tabanlı olmayan depolar arasında - Verileri Azure SQL Veritabanı veya Azure Cosmos DB kopyalarken, varsayılan paralel kopyalama da havuz katmanına (DTU/RU sayısı) bağlıdır.
- Bölüm seçeneği etkin veri deposundan veri kopyalarken (Azure SQL Veritabanı, Azure SQL Yönetilen Örneği, Azure Synapse Analytics, Oracle, Oracle içinAmazon RDS, Netezza, SAP HANA, SAP Open Hub, SAP Table, SQL Server, SQL Server ve Teradata) için Amazon RDS), varsayılan paralel kopya 4'dür.
- Azure Tablosuna veri kopyalarken varsayılan paralel kopya 4'dür.

Veri depolarınızı barındıran makinelerdeki yükü denetlemek veya kopyalama performansını ayarlamak için varsayılan değeri geçersiz kılabilir ve özelliği için parallelCopies bir değer belirtebilirsiniz. Değer, 1'den büyük veya buna eşit bir tamsayı olmalıdır. Çalışma zamanında, en iyi performans için kopyalama etkinliği ayarladığınız değerden küçük veya buna eşit bir değer kullanır.

özelliği için bir değer belirttiğinizde parallelCopies , kaynak ve havuz veri depolarınızdaki yük artışını dikkate alın. Kopyalama etkinliği tarafından güçlendiriliyorsa, yük artışını kendinde barındırılan tümleştirme çalışma zamanında da dikkate alın. Bu yük artışı, özellikle aynı veri deposu üzerinde çalışan birden fazla veya eşzamanlı etkinlik bulunduğunda gerçekleşir. Veri deposunun veya özel barındırılan tümleştirme çalışma zamanının aşırı yüklendiğini fark ederseniz, yükü hafifletmek için parallelCopies değerini azaltın.

Örnek:

"activities":[
    {
        "name": "Sample copy activity",
        "type": "Copy",
        "inputs": [...],
        "outputs": [...],
        "typeProperties": {
            "source": {
                "type": "BlobSource",
            },
            "sink": {
                "type": "AzureDataLakeStoreSink"
            },
            "parallelCopies": 32
        }
    }
]

Aşamalı kopya

Bir kaynak veri deposundan havuz veri deposuna veri kopyaladığınızda, Azure Blob depolama veya Azure Data Lake Storage 2. Nesil geçici hazırlama deposu olarak kullanmayı seçebilirsiniz. Hazırlama özellikle aşağıdaki durumlarda yararlıdır:

  • Çeşitli veri depolarından PolyBase aracılığıyla Azure Synapse Analytics veri almak, Snowflake'den/Snowflake'e veri kopyalamak veya Amazon Redshift/HDFS'den yüksek performansla veri almak istiyorsunuz. Daha fazla ayrıntı için bkz:
  • Şirket BT ilkeleri nedeniyle güvenlik duvarınızda 80 numaralı bağlantı noktası ve 443 numaralı bağlantı noktası dışındaki bağlantı noktalarını açmak istemezsiniz. Örneğin, şirket içi veri deposundaki verileri bir Azure SQL Veritabanı veya Azure Synapse Analytics kopyaladığınızda, hem Windows güvenlik duvarı hem de şirket güvenlik duvarınız için 1433 numaralı bağlantı noktasında giden TCP iletişimini etkinleştirmeniz gerekir. Bu senaryoda, kademeli kopyalama, ilk olarak 443 portu üzerinden HTTP veya HTTPS ile bir hazırlama depolama alanına veri kopyalamak ve ardından hazırlıktan verileri SQL Veritabanı'na veya Azure Synapse Analytics'e yüklemek için özel barındırılan tümleştirme çalışma zamanından yararlanabilir. Bu akışta 1433 numaralı bağlantı noktasını etkinleştirmeniz gerekmez.
  • Bazen yavaş bir ağ bağlantısı üzerinden karma veri hareketinin (şirket içi veri deposundan bulut veri deposuna kopyalanması) gerçekleştirilmesi biraz zaman alır. Performansı artırmak için, verileri buluttaki hazırlama veri deposuna taşımanın daha az zaman alması için şirket içindeki verileri sıkıştırmak için aşamalı kopyalamayı kullanabilirsiniz. Ardından, hedef veri deposuna yüklemeden önce hazırlama deposundaki verilerin sıkıştırmasını kaldırabilirsiniz.

Aşamalı kopyalama nasıl çalışır?

Hazırlama özelliğini etkinleştirdiğinizde, önce veriler kaynak veri deposundan hazırlama depolama alanına kopyalanır (kendi Azure Blobunuzu veya Azure Data Lake Storage 2. Nesil getirin). Ardından, veriler hazırlık alanından hedef veri deposuna kopyalanır. Kopyalama etkinliği iki aşamalı akışı sizin için otomatik olarak yönetir ve ayrıca veri taşıma tamamlandıktan sonra hazırlama depolama alanından geçici verileri temizler.

Aşamalı kopya

Kopyalama etkinliği çalıştırıldıktan sonra geçici verilerin temizlenebilmesi için hazırlık depolama alanınızdaki Azure Data Factory'e silme izni vermeniz gerekir.

Bir hazırlama deposu kullanarak veri taşımayı etkinleştirdiğinizde, verileri kaynak veri deposundan hazırlama deposuna taşımadan önce verilerin sıkıştırılmasını ve ardından bir geçici veya hazırlama veri deposundan havuz veri deposuna veri taşımadan önce sıkıştırılmasını isteyip istemediğinizi belirtebilirsiniz.

Şu anda, farklı kendi kendine barındırılan IR'ler aracılığıyla bağlı olan iki veri deposu arasında, ne aşamalı kopyalama ile ne de aşamalı kopyalama olmadan veri kopyalayamazsınız. Böyle bir senaryo için, kaynaktan ara aşamaya ve daha sonra ara aşamadan hedefe kopyalamak için iki açıkça zincirlenmiş kopyalama etkinliği yapılandırabilirsiniz.

Yapılandırma

Kopyalama etkinliğindeki enableStaging ayarını, verilerin bir hedef veri deposuna yüklenmeden önce depolamada hazırlanıp hazırlanmayacağını belirtmek için yapılandırın. enableStaging ayarını TRUE olarak belirlediğinizde, aşağıdaki tabloda listelenen ek özellikleri belirtmelisiniz.

Özellik Açıklama Varsayılan değer Zorunlu
enableStaging Geçici bir hazırlama deposu aracılığıyla veri kopyalamak isteyip istemediğinizi belirtin. Yanlış Hayır
bağlantılıHizmetAdı Geçici hazırlama deposu olarak kullandığınız Depolama birimi örneğini ifade eden Azure Blob depolama veya Azure Data Lake Storage 2. Nesil bağlı hizmetinin adını, belirtin. Yok Evet, enableStaging TRUE olarak ayarlandığında
yol Hazırlanan verileri içermesini istediğiniz yolu belirleyin. Yol sağlamazsanız hizmet, geçici verileri depolamak için bir kapsayıcı oluşturur. Yok Hayır (Snowflake bağlayıcısında storageIntegration belirtildiğinde Evet)
sıkıştırmayıEtkinleştir Verilerin hedefe kopyalanmadan önce sıkıştırılıp sıkıştırılmayacağını belirtir. Bu ayar, aktarılan veri hacmini azaltır. Yanlış Hayır

Not

Aşamalı kopyayı sıkıştırma etkin olduğunda kullanırsanız, hazırlık blobu bağlantılı hizmet için hizmet sorumlusu veya MSI kimlik doğrulaması desteklenmez.

Yukarıdaki tabloda açıklanan özelliklere sahip bir kopyalama etkinliğinin örnek tanımı aşağıda verilmiştir:

"activities":[
    {
        "name": "CopyActivityWithStaging",
        "type": "Copy",
        "inputs": [...],
        "outputs": [...],
        "typeProperties": {
            "source": {
                "type": "OracleSource",
            },
            "sink": {
                "type": "SqlDWSink"
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingStorage",
                    "type": "LinkedServiceReference"
                },
                "path": "stagingcontainer/path"
            }
        }
    }
]

Aşamalı kopyalamanın faturalama üzerindeki etkisi

İki adıma göre ücretlendirilirsiniz: kopyalama süresi ve kopyalama türü.

  • Bir bulut veri deposundan başka bir bulut veri deposuna veri kopyalarken geçici hazırlama kullandığınızda, her iki aşama da Azure tümleştirme çalışma zamanı tarafından destekleniyorsa, [1. adım ve 2. adımın kopyalama sürelerinin toplamı] x [bulut kopyası birim fiyatı] kadar ücretlendirilirsiniz.
  • Şirket içi veri deposundan bulut veri deposuna veri kopyalayan ve şirket içinde barındırılan tümleştirme çalışma zamanı tarafından güçlendirilen bir aşama olan karma kopyalama sırasında hazırlamayı kullandığınızda, [karma kopyalama süresi] x [hibrit kopya birim fiyatı] + [bulut kopyalama süresi] x [bulut kopyalama birimi fiyatı] için ücretlendirilirsiniz.

İlgili içerik

Diğer kopyalama etkinliği makalelerine bakın:

  • Last updated on