Azure Data Factory yönetilen sanal ağ

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

Bu makalede, Azure Data Factory yönetilen sanal ağlar ve yönetilen özel uç noktalar açıklanmaktadır.

Yönetilen sanal ağ

Data Factory tarafından yönetilen bir sanal ağ içinde Azure tümleştirme çalışma zamanı oluşturduğunuzda, tümleştirme çalışma zamanı yönetilen sanal ağ ile sağlanır. Desteklenen veri depolarına güvenli bir şekilde bağlanmak için özel uç noktaları kullanır.

Yönetilen bir sanal ağ içinde tümleştirme çalışma zamanı oluşturmak, veri tümleştirme işleminin yalıtılmış ve güvenli olmasını sağlar.

Yönetilen sanal ağ kullanmanın avantajları:

  • Yönetilen bir sanal ağ ile, sanal ağı yönetme yükünü Data Factory'ye devredebilirsiniz. Sonunda sanal ağınızdaki birçok özel IP'yi kullanabilecek ve önceden ağ altyapısı planlaması gerektirecek bir tümleştirme çalışma zamanı için bir alt ağ oluşturmanız gerekmez.
  • Veri entegrasyonlarını güvenli bir şekilde yapmak için derin Azure ağ bilgisine ihtiyacınız yok. Bunun yerine, güvenli çıkarma, dönüştürme ve yükleme (ETL) ile başlamak veri mühendisleri için çok daha basittir.
  • Yönetilen özel uç noktaların yanı sıra yönetilen bir sanal ağ, veri sızdırmaya karşı koruma sağlar.

Veri fabrikası, yönetilen sanal ağı yalnızca veri fabrikasının olduğu aynı bölgede destekler.

Not

Mevcut genel tümleştirme çalışma zamanı, Data Factory tarafından yönetilen bir sanal ağda tümleştirme çalışma zamanına geçemez ve tam tersi de geçerlidir.

Data Factory yönetilen sanal ağ mimarisini gösteren diyagram.

Veri fabrikanızda yönetilen sanal ağı etkinleştirmenin iki yolu vardır:

  1. Veri fabrikası oluşturulurken yönetilen sanal ağı etkinleştirin.

Veri fabrikası oluşturulurken yönetilen sanal ağı etkinleştirme işleminin ekran görüntüsü.

  1. Tümleştirme çalışma zamanında yönetilen sanal ağı etkinleştirin.

Entegrasyon çalışma zamanında yönetilen sanal ağın etkinleştirilmesine dair ekran görüntüsü.

Yönetilen özel uç noktalar

Yönetilen özel uç noktalar, Data Factory tarafından yönetilen sanal ağda oluşturulan ve Azure kaynaklarına özel bağlantı kuran özel uç noktalardır. Data Factory bu özel uç noktaları sizin için yönetiyor.

Data Factory özel bağlantıları destekler. Azure Özel Bağlantı kullanarak Azure Depolama, Azure Cosmos DB ve Azure Synapse Analytics gibi Azure platform as a service (PaaS) hizmetlerine erişebilirsiniz.

Özel bağlantı kullandığınızda, veri depolarınız ile yönetilen sanal ağınız arasındaki trafik tamamen Microsoft omurga ağı üzerinden geçiştir. Özel bağlantı, veri sızdırma risklerine karşı koruma sağlar. Özel uç nokta oluşturarak bir kaynağa özel bağlantı oluşturursunuz.

Özel uç nokta, hizmeti içine almak için yönetilen sanal ağdaki özel IP adresini kullanır. Özel uç noktalar, hizmetin tamamına değil, Azure'da belirli bir kaynağa eşlenir. Kuruluşunuzun onayladığı belirli bir kaynağa bağlantıyı sınırlayabilirsiniz. Daha fazla bilgi için bkz . Özel bağlantılar ve özel uç noktalar.

Not

Kaynak sağlayıcısı Microsoft.Network'ün aboneliğinize kayıtlı olması gerekir.

  1. Veri fabrikanızda yönetilen sanal ağı etkinleştirdiğinizden emin olun.

  2. Yönetim merkezinde yeni bir yönetilen özel uç noktası oluşturun.

    Yeni yönetilen özel uç noktaları gösteren ekran görüntüsü.

  3. Data Factory'de yönetilen özel uç noktası oluşturduğunuzda, Beklemede bir durumda özel uç nokta bağlantısı oluşturursunuz. Bu durum onay iş akışını başlatır. Özel bağlantı kaynağı sahibi, bağlantıyı onaylamak veya reddetmekle sorumludur.

    Azure portalındaki

  4. Sahibi bağlantıyı onaylarsa, özel bağlantı kurulur. Aksi takdirde, özel bağlantı kurulmaz. Her iki durumda da, yönetilen özel uç nokta bağlantının durumuyla güncelleştirilir.

    Yönetilen özel uç noktayı onaylamayı gösteren ekran görüntüsü.

Yalnızca onaylanmış durumdaki yönetilen bir özel uç nokta belirli bir özel bağlantı kaynağına trafik gönderebilir.

Not

Yönetilen sanal ağda özel DNS desteklenmiyor.

Not

Hem yönetilen sanal ağ hem de yönetilen özel uç nokta Microsoft abonelik altındadır.

Etkileşimli yazma

Etkileşimli yazarlık yetenekleri, test bağlantısı, klasör listesi ve tablo listesini inceleme, şema alma ve önizleme verileri gibi işlevleri destekler. Azure Data Factory yönetilen bir sanal ağda bir Azure entegrasyon çalışma zamanı oluşturduğunuzda veya düzenlerken etkileşimli yazarlığı etkinleştirebilirsiniz. Backend servisi, etkileşimli yazarlık fonksiyonları için hesaplamayı ön tahsis eder. Aksi takdirde, işlem her etkileşimli işlem yaptığınızda ayrılır ve bu daha fazla zaman alır. Etkileşimli yazarlık için yaşam süresi (TTL) varsayılan olarak 60 dakikadır, yani son etkileşimli yazarlık işleminden 60 dakika sonra otomatik olarak devre dışı bırakılır. TTL değerini ihtiyaçlarınıza göre değiştirebilirsiniz.

Etkileşimli yazma işlemini gösteren ekran görüntüsü.

Yaşam süresi

Kopyalama etkinliği

Varsayılan olarak, her kopyalama etkinliği kopyalama etkinliği yapılandırmasına göre yeni bir hesaplama başlatır. Yönetilen sanal ağ etkinleştirildiğinde, soğuk hesaplama başlatma süresi birkaç dakika sürer ve veri hareketi tamamlanana kadar başlayamıyor. Eğer boru hatlarınızda birden fazla ardışık kopyalama faaliyeti varsa veya bir foreach döngüsünde birçok kopyalama etkinliğiniz varsa ve hepsini paralel çalıştıramıyorsanız, Azure entegrasyon çalışma zamanı yapılandırmasında yaşama süresi (TTL) değerini etkinleştirebilirsiniz. Kopyalama etkinliği için gereken TTL değeri ve veri entegrasyon birimi (DIU) numaralarının belirtilmesi, yürütme tamamlandıktan sonra ilgili hesaplamaları bir süre boyunca canlı tutar. TTL zamanı sırasında yeni bir kopyalama faaliyeti başlarsa, mevcut hesaplamalar yeniden kullanılır ve başlatma süresi büyük ölçüde azalır. İkinci kopyalama etkinliği tamamlandıktan sonra, hesaplamalar TTL süresi boyunca tekrar canlı kalır. Küçükten ortaya, büyüklere kadar önceden tanımlanmış hesaplama boyutlarından seçim yapabilirsiniz. Alternatif olarak, hesaplama boyutunu gereksinimlerinize ve gerçek zamanlı ihtiyaçlarınıza göre özelleştirebilirsiniz.

Not

DIU numarasını yeniden yapılandırmak, mevcut kopyalama etkinliği yürütülmesini etkilemez.

Not

DIU ölçüsü olan 2 DIU, yönetilen sanal ağda Kopyalama etkinliği için desteklenmemektedir.

Data Factory, tüm kopyalama faaliyetlerini çalıştırmak için TTL'de seçtiğiniz DIU'yu kullanır. DIU'nun boyutu gerçek ihtiyaçlara göre otomatik ölçeklendirilmiyor, bu yüzden yeterince DIU seçmeniz gerekiyor.

Uyarı

Çok az DIU seçilerek birçok faaliyeti yürütmek, birçok faaliyetin kuyrakta beklemede kalmasına neden olur ve bu da genel performansı ciddi şekilde etkiler.

İşlem hattı ve dış etkinlik

Kopya gibi, hesaplama boyutunu ve TTL süresini gereksinimlerinize göre ayarlayabilirsiniz. Ancak, kopyalamanın aksine, pipeline ve harici TTL'yi devre dışı bırakamazsınız.

Not

Yaşam süresi (TTL) yalnızca yönetilen sanal ağ için geçerlidir.

TTL yapılandırmasını gösteren ekran görüntüsü.

Hem boru hatları hem de harici faaliyetler için optimal düğüm sayısını belirlemek için aşağıdaki tabloyu referans olarak kullanın.

Etkinlik türü Kapasite
İşlem hattı etkinliği Yaklaşık 50 adet düğüm başına
SQL alwaysEncrypted ile betik etkinliği ve Arama etkinliği, diğer işlem hattı etkinliklerine kıyasla daha fazla kaynak tüketme eğilimindedir ve önerilen sayı düğüm başına 4 civarındadır
Dış etkinlik Yaklaşık 800 düğüm başına

Farklı TTL karşılaştırması

Aşağıdaki tablo, TTL türleri arasındaki farkları listelemektedir:

Özellik Etkileşimli yazma Hesaplama ölçeğini kopyala İşlem Hattı ve Harici Hesaplama Ölçeği
Ne zaman yürürlüğe girecek? Etkinleştirmeden hemen sonra İlk etkinlik yürütme İlk etkinlik yürütme
Devre dışı bırakılabilir Y Y N
Ayrılmış işlem yapılandırılabilir N Y Y

Not

TTL'yi varsayılan otomatik çözümleme Azure tümleştirme çalışma zamanında etkinleştiremezsiniz. Bunun için yeni bir Azure tümleştirme çalışma zamanı oluşturabilirsiniz.

Not

Kopyalama, Boru hattı veya Harici hesaplama ölçeği TTL etkinleştirildiğinde, ayrılmış hesaplama kaynakları faturalamayı belirler. Sonuç olarak, etkinlik çıktısı billingReference'ı içermez, çünkü bu değer yalnızca TTL dışı senaryolarda geçerlidir.

Azure PowerShell aracılığıyla yönetilen sanal ağ oluşturma

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with virtual network
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

Not

Diğer veri kaynaklarının groupId değerini bir özel bağlantı kaynağından alabilirsiniz.

Not

referenceName yalnızca PowerShell Komutu aracılığıyla oluşturduğunuzda "varsayılan" olarak ayarlanmalıdır.

Giden bağlantı

Desteklenen veri kaynakları ve hizmetleri

Aşağıdaki hizmetler yerel özel uç nokta desteğine sahiptir. Data Factory tarafından yönetilen bir sanal ağdan özel bağlantı aracılığıyla bağlanabilirler:

  • Azure Databricks
  • Azure İşlevleri (Premium plan)
  • Azure Key Vault
  • Azure Machine Learning
  • Azure Özel Bağlantı
  • Microsoft Purview

Veri kaynaklarının desteği için bağlayıcıya genel bakış bölümüne bakabilirsiniz. Data Factory tarafından desteklenen tüm veri kaynaklarına genel ağ üzerinden erişebilirsiniz.

Şirket içi veri kaynakları

Özel uç nokta kullanarak yönetilen bir sanal ağdan şirket içi veri kaynaklarına erişmeyi öğrenmek için bkz: Özel uç nokta kullanarak Data Factory yönetilen sanal ağından şirket içi SQL Server'a Erişim.

Data Factory tarafından yönetilen sanal ağdan genel uç nokta üzerinden giden iletişimler

Tüm bağlantı noktaları giden iletişimler için açılmıştır.

Sınırlamalar ve bilinen sorunlar

Key Vault için bağlı hizmet oluşturma

Key Vault için bağlı bir hizmet oluşturduğunuzda, bir entegrasyon çalışma zamanı referansı yoktur. Bu nedenle, Key Vault bağlı hizmet oluşturma sırasında özel uç noktalar oluşturamazsınız. Key Vault’a başvuran veri depoları için ilgili hizmet oluşturduğunuzda ve bu ilgili hizmet, yönetilen sanal ağ etkin özelliği bulunan bir tümleştirme çalışma zamanına başvurduğunda, oluşturma sırasında Key Vault için özel bir uç nokta oluşturulabilir.

  • Test connection: Key Vault bağlı bir hizmet için bu işlem yalnızca URL biçimini doğrular ancak herhangi bir ağ işlemi yapmaz.
  • Özel uç nokta kullanımı: Bu sütun, Key Vault için özel uç nokta oluştursanız bile her zaman boş olarak gösterilir.

Azure HDInsight bağlantılı hizmet oluşturma

Özel bağlantı hizmeti ve bağlantı noktası iletme ile yük dengeleyici kullanarak HDInsight için özel bir uç nokta oluştursanız bile, Özel uç nokta kullanan sütunu her zaman boş olarak gösterilir.

Key Vault için özel uç noktayı gösteren ekran görüntüsü.

Azure HDInsight'ın tam nitelikli domain name (FQDN)

Özel bir özel bağlantı hizmeti oluşturduysanız, FQDN alan adında önleyici özel bağlantıolmadan azurehdinsight.net ile bitmelidir. Alan adında privatelink kullanıyorsan, geçerli olduğundan ve sorunu çözebileceğinden emin ol.

Özel uç noktalara sahip yönetilen sanal ağda erişim kısıtlamaları

Her iki taraf da özel bağlantı ve özel uç noktaya açık olduğunda her PaaS kaynağına erişemezsiniz. Bu sorun, özel bağlantı ve özel uç noktaların bilinen bir sınırlamasıdır.

Örneğin, A depolama hesabı için yönetilen bir özel uç noktanız vardır. B depolama hesabına aynı yönetilen sanal ağdaki genel ağ üzerinden de erişebilirsiniz. Ancak B depolama hesabının diğer yönetilen sanal ağdan veya müşteri sanal ağından özel uç nokta bağlantısı varsa, yönetilen sanal ağınızdaki B depolama hesabına genel ağ üzerinden erişemezsiniz.

İlgili içerik

Aşağıdaki öğreticilere bakın:

  • Last updated on