Azure Data Factory yönetilen sanal ağ

  • Makale

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, Azure Data Factory'deki yönetilen sanal ağlar ve yönetilen özel uç noktalar açıklanmaktadır.

Yönetilen sanal ağ

Data Factory yönetilen sanal ağı içinde azure tümleştirme çalışma zamanı oluşturduğunuzda, tümleştirme çalışma zamanı yönetilen sanal ağ ile sağlanır. Desteklenen veri depolarına güvenli bir şekilde bağlanmak için özel uç noktaları kullanır.

Yönetilen bir sanal ağ içinde tümleştirme çalışma zamanı oluşturmak, veri tümleştirme işleminin yalıtılmış ve güvenli olmasını sağlar.

Yönetilen sanal ağ kullanmanın avantajları:

  • Yönetilen bir sanal ağ ile, sanal ağı yönetme yükünü Data Factory'ye devredebilirsiniz. Sonunda sanal ağınızdaki birçok özel IP'yi kullanabilecek ve önceden ağ altyapısı planlaması gerektirecek bir tümleştirme çalışma zamanı için bir alt ağ oluşturmanız gerekmez.
  • Veri tümleştirmelerini güvenli bir şekilde gerçekleştirmek için derin Azure ağ bilgisi gerekmez. Bunun yerine, güvenli ETL kullanmaya başlamak veri mühendisleri için çok daha kolaydır.
  • Yönetilen özel uç noktaların yanı sıra yönetilen bir sanal ağ, veri sızdırmaya karşı koruma sağlar.

Şu anda yönetilen sanal ağ yalnızca Data Factory bölgesiyle aynı bölgede desteklenmektedir.

Dekont

Mevcut genel tümleştirme çalışma zamanı, Data Factory tarafından yönetilen bir sanal ağda tümleştirme çalışma zamanına geçemez ve tam tersi de geçerlidir.

Diagram that shows Data Factory managed virtual network architecture.

Veri fabrikanızda yönetilen sanal ağı etkinleştirmenin iki yolu vardır:

  1. Veri fabrikası oluşturulurken yönetilen sanal ağı etkinleştirin.

Screenshot of enabling managed virtual network during the creation of data factory.

  1. Tümleştirme çalışma zamanında yönetilen sanal ağı etkinleştirin.

Screenshot of enabling managed virtual network in integration runtime

Yönetilen özel uç noktalar

Yönetilen özel uç noktalar, Azure kaynaklarına özel bağlantı oluşturan Data Factory yönetilen sanal ağında oluşturulan özel uç noktalardır. Data Factory bu özel uç noktaları sizin adınıza yönetir.

Data Factory özel bağlantıları destekler. Azure Depolama, Azure Cosmos DB ve Azure Synapse Analytics gibi hizmet olarak Azure platformu (PaaS) hizmetlerine erişmek için Azure özel bağlantısını kullanabilirsiniz.

Özel bağlantı kullandığınızda, veri depolarınız ile yönetilen sanal ağınız arasındaki trafik tamamen Microsoft omurga ağı üzerinden geçiştir. Özel bağlantı, veri sızdırma risklerine karşı koruma sağlar. Özel uç nokta oluşturarak bir kaynağa özel bağlantı oluşturursunuz.

Özel uç nokta, hizmeti etkin bir şekilde içine getirmek için yönetilen sanal ağda özel bir IP adresi kullanır. Özel uç noktalar, hizmetin tamamına değil Azure'daki belirli bir kaynağa eşlenir. Müşteriler, kuruluşlarının onayladığı belirli bir kaynakla bağlantıyı sınırlayabilir. Daha fazla bilgi için bkz . Özel bağlantılar ve özel uç noktalar.

Dekont

Microsoft.Network kaynak sağlayıcısının aboneliğinize kayıtlı olması gerekir.

  1. Veri fabrikanızda yönetilen sanal ağı etkinleştirdiğinizden emin olun.
  2. Yönetim Merkezi'nde yeni bir yönetilen özel uç nokta oluşturun.

Screenshot that shows new managed private endpoints.

  1. Data Factory'de yönetilen özel uç nokta oluşturduğunuzda Beklemede durumunda özel uç nokta bağlantısı oluşturulur. Onay iş akışı başlatılır. Özel bağlantı kaynağı sahibi, bağlantıyı onaylamak veya reddetmekle sorumludur.

Screenshot that shows the option Manage approvals in Azure portal.

  1. Sahibi bağlantıyı onaylarsa, özel bağlantı kurulur. Aksi takdirde özel bağlantı kurulamaz. Her iki durumda da, yönetilen özel uç nokta bağlantının durumuyla güncelleştirilir.

Screenshot that shows approving a managed private endpoint.

Yalnızca onaylanmış durumdaki yönetilen bir özel uç nokta belirli bir özel bağlantı kaynağına trafik gönderebilir.

Dekont

Yönetilen sanal ağda özel DNS desteklenmez.

Etkileşimli yazma

Etkileşimli yazma özellikleri, test bağlantısı, klasör listesine ve tablo listesine göz atma, şema alma ve verileri önizleme gibi işlevler için kullanılır. Azure Data Factory tarafından yönetilen sanal ağda yer alan bir Azure tümleştirme çalışma zamanı oluştururken veya düzenlerken etkileşimli yazma özelliğini etkinleştirebilirsiniz. Arka uç hizmeti, etkileşimli yazma işlevleri için işlem önceden ayırır. Aksi takdirde, işlem her etkileşimli işlem gerçekleştirildiğinde ayrılır ve bu işlem daha fazla zaman alır. Etkileşimli yazma için yaşam süresi (TTL) varsayılan olarak 60 dakikadır ve bu da son etkileşimli yazma işleminden 60 dakika sonra otomatik olarak devre dışı bırakılacağı anlamına gelir. TTL değerini gerçek gereksinimlerinize göre değiştirebilirsiniz.

Screenshot that shows interactive authoring.

Yaşam süresi

Kopyalama etkinliği

Varsayılan olarak, her kopyalama etkinliği, kopyalama etkinliğindeki yapılandırmaya göre yeni bir işlem oluşturur. Yönetilen sanal ağ etkinleştirildiğinde, soğuk işlem başlatma süresi birkaç dakika sürer ve veri taşıma işlemi tamamlanana kadar başlatılamaz. İşlem hatlarınız birden çok sıralı kopyalama etkinliği içeriyorsa veya foreach döngüsünde çok sayıda kopyalama etkinliğiniz varsa ve bunların tümünü paralel olarak çalıştıramıyorsanız, Azure tümleştirme çalışma zamanı yapılandırmasında yaşam süresi (TTL) değerini etkinleştirebilirsiniz. Kopyalama etkinliği için gereken yaşam süresi değeri ve DIU numaraları belirtilmesi, yürütme tamamlandıktan sonra ilgili işlemleri belirli bir süre boyunca canlı tutar. TTL süresi boyunca yeni bir kopyalama etkinliği başlatılırsa, mevcut işlemleri yeniden kullanacaktır ve başlangıç süresi büyük ölçüde azaltılacaktır. İkinci kopyalama etkinliği tamamlandıktan sonra, hesaplamalar TTL süresi boyunca tekrar canlı kalır. Küçükten orta ve büyük boyuta kadar önceden tanımlanmış işlem boyutlarından seçim esnekliğine sahipsiniz. Alternatif olarak, işlem boyutunu belirli gereksinimlerinize ve gerçek zamanlı gereksinimlerinize göre özelleştirme seçeneğiniz de vardır.

Dekont

DIU numarasının yeniden yapılandırılması geçerli kopyalama etkinliği yürütmesini etkilemez.

Dekont

Yönetilen bir sanal ağdaki Kopyalama etkinliği için 2 DIU'nun veri tümleştirme birimi (DIU) ölçüsü desteklenmez.

TTL'de seçtiğiniz DIU tüm kopyalama etkinliklerini çalıştırmak için kullanılır; DIU'nun boyutu gerçek gereksinimlere göre otomatik olarak ölçeklendirilmeyecektir. Bu nedenle yeterli DIU seçmeniz gerekir.

Uyarı

Birçok etkinliği çalıştırmak için birkaç DIU'nun seçilmesi, kuyrukta birçok etkinliğin beklemeye alınmasına neden olur ve bu da genel performansı ciddi şekilde etkiler.

İşlem hattı ve dış etkinlik

Kopyaya benzer şekilde, işlem boyutunu ve TTL süresini özel gereksinimlerinize göre uyarlayabilirsiniz. Ancak, kopyanın aksine, işlem hattı ve dış TTL'nin devre dışı bırakılamayacağını lütfen unutmayın.

Dekont

Yaşam süresi (TTL) yalnızca yönetilen sanal ağ için geçerlidir.

Screenshot that shows the TTL configuration.

Hem İşlem Hatlarını hem de dış etkinlikleri yürütmek için en uygun düğüm sayısını belirlemek için aşağıdaki tabloyu başvuru olarak kullanabilirsiniz.

Etkinlik Türü Kapasite
İşlem hattı etkinliği Düğüm başına yaklaşık 50
SQL alwaysEncrypted ile betik etkinliği ve Arama etkinliği, diğer işlem hattı etkinliklerine kıyasla daha fazla kaynak tüketme eğilimindedir ve önerilen sayı düğüm başına 10 civarındadır
Dış etkinlik Düğüm başına yaklaşık 800

Farklı TTL karşılaştırması

Aşağıdaki tabloda farklı TTL türleri arasındaki farklar listelenmiştir:

Özellik Etkileşimli yazma İşlem ölçeğini kopyalama İşlem Hattı ve Dış işlem ölçeği
Ne zaman yürürlüğe girecek? Etkinleştirmeden hemen sonra İlk etkinlik yürütme İlk etkinlik yürütme
Devre dışı bırakılabilir Y Y N
Ayrılmış işlem yapılandırılabilir N Y Y

Dekont

Varsayılan otomatik çözüm Azure tümleştirme çalışma zamanında TTL'yi etkinleştiremezsiniz. Bunun için yeni bir Azure tümleştirme çalışma zamanı oluşturabilirsiniz.

Dekont

Kopyalama/İşlem Hattı/Dış işlem ölçeği TTL etkinleştirildiğinde, faturalama ayrılmış işlem kaynakları tarafından belirlenir. Sonuç olarak, etkinliğin çıkışı billingReference'ı içermez, bu yalnızca TTL dışı senaryolarda geçerlidir.

Azure PowerShell aracılığıyla yönetilen sanal ağ oluşturma

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with virtual network
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

Dekont

Özel bağlantı kaynağından diğer veri kaynaklarının groupId değerini alabilirsiniz.

Giden bağlantı

Desteklenen veri kaynakları ve hizmetleri

Aşağıdaki hizmetler yerel özel uç nokta desteğine sahiptir. Data Factory tarafından yönetilen bir sanal ağdan özel bağlantı aracılığıyla bağlanabilirler:

  • Azure Databricks
  • Azure İşlevleri (Premium plan)
  • Azure Key Vault
  • Azure Machine Learning
  • Azure Özel Bağlantı
  • Microsoft Purview

Veri kaynaklarının desteği için bağlayıcıya genel bakış bölümüne bakabilirsiniz. Data Factory tarafından desteklenen tüm veri kaynaklarına genel ağ üzerinden erişebilirsiniz.

Şirket içi veri kaynakları

Özel uç nokta kullanarak yönetilen bir sanal ağdan şirket içi veri kaynaklarına erişmeyi öğrenmek için bkz. Özel uç nokta kullanarak Data Factory tarafından yönetilen sanal ağından şirket içi SQL Server’a erişme.

Data Factory tarafından yönetilen sanal ağdan genel uç nokta üzerinden giden iletişimler

Tüm bağlantı noktaları giden iletişimler için açılır.

Sınırlamalar ve bilinen sorunlar

Key Vault için bağlı hizmet oluşturma

Key Vault için bağlı bir hizmet oluşturduğunuzda tümleştirme çalışma zamanı başvurusu yoktur. Bu nedenle, Key Vault'un bağlı hizmet oluşturması sırasında özel uç noktalar oluşturamazsınız. Ancak Key Vault'a başvuran veri depoları için bağlı hizmet oluşturduğunuzda ve bu bağlı hizmet yönetilen sanal ağ etkinleştirilmiş bir tümleştirme çalışma zamanına başvurduğunda oluşturma sırasında Key Vault için özel bir uç nokta oluşturabilirsiniz.

  • Bağlantıyı test etme: Key Vault'un bağlı hizmeti için bu işlem yalnızca URL biçimini doğrular ancak herhangi bir ağ işlemi yapmaz.
  • Özel uç nokta kullanma: Key Vault için özel uç nokta oluştursanız bile bu sütun her zaman boş olarak gösterilir.

Azure HDInsight'ın bağlı hizmet oluşturması

Özel bağlantı hizmeti ve bağlantı noktası iletme ile yük dengeleyici kullanarak HDInsight için özel uç nokta oluştursanız bile Özel uç nokta kullanan sütunu her zaman boş olarak gösterilir.

Screenshot that shows a private endpoint for Key Vault.

Azure HDInsight'ın Tam Etki Alanı Adı (FQDN)

Özel bir özel bağlantı hizmeti oluşturduysanız, özel bir uç nokta oluşturduğunuzda FQDN'nin etki alanı adında özel bağlantı olmadan azurehdinsight.net ile bitmesi gerekir. Etki alanı adında privatelink kullanıyorsanız, geçerli olduğundan ve sorunu çözebildiğinden emin olun.

Özel uç noktalara sahip yönetilen sanal ağda erişim kısıtlamaları

Her iki taraf da Özel Bağlantı ve özel uç noktaya sunulduğunda her PaaS kaynağına erişemezsiniz. Bu sorun, Özel Bağlantı ve özel uç noktaların bilinen bir sınırlamasıdır.

Örneğin, A depolama hesabı için yönetilen bir özel uç noktanız vardır. B depolama hesabına aynı yönetilen sanal ağdaki genel ağ üzerinden de erişebilirsiniz. Ancak B depolama hesabının diğer yönetilen sanal ağdan veya müşteri sanal ağından özel uç nokta bağlantısı varsa, yönetilen sanal ağınızdaki B depolama hesabına genel ağ üzerinden erişemezsiniz.

İlgili içerik

Aşağıdaki öğreticilere bakın: