Azure Data Factory spravovaná virtuální síť

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

• Začněte bezplatnou zkušební verzi Fabric.
• Upgrade z Azure Data Factory na Data Factory v Microsoft Fabric.

Tento článek vysvětluje spravované virtuální sítě a spravované privátní koncové body v Azure Data Factory.

Spravovaná virtuální síť

Když vytvoříte prostředí Azure Integration Runtime ve spravované virtuální síti služby Data Factory, prostředí Integration Runtime se zřídí se spravovanou virtuální sítí. K zabezpečenému připojení k podporovaným úložištům dat používá privátní koncové body.

Vytvoření prostředí Integration Runtime ve spravované virtuální síti zajišťuje izolaci a zabezpečení procesu integrace dat.

Výhody používání spravované virtuální sítě:

• Se spravovanou virtuální sítí můžete přesměrovat zátěž správy virtuální sítě do služby Data Factory. Pro prostředí Integration Runtime nemusíte vytvářet podsíť, která by nakonec mohla používat mnoho privátních IP adres z vaší virtuální sítě a vyžadovala by před plánováním síťové infrastruktury.
• K bezpečné integraci dat nepotřebujete hluboké znalosti Azure sítí. Místo toho je pro datové inženýry mnohem jednodušší začít s secure extract, transform, and load (ETL).
• Spravovaná virtuální síť spolu se spravovanými privátními koncovými body chrání před exfiltrací dat.

Datová továrna podporuje spravovanou virtuální síť pouze ve stejné oblasti jako datová továrna.

Poznámka:

Stávající globální prostředí pro integraci nelze změnit na prostředí ve virtuální síti spravované službou Data Factory, ani naopak.

Spravované virtuální sítě ve vaší datové továrně můžete povolit dvěma způsoby:

1. Povolte spravovanou virtuální síť během vytváření datové továrny.

2. Povolení spravované virtuální sítě v prostředí Integration Runtime

Spravované privátní koncové body

Spravované privátní koncové body jsou soukromé koncové body, které vytvoříte ve virtuální síti spravované Data Factory a které navazují privátní spojení na Azure zdroje. Data Factory spravuje tyto soukromé endpointy za vás.

Data Factory podporuje privátní propojení. Můžete použít Azure Private Link k přístupu k službám platformy Azure jako služby (PaaS) jako Azure Storage, Azure Cosmos DB a Azure Synapse Analytics.

Když používáte privátní propojení, provoz mezi úložišti dat a spravovanou virtuální sítí prochází zcela přes páteřní síť Microsoft. Private Link chrání před riziky exfiltrace dat. Privátní propojení s prostředkem vytvoříte vytvořením privátního koncového bodu.

Privátní koncový bod používá privátní IP adresu ve spravované virtuální síti k přivedení služby do sebe. Privátní koncové body se mapují na konkrétní prostředek v Azure a ne na celou službu. Můžete omezit konektivitu na konkrétní zdroj, který vaše organizace schválí. Další informace najdete v tématu Privátní propojení a privátní koncové body.

Poznámka:

Poskytovatel prostředků Microsoft.Network musí být zaregistrován ve vašem předplatném.

1. Ujistěte se, že ve vaší datové továrně povolíte spravovanou virtuální síť.

2. Vytvořte nový spravovaný privátní endpoint ve Manage hubu.

   

3. Když vytvoříte spravovaný privátní koncový bod v Data Factory, vytvoříte připojení k privátnímu koncovému bodu ve stavu čekající. Tento stav spouští schvalovací workflow. Vlastník prostředku privátního propojení zodpovídá za schválení nebo odmítnutí připojení.

   

4. Pokud vlastník připojení schválí, vytvoří se privátní propojení. Jinak není soukromý odkaz navázán. V obou případech se spravovaný privátní koncový bod aktualizuje o stav připojení.

   

Provoz do konkrétního prostředku privátního propojení může odesílat pouze spravovaný privátní koncový bod ve schváleném stavu.

Poznámka:

Vlastní DNS není podporováno ve spravované virtuální síti.

Poznámka:

Spravovaná virtuální síť i spravovaný privátní koncový bod jsou v rámci předplatného Microsoft.

Interaktivní vytváření obsahu

Interaktivní možnosti authoringu podporují funkce jako testovací připojení, seznam složek a tabulek pro prohlížení, získání schématu a náhled dat. Interaktivní tvorbu můžete povolit, když vytvoříte nebo upravíte runtime s integrací Azure ve virtuální síti spravované Azure Data Factory. Backendová služba předalokuje výpočetní kapacitu pro interaktivní autorské funkce. Jinak je výpočetní kapacita alokována pokaždé, když provedete interaktivní operaci, což trvá déle. Čas života (TTL) pro interaktivní tvorbu je ve výchozím nastavení 60 minut, což znamená, že se automaticky deaktivuje 60 minut po poslední operaci interaktivního autorství. Hodnotu TTL můžete měnit podle svých potřeb.

Čas života

aktivita Copy

Ve výchozím nastavení každá kopírovací aktivita spustí nový výpočet založený na konfiguraci kopírovací aktivity. S aktivovaným spravovaným virtuálním systémem trvá spuštění studeného výpočetního systému několik minut a pohyb dat nemůže začít, dokud není dokončen. Pokud vaše pipeline obsahují více sekvenčních kopírovacích aktivit, nebo máte mnoho kopírovacích aktivit v foreach smyčce a nemůžete je všechny spustit paralelně, můžete v konfiguraci Azure integrace povolit hodnotu time to live (TTL). Zadání hodnoty TTL a čísel dat integračních jednotek (DIU) potřebných pro kopírovací aktivitu udržuje odpovídající výpočty naživu po určitou dobu po dokončení vykonání. Pokud během TTL času začne nová kopírovací aktivita, znovu použije stávající výpočty a doba spuštění je výrazně zkrácena. Po dokončení druhé kopírovací aktivity zůstávají výpočty opět živé po dobu TTL. Můžete si vybrat z předdefinovaných velikostí výpočetních kapacit, od malých přes střední až po velké. Alternativně si můžete velikost výpočetního výkonu přizpůsobit podle svých požadavků a potřeb v reálném čase.

Poznámka:

Přenastavení čísla DIU neovlivňuje aktuální provádění kopírovací aktivity.

Poznámka:

Měření DIU 2 DIU není podporováno pro aktivita Copy ve spravované virtuální síti.

Data Factory používá DIU, které zvolíte v TTL, pro spuštění všech kopírovacích aktivit. Velikost DIU není automaticky škálována podle potřeb, takže musíte vybrat dostatek DIU.

Upozornění

Výběr příliš malého počtu DIU pro provádění mnoha aktivit způsobí, že mnoho aktivit zůstává ve frontě čekajících, což vážně ovlivňuje celkový výkon.

Kanál a externí aktivita

Podobně jako u copy, můžete si velikost výpočetního výkonu a délku TTL přizpůsobit podle svých požadavků. Na rozdíl od kopírování však nemůžete vypnout pipeline a externí TTL.

Poznámka:

Hodnota TTL (Time to Live) se vztahuje pouze na spravovanou virtuální síť.

Použijte následující tabulku jako referenci k určení optimálního počtu uzlů pro provoz jak pipeline, tak externích aktivit.

Typ aktivity	Kapacita
Aktivita kanálu	Přibližně 50 na uzel Aktivita skriptu a aktivita vyhledávání s SQL AlwaysEncrypted obvykle spotřebovávají více prostředků v porovnání s jinými aktivitami kanálu, přičemž navrhované číslo je přibližně 4 na uzel.
Externí aktivita	Přibližně 800 na uzel

Porovnání různých hodnot TTL

Následující tabulka uvádí rozdíly mezi typy TTL:

Funkce	Interaktivní vytváření obsahu	Kopírování škálování výpočetních kapacit	Škálování potrubí a externích výpočetních zdrojů
Kdy se má projevit	Okamžitě po povolení	Spuštění první aktivity	Spuštění první aktivity
Je možné zakázat	Y	Y	N
Rezervované výpočetní prostředky je možné konfigurovat	N	Y	Y

Poznámka:

Hodnotu TTL nemůžete povolit ve výchozím automatickém řešení konfliktů Azure Integration Runtime. Můžete pro něj vytvořit nový modul Azure Integration Runtime.

Poznámka:

Když je aktivována TTL pro kopírování, pipeline nebo externí výpočetní škálování, rezervované výpočetní zdroje určují fakturaci. Výsledkem je, že výstup aktivity neobsahuje billingReference, protože tato hodnota je relevantní výhradně v ne-TTL scénářích.

Vytvoření spravované virtuální sítě prostřednictvím Azure PowerShell

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with virtual network
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

Poznámka:

ID skupiny jiných zdrojů dat můžete získat z prostředku soukromého propojení.

Poznámka:

Vlastnost referenceName by měla být nastavena pouze jako výchozí, pokud vytvoříte příkazem PowerShellu.

Odchozí připojení

Podporované zdroje dat a služby

Následující služby mají nativní podporu privátních koncových bodů. Můžou být připojené prostřednictvím privátního propojení ze spravované virtuální sítě služby Data Factory:

• Azure Databricks
• Azure Functions (plán Premium)
• Azure Key Vault
• Azure Machine Learning
• Azure Private Link
• Microsoft Purview

Informace o podpoře zdrojů dat najdete v přehledu konektorů. Přístup ke všem zdrojům dat podporovaným službou Data Factory můžete získat prostřednictvím veřejné sítě.

Místní zdroje dat

Informace o přístupu k místním zdrojům dat ze spravované virtuální sítě pomocí privátního koncového bodu najdete v tématu Přístup k místnímu serveru SQL ze spravované virtuální sítě Data Factory pomocí privátního koncového bodu.

Odchozí komunikace prostřednictvím veřejného koncového bodu ze spravované virtuální sítě služby Data Factory

Všechny porty jsou otevřeny pro odchozí komunikaci.

Omezení a známé problémy

Vytvoření propojené služby pro Key Vault

Při vytváření propojené služby pro Key Vault chybí reference na prostředí Integration Runtime. Během vytváření propojené služby Key Vault tedy nemůžete vytvářet privátní koncové body. Když ale vytvoříte propojenou službu pro úložiště dat, která odkazují na Key Vault, a tato propojená služba odkazuje na prostředí Integration Runtime s povolenou spravovanou virtuální sítí, můžete během vytváření vytvořit privátní koncový bod pro Key Vault.

• Test connection: Tato operace pro propojenou službu Key Vault ověřuje pouze formát adresy URL, ale neprovádí žádnou síťovou operaci.
• Using private endpoint: Tento sloupec se vždy zobrazuje jako prázdný, i když pro Key Vault vytvoříte privátní koncový bod.

Vytvoření propojené služby Azure HDInsight

Sloupec Použití privátního koncového bodu se vždy zobrazuje jako prázdný, i když vytvoříte privátní koncový bod pro HDInsight pomocí služby privátního propojení a nástroje pro vyrovnávání zatížení s předáváním portů.

Plně kvalifikované doménové jméno (FQDN) Azure HDInsight

Pokud jste vytvořili vlastní službu privátního odkazu, FQDN by mělo končit azurehdinsight.net bez vedení privatelinku v doménovém jménu při vytváření privátního endpointu. Pokud používáte privatelink v doménovém jménu, ujistěte se, že je platný a můžete ho vyřešit.

Omezení přístupu ve spravované virtuální síti s privátními koncovými body

Nemůžete přistupovat ke každému PaaS zdroji, když jsou obě strany vystaveny soukromému propojení a soukromému koncovému zařízení. Tento problém je známým omezením privátních a soukromých koncových bodů.

Máte například spravovaný privátní koncový bod pro účet úložiště A. K účtu úložiště B můžete přistupovat také přes veřejnou síť ve stejné spravované virtuální síti. Pokud má ale účet úložiště B připojení privátního koncového bodu z jiné spravované virtuální sítě nebo zákaznické virtuální sítě, nemůžete získat přístup k účtu úložiště B ve spravované virtuální síti prostřednictvím veřejné sítě.

Související obsah

Projděte si tyto kurzy:

• Vytvoření kanálu kopírování pomocí spravovaných virtuálních sítí a privátních koncových bodů
• Vytvoření kanálu mapování toku dat pomocí spravovaných virtuálních sítí a privátních koncových bodů