Azure Data Factory のマネージド仮想ネットワーク

[アーティクル]
05/15/2024

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンス、レポートまで、あらゆるものをカバーしています。無料で新しい試用版を開始する方法について説明します。

この記事では、Azure Data Factory におけるマネージド仮想ネットワークとマネージドプライベートエンドポイントについて説明します。

マネージド仮想ネットワーク

Data Factory マネージド仮想ネットワーク内に Azure 統合ランタイムを作成すると、マネージド仮想ネットワークを使用して統合ランタイムがプロビジョニングされます。プライベートエンドポイントを使用して、サポートされているデータストアに安全に接続されます。

マネージド仮想ネットワーク内に統合ランタイムを作成することで、データ統合プロセスの分離と安全が確保されます。

マネージド仮想ネットワークを使用する利点は次のとおりです。

マネージド仮想ネットワークを使用すると、仮想ネットワークを管理する負担を Data Factory にオフロードできます。統合ランタイムのサブネットは最終的に仮想ネットワークの多くのプライベート IP を使用する可能性があり、事前のネットワークインフラストラクチャ計画が必要になりますが、このサブネットを作成する必要がありません。
データ統合を安全に行うために、Azure ネットワークに関する深い知識は必要ありません。むしろ、データエンジニアにとっては、セキュリティで保護された ETL の使用開始がはるかに簡単です。
マネージド仮想ネットワークは、マネージドプライベートエンドポイントと共に、データ流出を防止します。

現在、マネージド仮想ネットワークは、Data Factory リージョンと同じリージョン内でのみサポートされます。

注意

既存のグローバル統合ランタイムを、Data Factory マネージド仮想ネットワーク内の統合ランタイムに切り替えることはできません。また、その逆も同様です。

Data Factory で管理される仮想ネットワークアーキテクチャを示す図。

データファクトリでマネージド仮想ネットワークを有効にするには、次の 2 つの方法があります。

データファクトリの作成中にマネージド仮想ネットワークを有効にします。

データファクトリの作成中にマネージド仮想ネットワークを有効にするスクリーンショット。

統合ランタイム中にマネージド仮想ネットワークを有効にします。

統合ランタイム中にマネージド仮想ネットワークを有効にするスクリーンショット

マネージドプライベートエンドポイント

マネージドプライベートエンドポイントは、Azure リソースへのプライベートリンクを確立する Data Factory マネージド仮想ネットワークに作成されるプライベートエンドポイントです。これらのプライベートエンドポイントは、Data Factory によって自動的に管理されます。

Data Factory ではプライベートリンクがサポートされます。 Azure プライベートリンクを使用して、Azure Storage、Azure Cosmos DB、Azure Synapse Analytics などの Azure のサービスとしてのプラットフォーム (PaaS) サービスにアクセスできます。

プライベートリンクを使用すると、データストアとマネージド仮想ネットワーク間のトラフィックは、全面的に Microsoft のバックボーンネットワークを介して転送されます。プライベートリンクによって、データ流出のリスクから身を守ることができます。リソースへのプライベートリンクは、プライベートエンドポイントを作成することによって確立します。

プライベートエンドポイントでは、マネージド仮想ネットワークでプライベート IP アドレスを使用して、効率的にサービスを取り込みます。プライベートエンドポイントは、サービス全体にではなく Azure 内の特定のリソースにマップされます。顧客は、その組織で承認されている特定のリソースに接続を制限することができます。詳細については、プライベートリンクとプライベートエンドポイントに関するページを参照してください。

注意

リソースプロバイダー Microsoft.Network が、サブスクリプションに登録されている必要があります。

データファクトリでマネージド仮想ネットワークが有効であることを確認します。
管理ハブで新しいマネージドプライベートエンドポイントを作成します。

新しいマネージドプライベートエンドポイントを示すスクリーンショット。

Data Factory にマネージドプライベートエンドポイントを作成すると、プライベートエンドポイント接続は保留状態で作成されます。承認ワークフローが開始されます。プライベートリンクリソースの所有者が接続の承認または拒否を担当します。

[Azure portal で承認を管理] オプションを示すスクリーンショット。

所有者が接続を承認した場合、プライベートリンクが確立されます。それ以外の場合、プライベートリンクは確立されません。どちらの場合も、マネージドプライベートエンドポイントは接続の状態で更新されます。

マネージドプライベートエンドポイントの承認を示すスクリーンショット。

承認済み状態のマネージドプライベートエンドポイントのみが、特定のプライベートリンクリソースにトラフィックを送信できます。

注意

カスタム DNS は、マネージド仮想ネットワークではサポートされていません。

インタラクティブな作成

インタラクティブな作成機能は、テスト接続、フォルダー一覧とテーブルリストの参照、スキーマの取得、データのプレビューなどの機能に使用されます。 Azure Data Factory で管理されている仮想ネットワーク内の Azure 統合ランタイムを作成または編集する際に、インタラクティブな作成を有効にすることができます。バックエンドサービスでは、インタラクティブな作成機能のためにコンピューティングが事前に割り当てられます。そうしないと、インタラクティブな操作が実行されるたびにコンピューティングが割り当てられ、時間がかかります。既定では、インタラクティブな編集の Time To Live (TTL) は 60 分です。つまり、前回のインタラクティブな編集操作から 60 分が経過すると、この機能が自動的に無効になります。実際のニーズに応じて TTL 値を変更できます。

インタラクティブな作成を示すスクリーンショット。

Time to Live

コピーアクティビティ

既定では、すべてのコピーアクティビティは、コピーアクティビティの構成に基づいて新しいコンピューティングを起動します。マネージド仮想ネットワークが有効になっている場合、コールドコンピューティングの起動時間には数分かかり、完了するまでデータ移動を開始できません。パイプラインに複数のシーケンシャルコピーアクティビティが含まれている場合、または foreach ループに多数のコピーアクティビティがあり、それらすべてを並列で実行できない場合は、Azure 統合ランタイム構成で Time to Live (TTL) 値を有効にすることができます。コピーアクティビティに必要な Time to Live 値と DIU 番号を指定すると、対応するコンピューティングでは、実行が完了してから一定の期間、有効な状態が維持されます。 TTL 時間内に新しいコピーアクティビティが開始されると、既存のコンピューティングが再利用され、開始時間は大幅に減少します。 2 番目のコピーアクティビティが完了すると、コンピューティングは TTL 時間の間、再び有効な状態で維持されます。定義済みのコンピューティングサイズ (小規模から中規模から大規模まで) から柔軟に選択できます。または、特定の要件とリアルタイムのニーズに基づいてコンピューティングサイズをカスタマイズすることもできます。

Note

DIU 番号を再構成しても、現在のコピーアクティビティ実行への影響はありません。

注意

マネージド仮想ネットワークの Copy アクティビティでは、2 DIU のデータ統合単位 (DIU) メジャーはサポートされていません。

TTL で選択した DIU は、すべてのコピーアクティビティを実行するために使用されます。実際のニーズに応じて DIU のサイズが自動的にスケーリングされるわけではありません。そのため、十分な DIU を選択する必要があります。

警告

多数のアクティビティを実行するためにいくつかの DIU を選択すると、キュー内で多くのアクティビティが保留中になり、全体的なパフォーマンスに深刻な影響を与えることになります。

パイプラインと外部アクティビティ

コピーと同様に、特定の要件に従ってコンピューティングサイズと TTL 期間を調整できます。ただし、コピーとは異なり、パイプラインと外部 TTL は無効にできないことに注意してください。

Note

Time to Live (TTL) は、マネージド仮想ネットワークにのみ適用されます。

TTL 構成を示すスクリーンショット。

パイプラインと外部アクティビティの両方を実行するための最適なノード数を決定するには、次の表を参考にしてください。

活動の種類	容量
パイプラインアクティビティ	ノードあたり約 50 SQL AlwaysEncrypted を使用したスクリプトアクティビティと検索アクティビティは、他のパイプラインアクティビティと比較して多くのリソースを消費する傾向があり、推奨される数はノードあたり約 10 です
外部アクティビティ	ノードあたり約 800

さまざまな TTL の比較

次の表に、さまざまな種類の TTL の違いを示します。

特徴量	インタラクティブな作成	コンピューティングスケールのコピー	パイプラインと外部コンピューティングスケール
有効にするタイミング	有効化の直後	最初のアクティビティの実行	最初のアクティビティの実行
無効の可否	Y	年	N
予約済みのコンピューティングは構成可能	N	Y	Y

注意

既定の自動解決 Azure 統合ランタイムで TTL を有効にすることはできません。そのための新しい Azure 統合ランタイムを作成できます。

Note

コピー/パイプライン/外部コンピューティングスケール TTL がアクティブになると、請求先は予約済みのコンピューティングリソースによって決まります。その結果、アクティビティの出力に billingReference が含まれません。これは TTL 以外のシナリオにのみ関係するためです。

Azure PowerShell を使用してマネージド仮想ネットワークを作成する

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with virtual network
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

注意

他のデータソースの groupId は、プライベートリンクリソースから取得できます。

Note

PowerShell コマンドを使って作成する場合、referenceName は "default" としてのみ設定する必要があります。

送信接続

サポートされているデータソースとサービス

次のサービスではネイティブプライベートエンドポイントがサポートされています。これらは、Data Factory マネージド仮想ネットワークからのプライベートリンクを介して接続できます。

Azure Databricks
Azure Functions (Premium プラン)
Azure Key Vault
Azure Machine Learning
Azure Private Link
Microsoft Purview

データソースのサポートについては、コネクタの概要に関するページを参照してください。パブリックネットワークを介して、Data Factory でサポートされているすべてのデータソースにアクセスできます。

オンプレミスデータソース

プライベートエンドポイントを使用して、マネージド仮想ネットワークからオンプレミスのデータソースにアクセスする方法の詳細については、プライベートエンドポイントを使用する Data Factory マネージド仮想ネットワークからオンプレミスの SQL Server へのアクセスに関するページを参照してください。

Data Factory マネージド仮想ネットワークからのパブリックエンドポイントを介した送信方向の通信

送信方向の通信用には、すべてのポートが開かれています。

制限事項と既知の問題

Key Vault のリンクサービスの作成

Key Vault のリンクサービスを作成する場合、統合ランタイムの参照はありません。そのため、Key Vault のリンクサービスの作成中にプライベートエンドポイントを作成することはできません。しかし、Key Vault を参照するデータストアに対してリンクサービスを作成し、このリンクサービスにより、マネージド仮想ネットワークが有効になっている統合ランタイムが参照される場合は、作成時に Key Vault のプライベートエンドポイントを作成できます。

テスト接続: Key Vault のリンクサービスのこの操作では単に URL 形式が検証され、ネットワーク操作は実行されません。
プライベートエンドポイントの使用: この列は、Key Vault 用のプライベートエンドポイントを作成した場合でも、常に空白として表示されます。

Azure HDInsight のリンクサービスの作成

プライベートリンクサービスおよびロードバランサーとポート転送を使用して HDInsight 用のプライベートエンドポイントを作成した場合でも、[プライベートエンドポイントの使用] 列は常に空白として表示されます。

Key Vault のプライベートエンドポイントを示すスクリーンショット。

Azure HDInsight の完全修飾ドメイン名 (FQDN)

カスタムプライベートリンクサービスを作成した場合は、プライベートエンドポイントを作成するときに、ドメイン名の先頭に privatelink を付けず、末尾に azurehdinsight.net を付けた FQDN にする必要があります。ドメイン名で privatelink を使用する場合は、有効であり、解決できることを確認してください。

プライベートエンドポイントを使用したマネージド仮想ネットワークのアクセス制約

両側が Private Link とプライベートエンドポイントに公開されている場合、それぞれの PaaS リソースにアクセスできません。この問題は、Private Link とプライベートエンドポイントの既知の制限です。

たとえば、ストレージアカウント A のマネージドプライベートエンドポイントがあるとします。また、同じマネージド仮想ネットワーク内のパブリックネットワークを介してストレージアカウント B にアクセスすることもできます。ただし、ストレージアカウント B に他のマネージド仮想ネットワークまたはお客様の仮想ネットワークからのプライベートエンドポイント接続がある場合、パブリックネットワーク経由でマネージド仮想ネットワーク内のストレージアカウント B にアクセスすることはできません。

次のチュートリアルを参照してください。

次の方法で共有

Azure Data Factory のマネージド仮想ネットワーク

マネージド仮想ネットワーク

マネージドプライベートエンドポイント

インタラクティブな作成

Time to Live

コピーアクティビティ

パイプラインと外部アクティビティ

さまざまな TTL の比較

Azure PowerShell を使用してマネージド仮想ネットワークを作成する

送信接続

サポートされているデータソースとサービス

オンプレミスデータソース

Data Factory マネージド仮想ネットワークからのパブリックエンドポイントを介した送信方向の通信

制限事項と既知の問題

Key Vault のリンクサービスの作成

Azure HDInsight のリンクサービスの作成

Azure HDInsight の完全修飾ドメイン名 (FQDN)

プライベートエンドポイントを使用したマネージド仮想ネットワークのアクセス制約

フィードバック

その他のリソース

次の方法で共有

Azure Data Factory のマネージド仮想ネットワーク

マネージド仮想ネットワーク

マネージド プライベート エンドポイント

インタラクティブな作成

Time to Live

コピー アクティビティ

パイプラインと外部アクティビティ

さまざまな TTL の比較

Azure PowerShell を使用してマネージド仮想ネットワークを作成する

送信接続

サポートされているデータ ソースとサービス

オンプレミス データ ソース

Data Factory マネージド仮想ネットワークからのパブリック エンドポイントを介した送信方向の通信

制限事項と既知の問題

Key Vault のリンク サービスの作成

Azure HDInsight のリンク サービスの作成

Azure HDInsight の完全修飾ドメイン名 (FQDN)

プライベート エンドポイントを使用したマネージド仮想ネットワークのアクセス制約

関連するコンテンツ

フィードバック

その他のリソース

マネージドプライベートエンドポイント

コピーアクティビティ

サポートされているデータソースとサービス

オンプレミスデータソース

Data Factory マネージド仮想ネットワークからのパブリックエンドポイントを介した送信方向の通信

Key Vault のリンクサービスの作成

Azure HDInsight のリンクサービスの作成

プライベートエンドポイントを使用したマネージド仮想ネットワークのアクセス制約