HDInsight クラスターで Private Link を有効にする

[アーティクル]
04/11/2024

この記事では、Azure Private Link を使用して、Microsoft バックボーンネットワーク経由でネットワークを介して HDInsight クラスターにプライベートに接続する方法について学習します。この記事は、パブリック接続の制限に重点を置いた Azure HDInsight でのクラスター接続の制限に関する記事を拡張したものです。 HDInsight クラスターとそれに依存するリソースに対して、またはその内部でパブリック接続が必要な場合、「Azure HDInsight のネットワークトラフィックを制御する」にあるガイドラインに従ってクラスター接続を制限することを検討してください。

Private Link は、仮想ネットワークピアリングが利用できない、または有効になっていないクロスネットワークシナリオで使用できます。

Note

パブリック接続を制限することは、Private Link を有効にするための前提条件であり、同じ機能とは見なさないでください。

Private Link を使用して HDInsight クラスターに接続する機能はオプションであり、既定では無効になっています。この機能は、Azure HDInsight でのクラスター接続の制限に関する記事で説明されているように、resourceProviderConnectionネットワークプロパティが outbound に設定されている場合にのみ使用できます。

privateLink が enabled に設定されている場合は、内部の標準ロードバランサー (SLB) が作成され、SLB ごとに Azure Private Link サービスがプロビジョニングされます。 Private Link サービスを使用すると、プライベートエンドポイントから HDInsight クラスターにアクセスできます。

Private Link のデプロイ手順

Private Link クラスターを適切に作成するには多くの手順が必要になるため、ここでそれらの概要を説明します。以下の各手順に従って、確実にすべてを正しく設定してください。

手順 1: 前提条件を作成する

最初に、次のリソースをまだ作成していない場合はデプロイします。次に示すように、少なくとも 1 つのリソースグループ、2 つの仮想ネットワーク、HDInsight クラスターがデプロイされるサブネットに接続するネットワークセキュリティグループが必要です。

Type	名前	目的
Resource group	hdi-privlink-rg	共通のリソースをまとめて保持するために使用します
仮想ネットワーク	hdi-privlink-cluster-vnet	クラスターがデプロイされる VNET
仮想ネットワーク	hdi-privlink-client-vnet	クライアントからクラスターへの接続元となる VNET
ネットワークセキュリティグループ	hdi-privlink-cluster-vnet-nsg	クラスターのデプロイに必要な既定の NSG

Note

ネットワークセキュリティグループ (NSG) はそのままデプロイできます。クラスターのデプロイ用に NSG 規則を変更する必要はありません。

手順 2: HDInsight サブネットを構成する

サブネットで privateLinkServiceNetworkPolicies を無効にします。 自分の Private Link サービスのソース IP アドレスを選択するには、そのサブネット上で明示的な無効化設定 privateLinkServiceNetworkPolicies が必要です。こちらの手順に従って、Private Link サービスのネットワークポリシーを無効にします。
サブネット上のサービスエンドポイントを有効にします。 Private Link HDInsight クラスターを正常にデプロイするには、クラスターのデプロイ前に、Microsoft.SQL、Microsoft.Storage、および Microsoft.KeyVault サービスエンドポイントをサブネットに追加することをお勧めします。サービスエンドポイントは、ご利用の仮想ネットワークから Microsoft Azure のバックボーンネットワーク上のサービスへのサービストラフィックを直接ルーティングします。 Azure のバックボーンネットワーク上でトラフィックを維持することで、サービストラフィックに影響を与えることなく、強制トンネリングを通じて、ご利用の仮想ネットワークからの送信インターネットトラフィックの監査と監視を続けることができます。

手順 3: NAT ゲートウェイ "または" ファイアウォールをデプロイする

標準ロードバランサーでは、基本ロードバランサーの場合と同様、パブリック送信 NAT が自動的に提供されません。 Private Link クラスターには標準のロードバランサーが使用されるため、送信パブリック HDInsight の依存関係に接続するには、独自の NAT ソリューション (NAT ゲートウェイや、ファイアウォールによって提供される NAT など) を提供する必要があります。

NAT ゲートウェイをデプロイする (オプション 1)

ファイアウォールまたはネットワーク仮想アプライアンス (NVA) を NAT 用に構成しない場合は、NAT Gateway を使用することを選択できます。作業を開始するには、仮想ネットワークの構成済みサブネットに NAT Gateway (仮想ネットワークの新しいパブリック IP アドレスを持つ) を追加します。このゲートウェイには、仮想ネットワークの外部にトラフィックを送信する必要がある場合に、プライベート内部 IP アドレスをパブリックアドレスに変換する役割を担います。

基本的なセットアップを開始するには、次の操作を行います。

Azure portal で「NAT Gateways」を検索し、[作成] をクリックします。

NAT ゲートウェイに次の構成を使用します。 (ここに含まれているのは一部の構成です。他の構成には既定値を使用できます。)

Config	値
NAT ゲートウェイ名	hdi-privlink-nat-gateway
パブリック IP プレフィックス	新しいパブリック IP プレフィックスを作成する
パブリック IP プレフィックス名	hdi-privlink-nat-gateway-prefix
パブリック IP プレフィックスサイズ	/28 (16 個のアドレス)
仮想ネットワーク	hdi-privlink-cluster-vnet
サブネット名	default

NAT ゲートウェイのデプロイが完了したら、次の手順に進む準備が整います。

ファイアウォールを構成する (オプション 2)

基本的なセットアップを開始するには、次の操作を行います。

AzureFirewallSubnet という名前の新しいサブネットを仮想ネットワークに追加します。
この新しいサブネットを使用して、新しいファイアウォールを構成し、ファイアウォールポリシーを追加します。
この新しいファイアウォールのプライベート IP アドレスを、ルートテーブルの nextHopIpAddress 値として使用します。
このルートテーブルを、仮想ネットワークの構成済みサブネットに追加します。

HDInsight クラスターから送信依存関係へのアクセスは引き続き必要です。このような送信依存関係が許可されていない場合は、クラスターの作成に失敗する可能性があります。ファイアウォールの設定の詳細については、「Azure HDInsight のネットワークトラフィックを制御する」を参照してください。

手順 4: Private Link クラスターをデプロイする

この時点で、すべての前提条件に対処済みであり、Private Link クラスターをデプロイする準備が整っています。次の図は、クラスターを作成する前に必要なネットワーク構成の例を示しています。この例では、すべての送信トラフィックが、ユーザー定義のルートによって Azure Firewall に強制的に誘導されます。クラスターを作成する前に、ファイアウォールで必要な送信依存関係を許可する必要があります。 Enterprise セキュリティパッケージクラスターでは、仮想ネットワークピアリングによって Microsoft Entra Domain Services へのネットワーク接続を提供できます。

クラスターを作成する前の Private Link 環境の図。

クラスターを作成する

次の JSON コードスニペットには、プライベート HDInsight クラスターを作成するために Azure Resource Manager テンプレートで構成する必要がある 2 つのネットワークプロパティが含まれています。

networkProperties: {
    "resourceProviderConnection": "Outbound",
    "privateLink": "Enabled"
}

数多くの HDInsight エンタープライズセキュリティ機能 (Private Link など) を備えた完全なテンプレートについては、HDInsight エンタープライズセキュリティのテンプレートを参照してください。

PowerShell を使用してクラスターを作成するには、例を参照してください。

Azure CLI を使用してクラスターを作成するには、例を参照してください。

手順 5: プライベートエンドポイントを作成する

Azure では、Private Link クラスターのデプロイ中に、Ambari および SSH ロードバランサーの Private Link サービスが自動的に作成されます。クラスターのデプロイ後、クライアント VNET に 2 つのプライベートエンドポイントを作成する必要があります。1 つは Ambari、もう 1 つは SSH アクセス用です。次に、それらを、クラスターのデプロイの一環として作成された Private Link サービスにリンクします。

プライベートエンドポイントを作成するには、次の操作を行います。

Azure portal を開き、「Private link」を検索します。
結果から Private link アイコンをクリックします。

[プライベートエンドポイントの作成] をクリックし、次の構成を使用して Ambari プライベートエンドポイントを設定します。

Config	値
名前	hdi-privlink-cluster
リソースの種類	Microsoft.Network/privateLinkServices
リソース	gateway-* (この値はクラスターの HDI デプロイ ID と一致する必要があります。たとえば、gateway-4eafe3a2a67e4cd88762c22a55fe4654)
仮想ネットワーク	hdi-privlink-client-vnet
Subnet	default

Private Link 基本タブ。 Private Link リソースタブの図。 Private Link 仮想ネットワークタブの図。 Private Link dns エンドポイントタブの図。 Private Link タグタブの図。 Private Link レビュータブの図。

次の構成を使用してプロセスを繰り返し、SSH アクセス用に別のプライベートエンドポイントを作成します。

Config	値
名前	hdi-privlink-cluster-ssh
リソースの種類	Microsoft.Network/privateLinkServices
リソース	headnode-* (この値はクラスターの HDI デプロイ ID と一致する必要があります。たとえば、headnode-4eafe3a2a67e4cd88762c22a55fe4654)
仮想ネットワーク	hdi-privlink-client-vnet
Subnet	default

重要

KafkaRestProxy HDInsight クラスターを使用している場合は、この追加の手順に従ってプライベートエンドポイントを有効にします。

プライベートエンドポイントが作成されたら、セットアップのこのフェーズは完了です。エンドポイントに割り当てられたプライベート IP アドレスをメモしなかった場合は、次の手順に従います。

Azure portal でクライアント VNET を開きます。
[プライベートエンドポイント] タブをクリックします。
Ambari と SSH の両方のネットワークインターフェイスが一覧に表示されます。
それぞれをクリックし、[DNS 構成] ブレードに移動してプライベート IP アドレスを表示します。
これらの IP アドレスは、クラスターに接続して DNS を適切に構成するために必要なので、メモします。

手順 6: プライベートエンドポイントを使用して接続する DNS を構成する

プライベートクラスターにアクセスするには、プライベート DNS ゾーンを使用した DNS 解決を構成できます。 Azure で管理されているパブリック DNS ゾーン azurehdinsight.net で作成される Private Link エントリは、次のとおりです。

<clustername>        CNAME    <clustername>.privatelink
<clustername>-int    CNAME    <clustername>-int.privatelink
<clustername>-ssh    CNAME    <clustername>-ssh.privatelink

次の図は、ピアリングされていないか、クラスターに直接アクセスできない仮想ネットワークからクラスターにアクセスできるように構成されたプライベート DNS エントリの例を示しています。 Azure DNS プライベートゾーンを使用して、*.privatelink.azurehdinsight.net の完全修飾ドメイン名 (FQDN) をオーバーライドし、クライアントのネットワーク内にあるプライベートエンドポイントの IP アドレスを解決できます。この例では、<clustername>.azurehdinsight.net の構成のみを示していますが、他のクラスターエンドポイントにも拡張されます。

Private Link アーキテクチャの図。

プライベート DNS ゾーンを使用した DNS 解決を構成するには、次のようにします。

Azure プライベート DNS ゾーンを作成します。 (ここに含まれているのは一部の構成です。他のすべての構成は既定値のままにします)

Config 値

名前 privatelink.azurehdinsight.net

Config	値
名前	privatelink.azurehdinsight.net

Ambari のレコードセットをプライベート DNS ゾーンに追加します。

Config	値
名前	YourPrivateLinkClusterName
Type	A - IPv4 アドレスへのエイリアスレコード
TTL	1
TTL の単位	Hours
IP アドレス	Ambari アクセス用のプライベートエンドポイントのプライベート IP

プライベート dns ゾーン追加レコードの図。

SSH のレコードセットをプライベート DNS ゾーンに追加します。

Config	値
名前	YourPrivateLinkClusterName-ssh
Type	A - IPv4 アドレスへのエイリアスレコード
TTL	1
TTL の単位	Hours
IP アドレス	SSH アクセス用のプライベートエンドポイントのプライベート IP

プライベートリンク dns ゾーン追加 ssh レコードの図。

重要

KafkaRestProxy HDInsight クラスターを使用している場合は、この追加の手順に従ってプライベートエンドポイント経由で接続するように DNS を構成します。

プライベート DNS ゾーンをクライアント VNET に関連付けるために、Virtual Network リンクを追加します。
1. Azure portal でプライベート DNS ゾーンを開きます。
2. [仮想ネットワークリンク] タブをクリックします。
3. [追加] ボタンをクリックします。
4. 詳細を入力します: リンク名、サブスクリプション、仮想ネットワーク (使用中のクライアント VNET)
5. [保存] をクリックします。

手順 7: クラスターの接続を確認する

最後の手順では、クラスターへの接続をテストします。これは分離またはプライベートクラスターであるため、パブリック IP または FQDN を使用したクラスターへのアクセスはできません。代わりにいくつかのオプションがあります。

オンプレミスネットワークからクライアント VNET への VPN アクセスを設定する
クライアント VNET に VM をデプロイし、この VM からクラスターにアクセスする

この例では、次の構成を使用してクライアント VNET に VM をデプロイし、接続をテストします。

Config	値
仮想マシン名	hdi-privlink-client-vm
Image	Windows 10 Pro、バージョン 2004 - Gen1
パブリック受信ポート	[選択したポートを許可する]
受信ポートの選択	RDP (3389)
... 有効な Windows 10 ライセンスを所有しています。	オン
仮想ネットワーク	hdi-privlink-client-vnet
Subnet	default

クライアント VM をデプロイしたら、Ambari と SSH の両方のアクセスをテストできます。

Ambari アクセスをテストするには、次のようにします。

VM 上で Web ブラウザーを開きます。
クラスターの標準 FQDN に移動します: https://<clustername>.azurehdinsight.net
Ambari の UI が読み込まれたら、Ambari アクセス用の正しい構成になっています。

SSH アクセスをテストするには、次のようにします。

コマンドプロンプトを開いてターミナルウィンドウを表示します。
ターミナルウィンドウで、SSH を使用してクラスターに接続してみます: ssh sshuser@<clustername>.azurehdinsight.net ("sshuser" は、ご自身のクラスター用に作成した SSH ユーザーに置き換えてください)
接続できた場合、SSH アクセス用の正しい構成になっています。

HDInsight のプライベートエンドポイントを管理する

Azure HDInsight クラスターのプライベートエンドポイントを使用すると、仮想ネットワーク上のクライアントから Private Link を介してクラスターに安全にアクセスできるようになります。仮想ネットワーク上のクライアントと HDInsight クラスター間のネットワークトラフィックは、Microsoft バックボーンネットワーク経由で送受信され、パブリックインターネットへの露出を避けることができます。

プライベートエンドポイント管理エクスペリエンスの図。

Private Link サービスのコンシューマー (Azure Data Factory など) は、次の 2 つの接続承認方法から選択できます。

自動: サービスのコンシューマーに、HDInsight リソースに対する Azure ロールベースのアクセス制御 (RBAC) アクセス許可がある場合、コンシューマーは自動の承認方法を選択できます。この場合、要求が HDInsight リソースに到達したときに、その HDInsight リソースからのアクションは必要なく、接続が自動的に承認されます。
手動: サービスのコンシューマーに、HDInsight リソースに対する Azure RBAC アクセス許可がない場合、コンシューマーは手動の承認方法を選択できます。この場合、接続要求は HDInsight リソース上で保留中として表示されます。要求は、接続が確立される前に、HDInsight リソースによって手動で承認される必要があります。

プライベートエンドポイントを管理するには、Azure portal のクラスタービューで、 [セキュリティとネットワーク] の下にある [ネットワーク] セクションに移動します。ここでは、すべての既存の接続、接続状態、プライベートエンドポイントの詳細を確認できます。

また、既存の接続を承認、拒否、または削除することもできます。プライベート接続を作成するときに、接続先の HDInsight サブリソース (ゲートウェイやヘッドノードなど) を指定できます。

次の表に、HDInsight リソースのさまざまなアクションと、その結果生じるプライベートエンドポイントの接続状態を示します。 HDInsight リソースでは、後で、コンシューマーの介入なしに、プライベートエンドポイント接続の接続状態を変更することもできます。このアクションにより、コンシューマー側のエンドポイントの状態が更新されます。

サービスプロバイダーのアクション	サービスコンシューマーのプライベートエンドポイントの状態	説明
なし	保留中	接続が手動で作成されており、プライベートリンクリソースの所有者による承認を待機しています。
承認	Approved	接続が自動または手動で承認され、使用する準備が整っています。
Reject	拒否	Private Link リソースの所有者によって接続が拒否されました。
[削除]	[Disconnected](切断済み)	Private Link リソースの所有者によって接続が削除されました。プライベートエンドポイントは情報が多くなり、クリーンアップのために削除する必要があります。