この記事では、HDInsight サービスがすべてのクラスター構成に Standard Load Balancer を使用するように移行する際の HDInsight クラスターへの影響の詳細と必要な手順について説明します。
この移行は、2025 年 9 月 30 日までに Azure Basic Load Balancer が廃止され、新しいデプロイは 2025 年 3 月 31 日までにサポートされなくなる発表に従って実施されます。 詳細については、Azure Basic Load Balancer が 2025 年 9 月 30 日に廃止される (Standard Load Balancer へのアップグレード) を参照してください。
Basic ロード バランサーから Standard ロード バランサーへの移行の一環として、パブリック IP は Basic SKU から Standard SKU にアップグレードされます。 詳細については、「2025 年 9 月 30 日までに、Azure で Standard SKU のパブリック IP アドレスにアップグレードしてください。Basic SKU は廃止されます」を参照してください。 また、既定の送信アクセスは非推奨になります。 詳細については、「Azure 内の VM の既定の送信アクセス廃止について―新しいインターネット アクセス方法への切り替え」を参照してください。
注
ロード バランサー、IP アドレス、ネットワーク インターフェイスなど、VNet 内で HDInsight によって作成されたコンポーネントを変更しないことをお勧めします。これらのコンポーネントに加えた変更は、クラスターのメンテナンス中に元に戻される可能性があります。
HDInsight クラスターへの影響
実行時間の長いクラスター (ユース ケースでクラスターを頻繁に作成および削除しない場合)
シナリオ 1: カスタム仮想ネットワークのない既存の HDInsight クラスター (クラスターの作成時に仮想ネットワークを使用していない)。
- 2025 年 3 月 31 日まで即時中断はありません。 ただし、スケールアップ操作の失敗や非運用ノードなどの潜在的な問題を回避するために、2025 年 3 月 31 日より前にクラスターを再作成することを強くお勧めします。
シナリオ 2: カスタム仮想ネットワークを使用する既存の HDInsight クラスター (クラスターの作成に独自の VNet を使用)。
- 2025 年 3 月 31 日まで即時中断はありません。 ただし、スケールアップ操作の失敗や非運用ノードなどの潜在的な問題を回避するために、2025 年 3 月 31 日より前にクラスターを再作成することを強くお勧めします。
新しいクラスターの作成
既定の送信アクセスの廃止により、HDInsight クラスターには新しい送信接続方法が必要です。 ドキュメント「アウトバウンド接続の送信元ネットワーク アドレス変換 (SNAT)」には、クラスターにアウトバウンド接続を提供するいくつかの方法が記載されています。 HDInsight で最も推奨される方法は、NAT ゲートウェイをサブネットに関連付け、HDInsight クラスターの自動スケーリング機能をサポートすることです。 NAT ゲートウェイは、クラスターの送信ネットワーク接続を提供します。 NSG は、標準ロード バランサーに必要な受信および送信の両方のトラフィックを制御します。
注
NAT ゲートウェイではなく Azure Firewall を使用する場合は、 送信ネットワーク トラフィック制限の構成 に従ってクラスターを作成します。
シナリオ 1: カスタム仮想ネットワークのない HDInsight クラスター (仮想ネットワークなしでクラスターを作成)。
- この場合、影響はありません。 クラスターは直接再作成できます。
シナリオ 2: カスタム仮想ネットワークを持つ HDInsight クラスター (クラスターの作成時に独自の VNet を使用)。
この場合、クラスターを作成するには 2 つのオプションがあります
方法 1: 新しいサブネットを使用してクラスターを作成する
新しい NAT ゲートウェイと新しいネットワーク セキュリティ グループ (NSG) を作成するか、既存のものを使用します。 NAT ゲートウェイは、クラスターの送信ネットワーク接続を提供します。 NSG は、標準ロード バランサーに必要な受信および送信の両方のトラフィックを制御します。
注
既存の NAT Gateway と NSG を使用できます。
「クイックスタート: NAT Gateway の作成 - Azure portal」および「Azure ネットワーク セキュリティ グループを作成、変更、削除する」の各ドキュメントに従って、新しい NAT Gateway と新しいネットワーク セキュリティ グループを作成します。 この「Azure HDInsight のネットワーク トラフィックを制御する」ドキュメントを参照して、正しい NSG ルールを設定できます。
新しいサブネットを作成し、そのサブネットを NAT Gateway とネットワーク セキュリティ グループに関連付けます。
注
NAT Gateway が見つからない場合は、NAT Gateway のよく寄せられる質問 (「Azure NAT Gateway のよく寄せられる質問」) を参照してください。
サブネットを使用して新しいクラスターを作成します。
方法 2: 既存のサブネットを使用してクラスターを作成する
既存の仮想ネットワークは、Azure Standard Load Balancer と互換性がない可能性があるため、既存のカスタム仮想ネットワークをアップグレードして、Azure Standard Load Balancer と統合します。 ネットワーク セキュリティ グループと NAT ゲートウェイを既存のサブネットにアタッチする必要があります。 Azure Basic Load Balancer を使用する HDInsight クラスターを持つ既存のサブネットは、Basic Load Balancer との互換性がないために NAT Gateway に関連付けることができず、次の 2 つのシナリオがあります。
ケース 1: 既存のサブネットに Azure Basic Load Balancer を使用する HDInsight クラスターがない
次のステップを実行します。
新しい NAT ゲートウェイと新しいネットワーク セキュリティ グループ (NSG) を作成するか、既存のものを使用します。 NAT ゲートウェイは、クラスターの送信ネットワーク接続を提供します。 NSG は、標準ロード バランサーに必要な受信および送信の両方のトラフィックを制御します。
注
既存の NAT Gateway と NSG を使用できます。
この「クイックスタート: NAT Gateway の作成 - Azure portal」ドキュメントと、「Azure ネットワーク セキュリティ グループを作成、変更、削除する」に従って、新しい NAT Gateway と新しいネットワーク セキュリティ グループを作成します。
この「Azure HDInsight のネットワーク トラフィックを制御する」ドキュメントを参照して、正しい NSG ルールを設定できます。
NAT Gateway を、ネットワーク セキュリティ グループと一緒にご利用のサブネットに関連付けます。
そのサブネットを使用してクラスターを作成します。
注
NAT Gateway が見つからない場合は、NAT Gateway のよく寄せられる質問 (「Azure NAT Gateway のよく寄せられる質問」) を参照してください。
ケース 2: 既存のサブネットに Azure Basic Load Balancer を持つ HDInsight クラスターがある
次のいずれかの方法を検討してください。
方法 1: サブネットを NAT ゲートウェイとネットワーク セキュリティ グループに関連付けます。
「Azure NAT Gateway のよく寄せられる質問」によると、NAT Gateway は Azure Basic Load Balancer と互換性がありません。
NAT Gateway と関連付けるには、次の手順を実行します。
このサブネット内の Azure Basic Load Balancer を使用する既存の HDInsight クラスターをすべて削除します。
新しい NAT ゲートウェイと新しいネットワーク セキュリティ グループ (NSG) を作成するか、既存のものを使用します。
注
既存の NAT Gateway と NSG を使用できます。
この「クイックスタート: NAT Gateway の作成 - Azure portal」ドキュメントと、「Azure ネットワーク セキュリティ グループを作成、変更、削除する」に従って、新しい NAT Gateway と新しいネットワーク セキュリティ グループを作成します。
この「Azure HDInsight のネットワーク トラフィックを制御する」ドキュメントを参照して、正しい NSG ルールを設定できます。
サブネットを NAT Gateway とネットワーク セキュリティ グループに関連付けます。
注
NAT Gateway が見つからない場合は、NAT Gateway のよく寄せられる質問 (「Azure NAT Gateway のよく寄せられる質問」) を参照してください。
そのサブネットを使用してクラスターを再作成します。
方法 2: 新しいサブネットを作成し、その新しいサブネットを使用してクラスターを作成します。
Von Bedeutung
- 標準ロード バランサーを使用したクラスターの再作成後にジョブの速度低下またはネットワークの問題が発生した場合は、NAT ゲートウェイの "Total SNAT Connection Count" と "Dropped Packets" を確認します。 大きい値は、SNAT ポートの枯渇を示している可能性があります。 これに対処するには、次のいずれかの方法を実装することを検討してください。
- 追加の IP アドレスまたは IP プレフィックスを NAT ゲートウェイにバインドします。 詳細については、「 Azure NAT ゲートウェイの接続 と メトリックとアラートのトラブルシューティング」を参照してください。
- SNAT ポートの依存関係を減らす可能性があるストレージ アカウントへのプライベート リンクを有効にします。 詳細については、「Azure Storage のプライベート エンドポイントを使用する」を参照してください。
注
MFA が無効になっている ESP クラスターを使用している場合は、NAT Gateway を使用してクラスターが再作成されたら、必ず MFA の状態を確認してください。