Basic Load Balancer の非推奨: Azure HDInsight のガイドライン

この記事では、HDInsight サービスがすべてのクラスター構成に Standard Load Balancer を使用するように移行する際の HDInsight クラスターへの影響の詳細と必要な手順について説明します。

この移行は、2025 年 9 月 30 日までに Azure Basic Load Balancer が廃止され、新しいデプロイは 2025 年 3 月 31 日までにサポートされなくなる発表に従って実施されます。 詳細については、Azure Basic Load Balancer が 2025 年 9 月 30 日に廃止される (Standard Load Balancer へのアップグレード) を参照してください。

Basic ロード バランサーから Standard ロード バランサーへの移行の一環として、パブリック IP は Basic SKU から Standard SKU にアップグレードされます。 詳細については、「2025 年 9 月 30 日までに、Azure で Standard SKU のパブリック IP アドレスにアップグレードしてください。Basic SKU は廃止されます」を参照してください。 また、既定の送信アクセスは非推奨になります。 詳細については、「Azure 内の VM の既定の送信アクセス廃止について―新しいインターネット アクセス方法への切り替え」を参照してください。

注

ロード バランサー、IP アドレス、ネットワーク インターフェイスなど、VNet 内で HDInsight によって作成されたコンポーネントを変更しないことをお勧めします。これらのコンポーネントに加えた変更は、クラスターのメンテナンス中に元に戻される可能性があります。

HDInsight クラスターへの影響

実行時間の長いクラスター (ユース ケースでクラスターを頻繁に作成および削除しない場合)

  • シナリオ 1: カスタム仮想ネットワークのない既存の HDInsight クラスター (クラスターの作成時に仮想ネットワークを使用していない)。

    • 2025 年 3 月 31 日まで即時中断はありません。 ただし、スケールアップ操作の失敗や非運用ノードなどの潜在的な問題を回避するために、2025 年 3 月 31 日より前にクラスターを再作成することを強くお勧めします。

  • シナリオ 2: カスタム仮想ネットワークを使用する既存の HDInsight クラスター (クラスターの作成に独自の VNet を使用)。

    • 2025 年 3 月 31 日まで即時中断はありません。 ただし、スケールアップ操作の失敗や非運用ノードなどの潜在的な問題を回避するために、2025 年 3 月 31 日より前にクラスターを再作成することを強くお勧めします。

新しいクラスターの作成

既定の送信アクセスの廃止により、HDInsight クラスターには新しい送信接続方法が必要です。 ドキュメント「アウトバウンド接続の送信元ネットワーク アドレス変換 (SNAT)」には、クラスターにアウトバウンド接続を提供するいくつかの方法が記載されています。 HDInsight で最も推奨される方法は、NAT ゲートウェイをサブネットに関連付け、HDInsight クラスターの自動スケーリング機能をサポートすることです。 NAT ゲートウェイは、クラスターの送信ネットワーク接続を提供します。 NSG は、標準ロード バランサーに必要な受信および送信の両方のトラフィックを制御します。

注

NAT ゲートウェイではなく Azure Firewall を使用する場合は、 送信ネットワーク トラフィック制限の構成 に従ってクラスターを作成します。

  • シナリオ 1: カスタム仮想ネットワークのない HDInsight クラスター (仮想ネットワークなしでクラスターを作成)。

    • この場合、影響はありません。 クラスターは直接再作成できます。

  • シナリオ 2: カスタム仮想ネットワークを持つ HDInsight クラスター (クラスターの作成時に独自の VNet を使用)。

    • この場合、クラスターを作成するには 2 つのオプションがあります

      方法 1: 新しいサブネットを使用してクラスターを作成する

      1. 新しい NAT ゲートウェイと新しいネットワーク セキュリティ グループ (NSG) を作成するか、既存のものを使用します。 NAT ゲートウェイは、クラスターの送信ネットワーク接続を提供します。 NSG は、標準ロード バランサーに必要な受信および送信の両方のトラフィックを制御します。

        注

        既存の NAT Gateway と NSG を使用できます。

        「クイックスタート: NAT Gateway の作成 - Azure portal」および「Azure ネットワーク セキュリティ グループを作成、変更、削除する」の各ドキュメントに従って、新しい NAT Gateway と新しいネットワーク セキュリティ グループを作成します。 この「Azure HDInsight のネットワーク トラフィックを制御する」ドキュメントを参照して、正しい NSG ルールを設定できます。

      2. 新しいサブネットを作成し、そのサブネットを NAT Gateway とネットワーク セキュリティ グループに関連付けます。

        サブネットの作成方法を示すスクリーンショット。

        注

        NAT Gateway が見つからない場合は、NAT Gateway のよく寄せられる質問 (「Azure NAT Gateway のよく寄せられる質問」) を参照してください。

      3. サブネットを使用して新しいクラスターを作成します。

        HDInsight クラスターを作成する方法を示すスクリーンショット。

      方法 2: 既存のサブネットを使用してクラスターを作成する

      既存の仮想ネットワークは、Azure Standard Load Balancer と互換性がない可能性があるため、既存のカスタム仮想ネットワークをアップグレードして、Azure Standard Load Balancer と統合します。 ネットワーク セキュリティ グループと NAT ゲートウェイを既存のサブネットにアタッチする必要があります。 Azure Basic Load Balancer を使用する HDInsight クラスターを持つ既存のサブネットは、Basic Load Balancer との互換性がないために NAT Gateway に関連付けることができず、次の 2 つのシナリオがあります。

Von Bedeutung

  • 標準ロード バランサーを使用したクラスターの再作成後にジョブの速度低下またはネットワークの問題が発生した場合は、NAT ゲートウェイの "Total SNAT Connection Count" と "Dropped Packets" を確認します。 大きい値は、SNAT ポートの枯渇を示している可能性があります。 これに対処するには、次のいずれかの方法を実装することを検討してください。

注

MFA が無効になっている ESP クラスターを使用している場合は、NAT Gateway を使用してクラスターが再作成されたら、必ず MFA の状態を確認してください。

次のステップ

  • 最終更新: