次の方法で共有

Azure HDInsight on AKS リリース ノート

  • [アーティクル]

この記事では、Azure HDInsight on AKS の最新のリリース更新に関する情報を提供します。 以前のリリースの詳細については、Azure HDInsights on AKS のアーカイブ リリース ノートを参照してください。 リリース ノートをサブスクライブする場合は、この GitHub リポジトリのリリースをご覧ください。

まとめ

HDInsight on AKS は、Azure Kubernetes Service (AKS) 上で実行される、信頼性が高く、セキュリティで保護された最新のフル マネージド PaaS (サービスとしてのプラットフォーム) です。 HDInsight on AKS を使用すると、コンテナーの管理と監視のオーバーヘッドなしで、Apache Spark™、Apache Flink®️、Trino などの一般的なオープン ソース分析ワークロードをデプロイできます。

Apache Flink、Apache Spark を使用したデータ エンジニアリングと機械学習、Trino の強力なクエリ エンジンを介したストリーミングにまたがる、エンドツーエンドのペタバイト規模のビッグ データ アプリケーションを構築できます。

これらのすべての機能を HDInsight on AKS の強力な開発者フォーカスと組み合わせることで、高度な技術的専門知識を持つ企業やデジタル ネイティブが、ニーズに適したアプリケーションを構築して運用できるようになります。 HDInsight on AKS を使用すると、開発者は、オープンソース ソフトウェアと他のエコシステム オファリングをシームレスに組み込む拡張性によって提供されるすべての豊富な構成にアクセスできます。 このオファリングにより、開発者はアプリケーションをテストして調整し、最適なコストで最良のパフォーマンスを引き出すことができます。

Note

HDInsight on AKS のバージョン管理とサポートについては、「バージョン管理のスキーマ」をご覧ください。

このリリースで現在パブリック プレビューになっている機能について詳しくは、新機能に関するページをご覧ください。

重要

HDInsight on AKS では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。

リリース情報

リリース日: 2024 年 3 月 20 日

このリリースは次のものに適用されます

  • クラスター プールのバージョン: 1.1
  • クラスターのバージョン: 1.1.1
  • AKS のバージョン: 1.27

新機能

Apache Flink アプリケーション モード クラスター

アプリケーション モード クラスターは、大規模で実行時間の長いジョブ用の専用リソースをサポートするように設計されています。 リソース集中型または広範なデータ処理のタスクがある場合は、アプリケーション モード クラスターを使用できます。 このモードでは、特定の Apache Flink アプリケーションに専用リソースを割り当てて、大規模なワークロードを効果的に処理するために必要なコンピューティング パワーとメモリを確保できます。

詳細については、「AKS の HDInsight 上の Apache Flink アプリケーション モード クラスター」を参照してください。

HDInsight on AKS のプライベート クラスター

プライベート クラスターと送信クラスターの設定を使って、AKS クラスター プールとクラスターでの HDInsight からのイングレスとエグレス トラフィックを制御できるようになりました。

  • ロード バランサーで送信クラスター プールを使うことを選んだ場合は、Azure Firewall またはネットワーク セキュリティ グループ (NSG) を使ってエグレス トラフィックを制御します。
  • 送信クラスター プールでユーザー定義ルーティングを使用して、サブネット レベルでエグレス トラフィックを制御します。
  • プライベート AKS クラスター機能を使用する - AKS コントロール プレーンまたは API サーバーに内部 IP アドレスがあることを確認します。 AKS コントロール プレーンまたは API サーバーと HDInsight on AKS ノード プール (クラスター) との間のネットワーク トラフィックが、プライベート ネットワーク上にのみ保持されます。
  • クラスターにはパブリック IP を作成しないでください。 クラスターではプライベート イングレス機能を使います。

詳細については、「AKS クラスター プールとクラスター上の HDInsight からのネットワーク トラフィックの制御」を参照してください。

一括アップグレード

最新のソフトウェア更新プログラムで、クラスターとクラスター プールをアップグレードします。 つまり、クラスターを作成し直すことなく、クラスター パッケージの最新の修正プログラム、セキュリティ パッチ、AKS パッチを利用できます。 詳細については、「AKS クラスターとクラスター プール上の HDInsight のアップグレード」を参照してください。

重要

これらすべての最新機能を利用するには、1.1 とクラスター バージョン 1.1.1 で新しいクラスター プールを作成する必要があります。

既知の問題

  • ワークロード ID の制限:
    • ワークロード ID に移行する際には、既知の制限があります。 この制限は、FIC 操作のアクセス許可に依存する性質によるものです。 ユーザーは、リソース グループを削除してクラスターの削除を実行できません。 クラスター削除要求は、FIC/削除アクセス許可を持つアプリケーション/ユーザー/プリンシパルによってトリガーされる必要があります。 FIC の削除が失敗した場合、高レベルのクラスターの削除も失敗します。
    • ユーザー割り当てマネージド ID (UAMI) のサポート – UAMI あたり 20 FIC の制限があります。 1 つの ID で作成できるフェデレーション資格情報は 20 個のみです。 HDInsight on AKS クラスターでは、FIC (フェデレーション ID 資格情報) と SA には 1 対 1 のマッピングがあり、1 つの MSI に対して作成できる SA は 20 個のみです。 さらにクラスターを作成したい場合は、異なる MSI を提供して制限を回避する必要があります。
    • 現在、これらのリージョンで作成されたユーザー割り当てマネージド ID では、フェデレーション ID 資格情報の作成はサポートされていません

オペレーティング システムのバージョン

  • Mariner OS 2.0

ワークロードのバージョン

ワークロード Version
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

サポートされている Java と Scala のバージョン

ワークロード Java Scala
Trino Open JDK 17.0.7 - 
Flink Open JDK 11.0.21 2.12.7
Spark Open JDK 1.8.0_345 2.12.15

プレビューは、次のリージョンで利用できます。

その他の質問については、Azure サポートにご連絡いただくか、サポート オプションに関するページをご覧ください。 製品固有のフィードバックがある場合は、aka.ms/askhdinsight で情報をお寄せください。

次のステップ