HDInsight on AKS の新機能 (プレビュー)
Note
Azure HDInsight on AKS は 2025 年 1 月 31 日に廃止されます。 2025 年 1 月 31 日より前に、ワークロードを Microsoft Fabric または同等の Azure 製品に移行することで、ワークロードの突然の終了を回避する必要があります。 サブスクリプション上に残っているクラスターは停止され、ホストから削除されることになります。
提供終了日までは基本サポートのみを利用できます。
重要
現在、この機能はプレビュー段階にあります。 ベータ版、プレビュー版、または一般提供としてまだリリースされていない Azure の機能に適用されるその他の法律条項については、「Microsoft Azure プレビューの追加の使用条件」に記載されています。 この特定のプレビューについては、「Microsoft HDInsight on AKS のプレビュー情報」を参照してください。 質問や機能の提案については、詳細を記載した要求を AskHDInsight で送信してください。また、その他の更新については、Azure HDInsight コミュニティのフォローをお願いいたします。
HDInsight on AKS では、すべてのクラスター管理と操作で、個々のクラスターに対する Azure portal でのサービス管理がネイティブにサポートされています。
HDInsight on AKS には、次の 2 つの新しい概念が導入されています。
- クラスター プールは、クラスターのグループ化と管理に使用されます。
- クラスターはオープンソース コンピューティングに使用され、クラスター プール内でホストされます。
クラスター プール
HDInsight on AKS は、Azure Kubernetes Service (AKS) で実行されます。 最上位のリソースはクラスター プールであり、これにより、同じ AKS クラスターで実行されているすべてのクラスターが管理されます。 クラスター プールを作成すると、基になる AKS クラスターが同時に作成され、プール内のすべてのクラスターがホストされます。 クラスター プールはクラスターの論理的なグループであり、複数の種類のクラスター間で堅牢な相互運用性を構築するのに役立ちます。これにより、企業はクラスターを同じ仮想ネットワークに配置できます。 クラスター プールは、オンデマンドで大規模に作成されたすべてのクラスターの種類に高速かつコスト効率の高いアクセスを提供します。1 つのクラスター プールは、AKS インフラストラクチャ内の 1 つのクラスターに対応します。
クラスター
クラスターは、Apache Spark、Apache Flink、Trino などの個別のオープン ソース コンピューティング ワークロードであり、事前設定された構成と数回のクリックで数分で迅速に作成できます。 同じクラスター プールで実行されますが、各クラスターにはクラスターの種類、バージョン、ノード VM サイズ、ノード数などの独自の構成を設定できます。 クラスターは、独自の DNS とエンドポイントを使用して、分離されたコンピューティング リソースで実行されています。
現在プレビュー段階の機能
次の表に、現在プレビュー段階にある HDInsight on AKS の機能を示します。 プレビュー機能はアルファベット順に記載されています。
| 面グラフ | 機能 |
|---|---|
| 基礎 | ポータルを使用したプールとクラスターの作成、Web での Secure Shell (ssh) のサポート、クラスターの作成時にワーカー ノードの数を選択する機能 |
| 記憶域 | ADLS Gen2 Storage のサポート |
| メタストア | Trino、Spark、Flink の外部メタストア サポート、HDInsight との統合 |
| Security | ARM RBAC のサポート、MSI ベースの認証のサポート、他のユーザーにクラスター アクセスを提供するオプション |
| ログ記録と監視 | Azure ログ分析のログ集計、サーバー ログ、マネージド Prometheus と Grafana を介したクラスターとサービスのメトリック、Azure Monitor でのサーバー メトリックのサポート、サービスの正常性を監視するための [サービスの状態] ページ |
| 自動スケーリング | 読み込みベースの自動スケーリングとスケジュール ベースの自動スケーリング |
| クラスターのカスタマイズと構成 | クラスター作成時のスクリプト アクションのサポート、ライブラリ管理のサポート、クラスター作成後のサービス構成設定 |
| Trino | Trino カタログのサポート、Trino CLI サポート、クエリ送信の DBeaver サポート、プラグインとコネクタの追加または削除、クエリ イベントのログのサポート、Trino ダッシュボードでのあらゆるコネクタに対するスキャン クエリ統計のサポート、クエリを監視するための Trino ダッシュボードのサポート、クエリ キャッシュ、Power BI との統合、Apache Superset との統合、Redash、複数のコネクタのサポート |
| Flink | Flink ネイティブ Web UI のサポート、DStream 向け HMS での Flink サポート、REST API と Azure portal を使用したクラスターへのジョブの送信、Flink CLI を使用した JAR ファイルとしてパッケージ化されたプログラムの実行、永続的なセーブポイントのサポート、ジョブ実行時の構成オプション更新のサポート、複数の Azure サービスへの接続 (Azure Cosmos DB、Azure Databricks、Azure Data Explorer、Azure Event Hubs、Azure IoT Hub、Azure Pipelines、Azure Data Factory ワークフロー オーケストレーション マネージャー、HDInsight Kafka)、Flink CLI と Flink による CDC を使用したクラスターへのジョブの送信 |
| Spark | Jupyter Notebook、Delta Lake 2.0 のサポート、Zeppelin サポート、ATS のサポート、Yarn 履歴サーバー インターフェイスのサポート、SSH を使用したジョブの送信、SDK と Machine Learning Notebook を使用したジョブの送信 |
機能のロードマップ
| 機能 | リリース予定のタイムライン | Status |
|---|---|---|
| 自動スケーリング - 負荷ベース - Trino | Q1 2024 | 完了済み |
| シャッフルに対応した負荷ベースの Spark 向け自動スケーリング | 2024 年第 2 四半期 | 進行中 |
| インプレース アップグレード | 2024 年第 2 四半期 | 完了済み |
| 予約インスタンスのサポート | 2024 年第 2 四半期 | 進行中 |
| メタストアの MSI ベースの認証 (SQL) | Q1 2024 | 進行中 |
| Spark 3.4 | 2024 年第 2 四半期 | 進行中 |
| Trino 426 | Q1 2024 | 完了済み |
| RBAC 向け Ranger | 2024 年第 2 四半期 | 進行中 |
| Flink のアプリ モードのサポート | Q1 2024 | 完了済み |
| Flink 1.17 | Q1 2024 | 完了済み |
| Spark ACID のサポート | Q1 2024 | 進行中 |
| ヘッド ノード、SSH 用の構成可能な SKU | 2024 年第 2 四半期 | 進行中 |
| Flink SQL Gateway のサポート | Q1 2024 | 完了済み |
| HDInsight on AKS のプライベート クラスター | Q1 2024 | 完了済み |
| Spark SQL の Ranger サポート | Q4 2024 | 進行中 |
| ストレージ レイヤーの Ranger ACL | Q4 2024 | 進行中 |
| プライマリ コンテナーとしての One Lake のサポート | 2024 年第 2 四半期 | 進行中 |