リソースの前提条件
Note
Azure HDInsight on AKS は 2025 年 1 月 31 日に廃止されます。 2025 年 1 月 31 日より前に、ワークロードを Microsoft Fabric または同等の Azure 製品に移行することで、ワークロードの突然の終了を回避する必要があります。 サブスクリプション上に残っているクラスターは停止され、ホストから削除されることになります。
提供終了日まで基本サポートのみ利用できます。
重要
現在、この機能はプレビュー段階にあります。 ベータ版、プレビュー版、または一般提供としてまだリリースされていない Azure の機能に適用されるその他の法律条項については、「Microsoft Azure プレビューの追加の使用条件」に記載されています。 この特定のプレビューについては、「Microsoft HDInsight on AKS のプレビュー情報」を参照してください。 質問や機能の提案については、詳細を記載した要求を AskHDInsight で送信してください。また、その他の更新については、Azure HDInsight コミュニティのフォローをお願いいたします。
この記事では、HDInsight on AKS の使用を開始するために必要なリソースについて詳しく取り上げます。 必須のリソースおよび任意のリソースと、その作成方法について説明します。
必須のリソース
次の表では、クラスターの種類ごとにクラスターの作成に必要なリソースを示しています。
| ワークロード | 管理サービス ID (MSI) | 記憶域 | SQL Server - SQL Database | Key Vault |
|---|---|---|---|---|
| Trino | ✅ | |||
| Flink | ✅ | ✅ | ||
| Spark | ✅ | ✅ | ||
| Hive メタストア (HMS) を使用する Trino、Flink、Spark | ✅ | ✅ | ✅ | ✅ |
Note
MSI は、SQL Database を除くリソース間の認証と認可のセキュリティ標準として使用されます。 ロールの割り当ては、ストレージへの MSI の認可のためにデプロイ前に行われ、SQL Database 用にはシークレットが Key Vault に保存されます。 ストレージのサポートには ADLS Gen2 が採用され、コンピューティング エンジンのデータ ストアとして使用されます。また、HIVE メタストアでのテーブル管理には SQL Database が使用されます。
Optional resources
- Virtual Network (VNet) とサブネット: 仮想ネットワークを作成する
- Log Analytics ワークスペース: Log Analytics ワークスペースを作成する
Note
- VNet には、既存のルート テーブルが関連付けられていないサブネットが必要です。
- HDInsight on AKS により、独自の VNet とサブネットの使用が可能となり、自社のニーズに合わせてネットワーク要件をカスタマイズできます。
- Log Analytics ワークスペースは任意であり、Azure Log Analytics などの Azure Monitor 機能を使用したい場合に、事前に作成する必要があります。
必須のリソースは、次の 2 つの方法で作成できます。
ARM テンプレートの使用
次の ARM テンプレートを使用すると、リソースのプレフィックスと必要な詳細を設定することで、指定されている必須のリソースをワンクリックで作成できます。
たとえば、“demo” というリソース プレフィックスを付けると、選択したテンプレートに応じて、次のリソースがリソース グループに作成されます。
demoMSIという名前の MSI が作成されます。demostoreという名前のストレージがdemocontainerという名前のコンテナーとともに作成されます。demoKeyVaultという名前の Key Vault がテンプレートのパラメータとなるシークレットとともに作成されます。demoSqlDBという名前の Azure SQL データベースがdemoSqlServerという名前の SQL サーバーとともに作成されます。
| ワークロード | 前提条件 |
|---|---|
| Trino | 指定のリソースを次のように作成します。 1.マネージドサービス ID (MSI): ユーザー割り当てマネージド ID。 |
| Flink | 指定のリソースを次のように作成します。 1.マネージドサービス ID (MSI): ユーザー割り当てマネージド ID。 2.ADLS Gen2 ストレージ アカウントとコンテナー。 ロールの割り当て: 1.ストレージ アカウントのユーザー割り当て MSI に “ストレージ BLOB データ所有者” ロールを割り当てます。 |
| Spark | 指定のリソースを次のように作成します。 1.マネージドサービス ID (MSI): ユーザー割り当てマネージド ID。 2.ADLS Gen2 ストレージ アカウントとコンテナー。 ロールの割り当て: 1.ストレージ アカウントのユーザー割り当て MSI に “ストレージ BLOB データ所有者” ロールを割り当てます。 |
| Hive メタストア (HMS) を使用する Trino、Flink、Spark | 指定のリソースを次のように作成します。 1.マネージドサービス ID (MSI): ユーザー割り当てマネージド ID。 2.ADLS Gen2 ストレージ アカウントとコンテナー。 3.Azure SQL Server と SQL Database。 4.SQL Server 管理者の資格情報を保存するための、Azure Key Vault とシークレット。 ロールの割り当て: 1.ストレージ アカウントのユーザー割り当て MSI に “ストレージ BLOB データ所有者” ロールを割り当てます。 2.Key Vault のユーザー割り当て MSI に “Key Vault シークレット ユーザー” ロールを割り当てます。 |
Note
これらの ARM テンプレートを使用するには、ユーザーが新規リソースを作成し、サブスクリプション内のリソースにロールを割り当てることのできるアクセス許可を持っている必要があります。
Azure portal を使用
ユーザー割り当てマネージド ID (MSI) を作成する
マネージド ID とは、Microsoft Entra ID (Microsoft Entra ID) に登録され、資格情報が Azure によって管理されている ID です。 マネージド ID を使用すれば、サービス プリンシパルを Microsoft Entra ID に登録して、証明書などの資格情報を保持する必要はありません。
HDInsight on AKS ではユーザー割り当て MSI に依存して、さまざまなコンポーネント間の通信を行っています。
ストレージ アカウントを作成する – ADLS Gen 2
ストレージ アカウントはクラスターのログおよび他の出力の既定の保存先として使用されます。 ストレージ アカウントの作成時に階層型名前空間を有効にして、ADLS Gen2 ストレージとして使用します。
ロールの割り当て: このストレージ アカウントに対して作成されるユーザー割り当て MSI に “ストレージ BLOB データ所有者” ロールを割り当てます。
コンテナーの作成: ストレージ アカウントの作成後、このストレージ アカウントにコンテナーを作成します。
Note
任意で、クラスターの作成時にコンテナーを作成することも可能です。
Azure SQL Database を作成する
外部メタストアとして使用する Azure SQL Database はクラスター作成時に作成するか、または既存の SQL Database を使用することができます。 ただし、次のプロパティを設定する必要があります。
SQL Server および SQL Database で有効にする必要のあるプロパティ-
| リソースの種類 | プロパティ | 説明 |
|---|---|---|
| SQL Server | 認証方法 | SQL Server を作成するときに、"認証方法" は次のようにします 
|
| SQL Database | Azure のサービスとリソースにこのサーバーへのアクセスを許可する | Azure portal から SQL データベースの [ネットワーク] ブレードで、このプロパティを有効にします。 |
Note
- 現在、組み込みのメタストアとしては Azure SQL Database のみをサポートしています。
- Hive の制限により、メタストアのデータベース名で "-" (ハイフン) 文字はサポートされていません。
- Azure SQL Database は、クラスターと同じリージョンに配置する必要があります。
- 任意で、クラスターの作成時に SQL Database を作成することも可能です。 ただし、新しく作成したデータベースを候補リストに表示するには、クラスター作成ページを更新する必要があります。
Azure Key Vault を作成する
Key Vault があれば、SQL Database の作成時に設定された SQL Server 管理者パスワードを保存することができます。 HDInsight on AKS プラットフォームでは、資格情報を直接処理しません。 そのため、重要な資格情報を Key Vault に保存する必要があります。
ロールの割り当て: この Key Vault に必要なリソースのひとつとして作成するユーザー割り当て MSI に “Key Vault シークレット ユーザー” ロールを割り当てます。
シークレットの作成: このステップにより、SQL Server 管理者パスワードをシークレットとして Azure Key Vault に保持できます。 シークレットの作成時に、[値] フィールドにパスワードを追加します。
Note
- シークレット名を必ずメモしておいてください (クラスター作成時に必要です)。
- Azure portal を使用して Key Vault にシークレットを追加するには、ID またはアカウントに “Key Vault 管理者” ロールを割り当てておく必要があります。 Key Vault に移動して、ロールを割り当てる方法のステップに従います。