大事な
AKS 上の Azure HDInsight は、2025 年 1 月 31 日に廃止されました。 についてもっと知るために、このお知らせをご覧ください。
ワークロードの突然の終了を回避するには、ワークロードを Microsoft Fabric または同等の Azure 製品 に移行する必要があります。
大事な
この機能は現在プレビュー段階です。 Microsoft Azure プレビューの 追加使用条件 には、ベータ版、プレビュー版、または一般公開されていない Azure 機能に適用される、より多くの法的条件が含まれています。 この特定のプレビューの詳細については、AKS プレビュー情報 Azure HDInsightを参照してください。 ご質問や機能の提案については、詳細を記載した要求を AskHDInsight に送信してください。また、最新情報をご覧になりたい場合は、Azure HDInsight Communityをフォローしてください。
Azure portal で Apache Flink クラスターを作成するには、次の手順を実行します。
前提 条件
次のセクションの前提条件を完了します。
- サブスクリプションの前提条件
- リソースの前提条件
- クラスター プール を作成する
大事な
- 新しいクラスター プールにクラスターを作成するには、リソースの前提条件の一部として作成されたユーザー割り当てマネージド ID に AKS agentpool MSI "マネージド ID オペレーター" ロールを割り当てます。 必要なアクセス許可がある場合、この手順は作成時に自動化されます。
- AKS エージェント プールのマネージド ID は、クラスター プールの作成時に作成されます。 AKS エージェントプールのマネージド ID は、(クラスタープール名)-agentpoolで識別できます。 ロール を割り当てるには、次の手順に従います。
Apache Flink クラスターを作成する
クラスター プールのデプロイが完了したら、Flink クラスターを作成できます。既存のクラスター プールの使用を開始する場合の手順について説明します
Azure portal で、「AKS の HDInsight クラスター プール/HDInsight/HDInsight 入力し、AKS クラスター プール上の Azure HDInsight を選択してクラスター プール ページに移動します。 AKS クラスター プールの HDInsight ページで、新しい Flink クラスターを作成するクラスター プールを選択します。
特定のクラスター プール ページで、[+ 新しいクラスター] をクリックし、次の情報を指定します。
財産 説明 予約 このフィールドには、クラスター プールに登録された Azure サブスクリプションが自動的に設定されます。 リソース グループ このフィールドは自動的に設定され、クラスター プール上のリソース グループが表示されます。 地域 このフィールドは自動的に設定され、クラスター プールで選択されているリージョンが表示されます。 クラスター プール このフィールドは自動的に設定され、クラスターが作成されるクラスター プール名が表示されます。 別のプールにクラスターを作成するには、ポータルでそのクラスター プールを見つけて、[+ 新しいクラスター] をクリックします。 AKS プール上の HDInsight バージョン このフィールドは自動的に設定され、クラスターが作成されるクラスター プールのバージョンが表示されます。 AKS バージョン上の HDInsight 新しいクラスターの AKS 上の HDInsight のマイナーバージョンまたはパッチ バージョンを選択します。 クラスターの種類 ドロップダウン リストから Flink を選択します。 クラスター名 新しいクラスターの名前を入力します。 ユーザーが割り当てた管理ID ドロップダウン リストから、クラスターで使用するマネージド ID を選択します。 マネージド サービス ID (MSI) の所有者であり、MSI にクラスターのマネージド ID オペレーター ロールがない場合は、ボックスの下のリンクをクリックして、AKS エージェント プール MSI から必要なアクセス許可を割り当てます。 MSI に既に適切なアクセス許可がある場合、リンクは表示されません。 MSI に必要なその他のロールの割り当てについては、前提条件の を参照してください。 ストレージ アカウント ドロップダウン リストから、Flink クラスターに関連付けるストレージ アカウントを選択し、コンテナー名を指定します。 マネージド ID には、クラスターの作成時に "ストレージ BLOB データ所有者" ロールを使用して、指定されたストレージ アカウントへのアクセス権がさらに付与されます。 仮想ネットワーク クラスターの仮想ネットワーク。 サブネット クラスターの仮想サブネット。 Flink SQL Hive カタログ を有効にする。
財産 説明 Hive カタログを使用する 外部 Hive メタストアを使用するには、このオプションを有効にします。 Hive用SQLデータベース ドロップダウン リストから、hive-metastore テーブルを追加する SQL Database を選択します。 SQL 管理者ユーザー名 SQL Server 管理者のユーザー名を入力します。 このアカウントは、メタストアが SQL データベースと通信するために使用されます。 キー ボールト ドロップダウン リストから、SQL Server 管理者ユーザー名のパスワードを含むシークレットを含む Key Vault を選択します。 クラスターの作成に使用されている MSI に対するキーのアクセス許可、シークレットのアクセス許可、証明書のアクセス許可など、すべての必要なアクセス許可を持つアクセス ポリシーを設定する必要があります。 MSI には Key Vault 管理者ロールが必要です。IAM を使用して必要なアクセス許可を追加します。 SQL パスワード シークレット名 SQL データベースのパスワードが格納されている Key Vault のシークレット名を入力します。 手記
既定では、クラスターの作成時に使用されるストレージ アカウントとコンテナーと同じ Hive カタログの ストレージ アカウント を使用します。
を選択し、続けるには「次へ: 構成」を選択します。
[構成] ページで、次の情報を指定します。
財産 説明 ノード サイズ ヘッド ノードとワーカー ノードの両方の Flink ノードに使用するノード サイズを選択します。 ノードの数 Flink クラスターのノード数を選択します。既定では、ヘッド ノードは 2 です。 ワーカー ノードのサイズ設定は、Flink のタスク マネージャーの構成を決定するのに役立ちます。 ジョブ マネージャーと履歴サーバーはヘッド ノード上にあります。 [サービス構成] セクションで、次の情報を指定します。
財産 説明 タスク マネージャーの CPU 整数。 タスク マネージャーの CPU のサイズを (コア単位で) 入力します。 タスク マネージャーのメモリ (MB 単位) タスク マネージャーのメモリ サイズを MB 単位で入力します。 最小 1800 MB。 ジョブ マネージャーの CPU 整数。 ジョブ マネージャーの CPU の数を (コア単位で) 入力します。 ジョブ マネージャーのメモリ (MB) メモリ サイズを MB 単位で入力します。 最小 1800 MB。 履歴サーバーの CPU 整数。 ジョブ マネージャーの CPU の数を (コア単位で) 入力します。 履歴サーバーのメモリ (MB) メモリ サイズを MB 単位で入力します。 最小 1800 MB。 手記
- 履歴サーバーは、必要に応じて有効または無効にすることができます。
- Flink では、スケジュール ベースの自動スケーリングがサポートされています。 必要に応じてワーカー ノードの数をスケジュールできます。 たとえば、既定のワーカー ノード数が 3 のスケジュール ベースの自動スケーリングが有効になります。 また、平日の 9:00 UTC から 20:00 UTC までの間、ワーカー ノードは 10 にスケジュールされます。 その日の後半には、既定で 3 つのノード (UTC 20:00 から翌日 09:00 UTC の間) に設定する必要があります。 週末の UTC 9:00 から 20:00 UTC の間、ワーカー ノードは 4 です。
[自動スケール & SSH] セクションで、次を更新します。
財産 説明 自動スケーリング 選択すると、スケジュール ベースの自動スケーリングを選択して、スケーリング操作のスケジュールを構成できます。 SSH を有効にする 選択すると、必要な SSH ノードの合計数 (Secure Shell を使用した Flink CLI のアクセス ポイント) を選択できます。 許可される SSH ノードの最大数は 5 です。 [次へ: 統合] ボタンをクリックして、次のページに進みます。
[統合] ページで、次の情報を指定します。
財産 説明 ログ分析 この機能は、クラスター プールに Log Analytics ワークスペースが関連付けられている場合にのみ使用できます。ログ収集を有効にした後は選択できます。 Azure Prometheus この機能は、Azure Monitor ワークスペースにメトリックとログを送信して、クラスター内の Insights とログを直接表示することです。 [次へ: タグ] ボタンをクリックして、次のページに進みます。
[タグ ページで、次の情報を入力します。
財産 説明 名前 随意。 クラスター リソースに関連付けられているすべてのリソースを簡単に識別するために、AKS の HDInsight などの名前を入力します。 価値 これは空白のままにしておくことができます。 資源 選択したすべてのリソースを選択します。 次に進むには、を選択して「確認と作成」 をクリックします。
確認と作成 ページで、ページの上部にある 検証に成功した メッセージを探し、[の作成]クリックします。
デプロイが進行中、クラスターが作成されたページが表示されます。 クラスターの作成には 5 ~ 10 分かかります。 クラスターが作成されると、"デプロイが完了しました" という メッセージが表示されます。 ページから離れた場合は、通知で現在の状態を確認できます。
手記
Apache、Apache Flink、Flink、および関連するオープン ソース プロジェクト名は、Apache Software Foundation (ASF) の 商標です。