Share via

AKS 上の HDInsight で Azure portal を使用して Apache Flink® クラスターを作成する

  • [アーティクル]

重要

現在、この機能はプレビュー段階にあります。 ベータ版、プレビュー版、または一般提供としてまだリリースされていない Azure の機能に適用されるその他の法律条項については、「Microsoft Azure プレビューの追加使用条件」に記載されています。 この特定のプレビューの詳細については、「Azure HDInsight on AKS のプレビュー情報」を参照してください。 質問や機能の提案については、詳細を記載した要求を AskHDInsight で送信してください。また、その他の更新については、Azure HDInsight コミュニティのフォローをお願いいたします。

Azure portal で Apache Flink クラスターを作成するには、次の手順を実行します。

前提条件

以下のセクションの前提条件を満たします。

重要

  • 新しいクラスター プールにクラスターを作成するには、リソースの前提条件の一部として作成されたユーザー割り当てマネージド ID に AKS agentpool MSI "マネージド ID オペレーター" ロールを割り当てます。 必要なアクセス許可がある場合、この手順は作成時に自動化されます。
  • AKS agentpool マネージド ID は、クラスター プールの作成時に作成されます。 AKS agentpool マネージド ID は、(クラスター プール名)-agentpool で識別できます。 ロールを割り当てるには、次の手順に従います。

クラスター プールのデプロイが完了したら、Flink クラスターを作成できます。既存のクラスター プールを使用して開始する場合の手順について説明します

  1. Azure portal に「HDInsight クラスター プール/HDInsight/HDInsight on AKS」と入力し、Azure HDInsight on AKS クラスター プールを選択してクラスター プール ページに移動します。 HDInsight on AKS クラスター プール ページで、新しい Flink クラスターを作成するクラスター プールを選択します。

    Azure portal の検索バーを示す図。

  2. 特定のクラスター プール ページで、[+ 新しいクラスター] をクリックし、次の情報を指定します。

    プロパティ 説明
    サブスクリプション このフィールドには、クラスター プールに登録された Azure サブスクリプションが自動的に設定されます。
    リソース グループ このフィールドは自動的に設定され、クラスター プール上のリソース グループが表示されます。
    リージョン このフィールドは自動的に設定され、クラスター プール上の選択されたリージョンが表示されます。
    クラスター プール このフィールドは自動的に設定され、クラスターが現在作成されているクラスター プール名が表示されます。別のプールにクラスターを作成するには、ポータルでそのクラスター プールを見つけ、[+ 新しいクラスター] をクリックします。
    HDInsight on AKS プール バージョン このフィールドは自動的に設定され、クラスターが現在作成されているクラスター プール バージョンが表示されます。
    HDInsight on AKS バージョン 新しいクラスターの HDInsight on AKS のマイナー バージョンまたはパッチ バージョンを選択します。
    クラスターの種類 ドロップダウン リストから、Flink を選択します。
    クラスター名 新しいクラスターの名前を入力します。
    ユーザー割り当てマネージド ID ドロップダウン リストから、クラスターで使用するマネージド ID を選択します。 マネージド サービス ID (MSI) の所有者であり、MSI にクラスター上のマネージド ID オペレーター ロールがない場合は、ボックスの下のリンクをクリックして、AKS agentpool MSI から必要なアクセス許可を割り当てます。 MSI に既に適切なアクセス許可がある場合、リンクは表示されません。 MSI に必要なその他のロールの割り当てについては、前提条件を参照してください。
    ストレージ アカウント ドロップダウン リストから、Flink クラスターに関連付けるストレージ アカウントを選択し、コンテナー名を指定します。 マネージド ID には、クラスターの作成時に 'ストレージ BLOB データ所有者' ロールを使用して、指定されたストレージ アカウントへのアクセスがさらに許可されます。
    仮想ネットワーク クラスターの仮想ネットワーク。
    Subnet クラスターの仮想サブネット。

  3. Flink SQL の Hive カタログを有効にする。

    プロパティ 説明
    Hive カタログの使用 外部 Hive メタストアを使用するには、このオプションを有効にします。
    Hive 用の SQL データベース ドロップダウン リストから、hive-metastore テーブルを追加する SQL データベースを選択します。
    SQL 管理ユーザー名 SQL Server 管理者ユーザー名を入力します。 このアカウントは、メタストアが SQL データベースと通信するために使用されます。
    Key Vault ドロップダウン リストから、SQL Server 管理者ユーザー名のパスワードを含むシークレットが含まれる Key Vault を選択します。 クラスターの作成に使用されている MSI に対するキーのアクセス許可、シークレットのアクセス許可、証明書のアクセス許可など、すべての必要なアクセス許可を持つアクセス ポリシーを設定する必要があります。 MSI には Key Vault 管理者ロールが必要です。IAM を使用して必要なアクセス許可を追加します。
    SQL パスワード シークレット名 SQL データベースのパスワードが格納されている Key Vault からシークレット名を入力します。

    [基本] タブを示すスクリーンショット。

    Note

    既定では、クラスターの作成時に使用されるストレージ アカウントおよびコンテナーと同じ Hive カタログ用のストレージ アカウントを使用します。

  4. [次へ: 構成] を選択して続行します。

  5. [構成] ページで、次の情報を指定します。

    プロパティ 説明
    ノード サイズ ヘッド ノードとワーカー ノードの両方の Flink ノードに使用するノード サイズを選択します。
    ノードの数 Flink クラスターのノードの数を選択します。既定では、ヘッド ノードは 2 です。 ワーカー ノードのサイズ設定は、Flink のタスク マネージャー構成を決定するために役立ちます。 ジョブ マネージャーと履歴サーバーはヘッド ノード上にあります。

  6. [サービス構成] セクションで、次の情報を指定します。

    プロパティ 説明
    タスク マネージャー CPU Integer。 タスク マネージャー CPU のサイズを (コア単位で) 入力します。
    タスク マネージャーのメモリ (MB 単位) タスク マネージャーのメモリ サイズを MB 単位で入力します。 最小 1800 MB です。
    ジョブ マネージャー CPU Integer。 ジョブ マネージャーの CPU の数を (コア単位で) 入力します。
    ジョブ マネージャーのメモリ (MB 単位) メモリ サイズを MB 単位で入力します。 最小 1800 MB です。
    履歴サーバー CPU Integer。 ジョブ マネージャーの CPU の数を (コア単位で) 入力します。
    履歴サーバーのメモリ (MB 単位) メモリ サイズを MB 単位で入力します。 最小 1800 MB です。

    [構成] タブを示すスクリーンショット。

    Note

    • 履歴サーバーは、必要に応じて有効または無効にすることができます。
    • Flink では、スケジュール ベースの自動スケーリングがサポートされています。 必要に応じてワーカー ノードの数をスケジュールできます。 たとえば、既定のワーカー ノード数が 3 であるスケジュール ベースの自動スケーリングが有効になります。 また、平日の 9:00 UTC から 20:00 UTC までの間、ワーカー ノードは 10 にスケジュールされます。 平日にはその後、既定で 3 つのノードにスケジュールされる必要があります (20:00 UTC から翌日の 09:00 UTC までの間)。 週末の 9:00 UTC から 20:00 UTC までの間、ワーカー ノードは 4 です。

  7. [Auto Scale & SSH]\(自動スケーリングと SSH\) セクションで、次を更新します。

    プロパティ 説明
    自動スケーリング 選択時には、スケジュール ベースの自動スケーリングを選択して、スケーリング操作のスケジュールを構成できます。
    SSH を有効にする 選択時には、必要な SSH ノードの合計数 (Secure Shell を使用する Flink CLI のアクセス ポイント) を選択できます。 許可される SSH ノードの最大数は 5 です。

    自動スケーリング サービスの構成を示すスクリーンショット。

    自動スケーリングのルールを示すスクリーンショット。

  8. [次へ: 統合] ボタンをクリックして、次のページに進みます。

  9. [統合] ページで、次の情報を指定します。

    プロパティ 説明
    Log Analytics この機能は、クラスター プールに Log Analytics ワークスペースが関連付けられている場合にのみ使用できます。有効にすると、収集するログを選択できます。
    Azure Prometheus この機能は、メトリックとログを Azure Monitor ワークスペースに送信することで、クラスターで分析情報とログを直接表示するためのものです。

    [統合] タブを示すスクリーンショット。

  10. [次へ: タグ] ボタンをクリックして、次のページに進みます。

  11. [タグ] ページで、次の情報を指定します。

    プロパティ 内容
    名前 省略可能。 クラスター リソースに関連付けられているすべてのリソースを簡単に識別するために、HDInsight on AKS などの名前を入力します。
    値 空白のままにできます。
    リソース [すべてのリソースを選択する] を選択します。

  12. [次へ: 確認と作成] を選択して続行します。

  13. [確認と作成] ページで、ページの上部にある [検証が成功しました] というメッセージを探し、[作成] をクリックします。

クラスターが作成されている間、[Deployment is in process]\(デプロイが処理中です\) ページが表示されます。 クラスターの作成には 5 分から 10 分かかります。 クラスターが作成されると、[デプロイが完了しました] というメッセージが表示されます。 ページから移動する場合は、[通知] で現在の状態を確認できます。

Note

Apache、Apache Flink、Flink、関連するオープン ソース プロジェクト名は、Apache Software Foundation (ASF) の商標です。