共用方式為

在 AKS 上使用 Azure 入口網站 在 HDInsight 中建立 Apache Flink® 叢集

  • 發行項

重要

此功能目前為預覽功能。 適用於 Microsoft Azure 預覽版的補充使用規定包含適用於 Beta 版、預覽版或尚未發行至正式運作之 Azure 功能的更合法條款。 如需此特定預覽的相關信息，請參閱 AKS 預覽資訊的 Azure HDInsight。 如需問題或功能建議，請在 AskHDInsight 上提交要求，並提供詳細數據，並遵循我們在 Azure HDInsight 社群上取得更多更新。

完成下列步驟，以在 Azure 入口網站 上建立Apache Flink叢集。

必要條件

完成下列各節中的必要條件：

重要

  • 若要在新叢集集區中建立叢集，請在作為資源先決條件的一部分建立的使用者指派的受控識別上指派 AKS agentpool MSI「受控識別操作員」角色。 如果您有必要的權限，此步驟會在建立期間自動執行。
  • AKS agentpool 受控識別會在叢集集區建立期間建立。 您可以透過 [叢集集集名稱] -agentpool 來識別 AKS 代理程式集區受控識別。 請遵循下列步驟來 指派角色。

一旦叢集集集區部署完成，即可建立 Flink 叢集，讓我們在開始使用現有的叢集集區時，請繼續進行步驟

  1. 在 [Azure 入口網站] 中，輸入 AKS 上的 HDInsight 叢集集區/HDInsight/HDInsight，然後選取 [AKS 叢集集區上的 Azure HDInsight] 以移至 [叢集集區] 頁面。 在 AKS 叢集集區上的 [HDInsight] 頁面上，選取您要在其中建立新 Flink 叢集的叢集集區。

    顯示 Azure 入口網站 中搜尋列的圖表。

  2. 在 [特定叢集集區] 頁面上，按兩下 [+ 新增叢集 ]，並提供下列資訊：

    屬性 描述
    訂用帳戶 此欄位會使用為叢集集區註冊的 Azure 訂用帳戶來自動填入。
    資源群組 此欄位會自動填入並顯示叢集集區上的資源群組。
    區域 此欄位會自動填入並顯示叢集集區上所選取的區域。
    叢集集區 此欄位會自動填入，並顯示叢集現在建立所在的叢集區名稱。若要在不同的集區中建立叢集，請在入口網站中尋找該叢集集區，然後按兩下 [ + 新增叢集]。
    AKS 集區版本上的 HDInsight 此欄位會自動填入，並顯示現在正在其上建立叢集的叢集集區版本。
    AKS 版本上的 HDInsight 選取新叢集的 AKS 上的 HDInsight 的次要版本或修補程式版本。
    叢集類型 從下拉式清單中，選取 [Flink]。
    叢集名稱 輸入新叢集的名稱。
    使用者指派的受控識別 從下拉式清單中，選取要與叢集搭配使用的受控識別。 如果您是受控服務識別 (MSI) 的擁有者，而且 MSI 在叢集上沒有受控識別操作員角色，請按一下方塊下方的連結以從 AKS 代理程式集區 MSI 中指派所需的權限。 如果 MSI 已有正確的權限，則不會顯示任何連結。 請參閱 MSI 所需的其他角色指派必要條件。
    儲存體帳戶 從下拉式清單中，選取要與 Flink 叢集建立關聯的記憶體帳戶，並指定容器名稱。 在叢集建立期間，會使用「儲存體 Blob 資料擁有者」角色進一步授與受控識別對指定儲存體帳戶的存取權。
    虛擬網路 叢集的虛擬網路。
    子網路 叢集的虛擬子網路。

  3. 啟用 Flink SQL 的 Hive 目錄 。

    屬性 說明
    使用 Hive 目錄 啟用此選項以使用外部 Hive 中繼存放區。
    適用於 Hive 的 SQL Database 從下拉式清單中，選取要在其中新增 hive-metastore 資料表的 SQL Database。
    SQL 管理員使用者名稱 輸入 SQL Server 管理使用者名稱。 中繼存放區會使用此帳戶來與 SQL 資料庫通訊。
    金鑰保存庫 從下拉式清單中選取 Key Vault (其中包含具有 SQL Server 管理使用者名稱的密碼的秘密)。 您必須使用密鑰許可權、秘密許可權和 MSI 憑證許可權等所有必要許可權來設定存取原則，以用於建立叢集。 MSI 需要 Key Vault 管理員角色，請使用 IAM 新增必要的權限。
    SQL 密碼的秘密名稱 輸入儲存 SQL 資料庫密碼的 Key Vault 中的秘密名稱。

    顯示基本索引標籤的螢幕快照。

    注意

    根據預設，我們會針對Hive目錄使用 儲存體帳戶，與叢集建立期間所使用的記憶體帳戶和容器相同。

  4. 選取 [下一步：設定] 以繼續。

  5. 在 [ 組態 ] 頁面上，提供下列資訊：

    屬性 說明
    節點大小 選取要用於前端節點和背景工作節點的節點大小。
    節點數目 選取 Flink 叢集的節點數目;根據預設，前端節點為兩個。 背景工作節點的大小調整有助於判斷 Flink 的工作管理員設定。 作業管理員和歷程記錄伺服器位於前端節點上。

  6. 在 [ 服務組態] 區段上，提供下列資訊：

    屬性 說明
    工作管理員 CPU Integer (整數)。 輸入工作管理員 CPU 的大小 (核心數)。
    工作管理員記憶體 (MB) 輸入工作管理員記憶體大小 (MB)。 最小值為 1800 MB。
    作業管理員 CPU Integer (整數)。 輸入作業管理員的 CPU 數目 (核心數)。
    作業管理員記憶體 (MB) 輸入記憶體大小 (MB)。 至少 1800 MB。
    歷程記錄伺服器 CPU Integer (整數)。 輸入作業管理員的 CPU 數目 (核心數)。
    歷程記錄伺服器記憶體 (MB) 輸入記憶體大小 (MB)。 至少 1800 MB。

    顯示 [組態] 索引標籤的螢幕快照。

    注意

    • 記錄伺服器可以視需要啟用/停用。
    • Flink 支援以排程為基礎的自動調整。 您可以視需要排程背景工作節點數目。 例如，它已啟用排程型自動調整，預設背景工作節點計數為 3。 在工作日從 9：00 UTC 到 20：00 UTC 期間，背景工作節點會排定為 10。 在當天晚些時候，它必須預設為3個節點（從20：00 UTC到次日09：00 UTC之間）。 從 9：00 UTC 到 20：00 UTC 的週末，背景工作節點為 4。

  7. 在 [ 自動調整和 SSH ] 區段上，更新下列內容：

    屬性 說明
    自動擴充 選取後，您將能夠選擇基於排程的自動調整來設定調整作業的排程。
    啟用 SSH 選取時，您可以選擇所需的 SSH 節點總數，也就是使用安全殼層的 Flink CLI 存取點。 允許的 SSH 節點上限為 5 個。

    顯示自動調整服務設定的螢幕快照。

    顯示自動調整規則的螢幕快照。

  8. 按兩下 [ 下一步：整合 ] 按鈕以繼續下一頁。

  9. 在 [ 整合 ] 頁面上，提供下列資訊：

    屬性 說明
    Log Analytics 只有在叢集集區具有相關聯的記錄分析工作區時，才能使用此功能，啟用後即可選取要收集的記錄。
    Azure Prometheus 此功能是透過將計量和記錄傳送到 Azure 監視器工作區來直接在您的叢集中檢視見解和記錄。

    顯示 [整合] 索引標籤的螢幕快照。

  10. 按兩下一 步：標記 ] 按鈕以繼續下一頁。

  11. 在 [標籤] 頁面上，提供下列資訊：

    屬性 描述
    Name 選擇性。 輸入一個名稱 (例如 AKS 上的 HDInsight)，以易於識別與叢集資源相關聯的所有資源。
    值 您可以將此選項留空。
    資源 選取 [所有選取的資源]。

  12. 選取 [下一步: 檢閱 + 建立] 以繼續。

  13. 在 [ 檢閱 + 建立] 頁面上，尋找 頁面頂端的 [驗證成功 ] 訊息，然後按兩下 [ 建立]。

建立叢集時會顯示 [部署正在處理中] 頁面。 建立叢集需要 5-10 分鐘的時間。 建立叢集之後，會顯示「 您的部署已完成」 訊息。 如果您離開頁面，您可以檢查通知的目前狀態。

注意

Apache、Apache Flink、Flink 和相關聯的開放原始碼專案名稱為 Apache Software Foundation (ASF) 的 商標。