你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

在 Azure 门户中使用 HDInsight on AKS 群集上的 Secure Shell (SSH) 访问 Apache Flink® CLI 客户端

重要

此功能目前以预览版提供。 Microsoft Azure 预览版的补充使用条款包含适用于 beta 版、预览版或其他尚未正式发布的 Azure 功能的更多法律条款。 有关此特定预览版的信息,请参阅 Azure HDInsight on AKS 预览版信息。 如有疑问或功能建议,请在 AskHDInsight 上提交请求并附上详细信息,并关注我们以获取 Azure HDInsight Community 的更多更新。

此示例指导如何在 Azure 门户中使用 SSH 进入 HDInsight on AKS 群集上的 Apache Flink CLI 客户端,我们对 SQL 和 Flink DataStream 的操作方法都进行了介绍。

先决条件

  • 需要在创建 Flink 群集期间选择 SSH

从 Azure 门户连接到 SSH

创建 Flink 群集后,可以在左侧窗格中看到“设置”选项,可使用该选项来访问安全外壳

显示如何创建 POD 和连接到 webssh 的屏幕截图。

连接到 SQL 客户端

需要将目录更改为 /opt/flink-webssh/bin,然后执行 ./sql-client.sh

显示如何查找 sql 客户端文件的屏幕截图。

显示如何运行 SQL 客户端的屏幕截图。

你现在已在 Flink 上的 SQL 客户端上

若要执行更多测试,请参阅文档。

Flink 提供命令行接口 (CLI) bin/flink 来运行打包为 JAR 文件的程序并控制其执行。

CLI 是安全外壳 (SSH) 的一部分,它连接到正在运行的 JobManager 并使用在 conf/flink-conf.yaml 中指定的客户端配置。

提交作业意味着将作业的 JAR 上传到 SSH pod 并启动作业执行。 为了说明本文的示例,我们选择一个长时间运行的作业,例如 examples/streaming/StateMachineExample.jar

注意

对于管理依赖项,预期是生成并提交作业的 fat jar。

  • 将 fat job jar 从 ABFS 上传到 webssh。

  • 根据用例,需要使用 flink-client-configs 下的 Flink 配置管理来编辑客户端配置。

  • 让我们运行 StateMachineExample.jar

    ./bin/flink run \
        --detached \
        ./examples/streaming/StateMachineExample.jar
    

注意

使用 --detached 提交作业会在提交完成后返回命令。 输出包含新提交的作业的 ID。

参考