Поделиться через

Интерфейс командной строки Apache Flink® (CLI) в HDInsight в кластерах AKS

  • Статья

Внимание

Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.

Apache Flink предоставляет bin/flink cli (интерфейс командной строки) для выполнения заданий (программ), упакованных в виде JAR-файлов и управления их выполнением. Интерфейс командной строки входит в программу настройки Flink и может быть настроен на виртуальной машине с одним узлом. Он подключается к работающему JobManager, указанному в conf/flink-conf.yaml.

Действия по установке

Чтобы установить Flink CLI в Linux, требуется виртуальная машина Linux для выполнения скрипта установки. Если вы находитесь в Windows, необходимо запустить среду bash.

Примечание.

Это не работает в Windows GIT BASH, необходимо установить WSL , чтобы сделать эту работу в Windows.

Требования

  • Установите JRE 11. Если это не установлено, выполните действия, описанные в разделе /java/openjdk/download.
  • Добавьте java в PATH или определите переменную среды JAVA_HOME, указывающую на каталог установки JRE, таким образом, что $JAVA_HOME/bin/java существует.

Установка или обновление

Для установки и обновления интерфейса командной строки требуется повторное выполнение скрипта установки. Установите ИНТЕРФЕЙС командной строки, выполнив curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Если вы используете Flink 1.17, можно использовать приведенный ниже интерфейс командной строки.

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Эта команда устанавливает Flink CLI в домашнем каталоге пользователя ($HOME/flink-cli). Скрипт также можно скачать и выполнить на локальном компьютере. Возможно, потребуется перезапустить оболочку, чтобы изменения вступили в силу.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Примечание.

При выполнении с помощью модуля pod SSH используйте команду bin/flink list , чтобы предоставить полные выходные данные.

Если вы не хотите добавлять эти параметры каждый раз, добавьте их в conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Теперь команда становится

bin/flink list

Вы должны увидеть следующий результат:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Откройте https://microsoft.com/devicelogin в браузере и введите код, а затем используйте идентификатор microsoft.com для входа. После успешного входа вы увидите выходные данные, как показано ниже, если задание не выполняется.

Waiting for response...
No running jobs.
No scheduled jobs.

Ошибка curl Object Moved

Если вы получаете сообщение об ошибке из curl, связанного с параметром -L, или сообщение об ошибке, включая текст "Объект перемещен", попробуйте использовать полный URL-адрес вместо перенаправления aka.ms:

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Примеры

Ниже приведены некоторые примеры действий, поддерживаемых средством интерфейса командной строки Flink:

Действие Назначение
run Это действие выполняет задания. Для этого требуется по крайней мере jar-файл, содержащий задание. При необходимости можно передать аргументы, связанные с заданием или flink- или job.
info Это действие можно использовать для печати оптимизированного графика выполнения переданного задания. Опять же, JAR-файл, содержащий задание, необходимо передать.
список Это действие содержит список всех выполняемых или запланированных заданий.
точка сохранения Это действие можно использовать для создания или удаления точек сохранения для заданного задания. Может потребоваться указать каталог точки сохранения, кроме JobID.
Отмена Это действие можно использовать для отмены выполняемых заданий на основе идентификатора задания.
stop Это действие объединяет действия отмены и сохранения, чтобы остановить выполнение задания, но также создает точку сохранения, чтобы начать работу снова.

Доступ ко всем действиям и их параметрам можно получить с помощью следующих команд:

bin/flink --help

Сведения об использовании каждого отдельного действия

bin/flink <action> --help

Совет

  • Если у вас есть прокси-сервер, блокирующий подключение: чтобы получить скрипты установки, прокси-сервер должен разрешить httpS-подключения к следующим адресам: https://aka.ms/https://hdiconfigactions.blob.core.windows.net
  • Чтобы устранить проблему, добавьте пользователя или группу в профиль авторизации.

Справочные материалы