Доступ к клиенту Apache Flink® CLI с помощью Secure Shell (SSH) в HDInsight в кластерах AKS с портал Azure

Примечание.

Мы отставим Azure HDInsight в AKS 31 января 2025 г. До 31 января 2025 г. необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого прекращения рабочих нагрузок. Оставшиеся кластеры в подписке будут остановлены и удалены из узла.

До даты выхода на пенсию будет доступна только базовая поддержка.

Внимание

Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.

В этом примере показано, как ввести клиент Интерфейса командной строки Apache Flink в HDInsight в кластерах AKS с помощью SSH в портал Azure, мы охватываем как SQL, так и Flink DataStream.

Необходимые компоненты

• Необходимо выбрать SSH во время создания кластера Flink

Подключение к SSH из портал Azure

После создания кластера Flink можно просмотреть на левой панели параметр "Параметры " для доступа к Secure Shell

Apache Flink SQL

Подключение к клиенту SQL

Для изменения каталога и последующего выполнения необходимо изменить каталог /opt/flink-webssh/bin . ./sql-client.sh

Теперь вы находитесь на клиенте SQL в Flink

Дополнительные тесты см. в этом документе.

Apache Flink DataStream

Flink предоставляет интерфейс командной строки (CLI) bin/flink для запуска программ, упакованных в виде JAR-файлов и управления их выполнением.

Интерфейс командной строки является частью Secure Shell (SSH), и он подключается к работающему JobManager и использует конфигурации клиента, указанные в conf/flink-conf.yaml.

Отправка задания означает отправку JAR-файла задания в модуль SSH и инициирование выполнения задания. Чтобы проиллюстрировать пример для этой статьи, мы выбираем длительное задание, например examples/streaming/StateMachineExample.jar.

Примечание.

Для управления зависимостями ожидание заключается в создании и отправке жирного jar-файла для задания.

• Отправьте jar-файл fat job из ABFS в webssh.

• В зависимости от варианта использования необходимо изменить конфигурации клиента с помощью управления конфигурацией Flink в разделе flink-client-configs.

• Давайте запустите StateMachineExample.jar

  ./bin/flink run \
      --detached \
      ./examples/streaming/StateMachineExample.jar
  

Примечание.

Отправка задания с помощью --detached приведет к возврату команды после завершения отправки. Выходные данные содержат идентификатор только что отправленного задания.

Справочные материалы

• Flink SQL Client
• Apache, Apache Flink, Flink и связанные открытый код имена проектов являются товарными знаками Apache Software Foundation (ASF).