Condividi tramite

Interfaccia della riga di comando di Apache Flink® in cluster HDInsight su AKS

  • Articolo

Nota

Azure HDInsight su AKS verrà ritirato il 31 gennaio 2025. Prima del 31 gennaio 2025, sarà necessario eseguire la migrazione dei carichi di lavoro a Microsoft Fabric o a un prodotto Azure equivalente per evitare interruzioni improvvise dei carichi di lavoro. I cluster rimanenti nella sottoscrizione verranno arrestati e rimossi dall’host.

Solo il supporto di base sarà disponibile fino alla data di ritiro.

Importante

Questa funzionalità è attualmente disponibile solo in anteprima. Le Condizioni per l'utilizzo supplementari per le anteprime di Microsoft Azure includono termini legali aggiuntivi che si applicano a funzionalità di Azure in versione beta, in anteprima o in altro modo non ancora disponibili a livello generale. Per informazioni su questa anteprima specifica, vedere Informazioni sull'anteprima di Azure HDInsight nel servizio Azure Kubernetes. Per domande o suggerimenti sulle funzionalità, inviare una richiesta in AskHDInsight con i dettagli e seguire Microsoft per altri aggiornamenti nella Community di Azure HDInsight.

Apache Flink fornisce un'interfaccia della riga di comando bin/flink per eseguire processi (programmi) inclusi in pacchetti come file JAR e per controllarne l'esecuzione. L'interfaccia della riga di comando fa parte dell'installazione di Flink e può essere configurata in una macchina virtuale a nodo singolo. Si connette all'oggetto JobManager in esecuzione specificato in conf/flink-conf.yaml.

Procedura di installazione

Per installare l'interfaccia della riga di comando di Flink in Linux, è necessaria una macchina virtuale Linux per eseguire lo script di installazione. È necessario eseguire un ambiente bash se si usa Windows.

Nota

Questa operazione NON funziona in Windows con GIT BASH, è necessario installare WSL per eseguirla in Windows.

Requisiti

  • Installare JRE 11. Se non è installato, seguire la procedura descritta in /java/openjdk/download.
  • Aggiungere java a PATH o definire JAVA_HOME variabile di ambiente che punta alla directory di installazione di JRE, in modo che $JAVA_HOME/bin/java esista.

Eseguire l'installazione o l'aggiornamento

Sia per l'installazione che per l'aggiornamento dell'interfaccia della riga di comando è necessario eseguire nuovamente lo script di installazione. Installare l'interfaccia della riga di comando eseguendo curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Se si usa Flink 1.17, è possibile usare l'interfaccia della riga di comando seguente

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Questo comando installa l'interfaccia della riga di comando Flink nella directory home dell'utente ($HOME/flink-cli). Lo script può anche essere scaricato ed eseguito nell'ambiente locale. Potrebbe essere necessario riavviare la shell per rendere effettive le modifiche.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Nota

Se si effettua l'esecuzione tramite pod SSH, usare il comando bin/flink list per fornire l'output completo.

Se non si desidera aggiungere questi parametri ogni volta, aggiungerli a conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Ora il comando diventa

bin/flink list

Viene visualizzato un output simile al seguente:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Aprire https://microsoft.com/devicelogin nel browser e immettere il codice, quindi usare l'ID microsoft.com per accedere. Al termine dell'accesso, verrà visualizzato un output simile al seguente se non è in esecuzione alcun processo.

Waiting for response...
No running jobs.
No scheduled jobs.

errore di curl Object Moved

Se viene restituito da curl un errore relativo al parametro o se viene visualizzato un messaggio di errore che include il testo "Object Moved", tentare di usare l'URL completo invece dell'URL di reindirizzamento aka.ms:

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Esempi

Ecco alcuni esempi di azioni supportate dallo strumento dell'interfaccia della riga di comando di Flink:

Azione Scopo
run Questa azione esegue i processi e richiede almeno il file JAR contenente il processo. Gli argomenti correlati al processo o Flink possono essere passati, se necessario.
info Questa azione può essere utilizzata per stampare un grafico di esecuzione ottimizzato del processo passato. Anche in questo caso, è necessario passare il file JAR contenente il processo.
list Questa azione elenca tutti i processi in esecuzione o pianificati.
savepoint Questa azione può essere usata per creare o eliminare punti di salvataggio per un determinato processo. Potrebbe essere necessario specificare una directory del punto di salvataggio oltre a JobID.
cancel Questa azione può essere usata per annullare i processi in esecuzione in base all'ID processo.
stop Questa azione combina le azioni di annullamento e punto di salvataggio per arrestare un processo in esecuzione, ma crea anche un punto di salvataggio da cui ricominciare.

È possibile accedere a tutte le azioni e ai relativi parametri tramite i comandi seguenti:

bin/flink --help

Informazioni sull'utilizzo di ogni singola azione

bin/flink <action> --help

Suggerimento

  • Se si ha un proxy che blocca la connessione: per ottenere gli script di installazione, il proxy deve consentire le connessioni HTTPS agli indirizzi seguenti: https://aka.ms/ e https://hdiconfigactions.blob.core.windows.net
  • Per risolvere il problema, aggiungere l'utente o il gruppo al profilo di autorizzazione.

Riferimento