Utiliser SCP avec Apache Hadoop dans Azure HDInsight

Cet article fournit des informations sur le transfert sécurisé de fichiers à l’aide de votre cluster HDInsight.

Copie des fichiers

L’utilitaire scp vous permet de copier des fichiers à partir ou à destination de nœuds spécifiques dans le cluster. Par exemple, la commande ci-après copie le fichier test.txt du système local vers le nœud principal primaire :

scp test.txt sshuser@clustername-ssh.azurehdinsight.net:

Étant donné qu’aucun chemin d’accès n’est spécifié après le caractère :, le fichier est placé dans le répertoire de base sshuser.

L’exemple ci-après copie le fichier test.txt du répertoire de base sshuser du nœud principal primaire vers le système local :

scp sshuser@clustername-ssh.azurehdinsight.net:test.txt .

La commande scp peut uniquement accéder au système de fichiers de nœuds spécifiques au sein du cluster. Elle ne permet pas d’accéder aux données du stockage compatible avec HDFS pour le cluster.

Utilisez la commande scp lorsque vous avez besoin de charger une ressource en vue de son utilisation à partir d’une session SSH. Par exemple, chargez un script Python, puis exécutez le script à partir d’une session SSH.

Pour plus d’informations sur le chargement direct de données dans le stockage compatible avec HDFS, consultez les documents suivants :

• HDInsight avec Stockage Azure
• HDInsight avec Azure Data Lake Storage Gen1.

Étapes suivantes

• Utiliser SSH avec HDInsight
• Utiliser des nœuds de périmètre vides dans HDInsight