Использование SCP с Apache Hadoop в Azure HDInsight
В этой статье содержатся сведения о безопасной передаче файлов в кластере HDInsight.
Копирование файлов
Программу scp можно использовать для копирования файлов в отдельные узлы в кластере и обратно. Например, следующая команда копирует каталог test.txt из локальной системы в первичный головной узел:
scp test.txt sshuser@clustername-ssh.azurehdinsight.net:
Так как после символа : не указан путь, файл помещается в домашний каталог sshuser.
Например, следующая команда копирует файл test.txt из домашнего каталога sshuser в первичный головной узел в локальной системе:
scp sshuser@clustername-ssh.azurehdinsight.net:test.txt .
Команда scp может получать доступ только к файловой системе отдельных узлов в кластере. Ее невозможно использовать для доступа к данным в HDFS-совместимом хранилище кластера.
Используйте команду scp, если вам нужно отправить ресурс, чтобы использовать его из сеанса SSH. Например, отправьте скрипт Python, а затем запустите его из сеанса SSH.
Сведения о непосредственной загрузке данных в HDFS-совместимое хранилище см. в следующих документах:
- Использование службы хранилища Azure с кластерами Azure HDInsight.
- Использование HDInsight и Azure Data Lake Storage 1-го поколения