Azure HDInsight의 Apache Hadoop에서 SCP 사용

  • 아티클

이 문서에서는 HDInsight 클러스터에 파일을 안전하게 전송하는 방법을 설명합니다.

파일 복사

scp 유틸리티를 사용하면 클러스터의 개별 노드로 파일을 복사할 수 있습니다. 예를 들어 다음 명령은 로컬 시스템의 test.txt 디렉터리를 기본 헤드 노드로 복사합니다.

scp test.txt sshuser@clustername-ssh.azurehdinsight.net:

: 다음에 지정된 경로가 없으므로 파일은 sshuser 홈 디렉터리에 배치됩니다.

다음 예제에서는 test.txt 파일을 기본 헤드 노드의 sshuser 홈 디렉터리에서 로컬 시스템으로 복사합니다.

scp sshuser@clustername-ssh.azurehdinsight.net:test.txt .

scp는 클러스터 내 개별 노드의 파일 시스템에만 액세스할 수 있으며 해당 클러스터에 대한 HDFS 호환 스토리지의 데이터 액세스에는 사용할 수 없습니다.

SSH 세션에서 사용할 리소스를 업로드해야 할 때 scp를 사용합니다. 예를 들어 Python 스크립트를 업로드한 다음 SSH 세션에서 스크립트를 실행합니다.

HDFS 호환 스토리지로 데이터 직접 로드에 대한 자세한 내용은 다음 문서를 참조하세요.

다음 단계