Azure Managed Lustre 파일 시스템에서 Azure Blob Storage 장기 스토리지로 데이터를 복사할 수 있습니다. 이 문서에서는 데이터를 내보내는 두 가지 방법을 설명합니다.
- 수동 내보내기 작업 - 일회성 내보내기 작업을 사용하여 주문형 데이터를 내보냅니다.
- 자동 내보내기 — 파일 시스템에서 새 파일과 변경된 파일을 Blob Storage에 지속적으로 자동 동기화합니다.
메모
내보내기 작업은 파일 시스템을 만드는 동안 Azure Blob Storage를 Azure Managed Lustre 파일 시스템과 통합하는 경우에만 사용할 수 있습니다. 자세한 내용은 Azure Blob Storage 통합을 참조하세요. 파일 시스템을 만들 때 Blob 컨테이너를 통합하지 않은 경우 클라이언트 파일 시스템 명령을 사용하여 내보내기 작업을 만들지 않고 데이터를 복사할 수 있습니다.
Limitations
내보내기 작업에는 다음과 같은 제한 사항이 적용됩니다.
- 한 번에 하나의 가져오기 또는 내보내기 작업만 실행할 수 있습니다. 예를 들어 내보내기 작업이 진행 중이고 다른 내보내기 작업을 시작하려고 하면 오류가 발생합니다.
- 내보내기 작업은 새 파일 또는 변경된 파일만 복사합니다. 파일 시스템을 만드는 동안 Blob 컨테이너에서 가져온 파일이 변경되지 않은 경우 내보내기 작업은 파일을 내보내지 않습니다.
- 메타데이터가 변경된 파일은 내보내지지 않습니다. 메타데이터 변경에는 소유자, 사용 권한, 확장 특성 및 이름 변경(이름이 변경됨)이 포함됩니다. 이 제한 사항은 수동 내보내기 및 자동 내보내기 모두에 적용됩니다.
- Azure Managed Lustre 파일 시스템에서 삭제한 파일은 내보내기 작업 중에 원래 Blob 컨테이너에서 삭제되지 않습니다. 내보내기 작업은 Blob 컨테이너의 파일을 삭제하지 않습니다.
- Blob 이름은 특정 명명 규칙을 준수해야 합니다. 허용되는 Blob 이름은 허용 가능한 POSIX 파일 이름과 약간 다릅니다. 내보내기 프로세스는 blob으로 내보낼 때 파일 이름의 특수 문자를 올바르게 이스케이프하여 보존합니다. 그러나 Blob 명명 규칙을 위반하는 파일 이름(예: 최대 Blob 이름 길이 초과)은 해당 파일을 내보내려고 할 때 오류가 발생합니다.
- 자동 내보내기: 이름 바꾸기, 소유권 업데이트 또는 권한 조정과 같은 메타데이터 변경 내용은 현재 동기화되지 않습니다.
- 자동 내보내기: 파일 시스템에서 파일, 디렉터리 또는 기호 링크를 삭제하는 경우 Blob Storage 컨테이너에서 제거되지 않습니다.
- Azure Blob Storage는 하드 링크를 지원하지 않습니다. 각 하드 링크는 고유한 Blob으로 내보내집니다. 이러한 Blob을 가져오면 각각 독립적인 파일이 됩니다.
수동 내보내기 작업
수동 내보내기 작업은 파일 시스템을 만들 때 지정한 Blob 컨테이너로 파일 시스템에서 새 파일 또는 변경된 파일을 복사합니다.
내보내기 작업 만들기
다음 단계에 따라 Azure Portal에서 내보내기 작업을 만듭니다.
Azure Portal에서 Azure Managed Lustre 파일 시스템을 엽니다. 설정에서 Blob 통합을 선택합니다.
+ 새 작업 만들기를 선택합니다.
작업 유형 드롭다운 메뉴에서 내보내기를 선택합니다.
파일 시스템 경로 필드에 내보낼 항목을 지정하는 문자열을 입력합니다.
내보내기 작업은 파일 이름이 이 문자열로 시작하는 파일 시스템의 모든 새 파일 또는 변경된 파일을 내보냅니다. 작업은 Lustre 파일 시스템에 있는 것과 동일한 파일 경로(또는 접두사)를 사용하여 Blob 컨테이너에 파일을 씁니다. Blob 컨테이너에서 기존 파일을 덮어쓰지 않으려면 Lustre 파일 시스템의 파일 경로가 Blob 컨테이너에 있는 파일의 기존 경로와 겹치지 않도록 합니다.
다음 스크린샷은 Azure Portal에서 내보내기 작업에 대한 구성 설정을 보여 줍니다.
내보내기 작업 모니터링 또는 취소
Blob 통합 창의 최근 작업 섹션에서 내보내기 작업을 모니터링하거나 취소할 수 있습니다.
한 번에 하나의 보관 작업만 실행됩니다. 진행 중인 작업을 취소하려면 최근 작업 테이블에서 해당 작업에 대한 취소 링크를 선택합니다. 완료된 작업에는 취소 링크를 사용할 수 없습니다.
내보내기 작업 다시 시도
내보내기 작업이 성공적으로 완료되지 않으면 새 내보내기 작업을 만들어 내보내기를 다시 시도할 수 있습니다. 새 작업은 이전 작업 중에 복사되지 않은 파일만 복사합니다.
재시도는 데이터가 자주 변경되는 활성 파일 시스템에서 데이터를 내보내려고 할 때 일반적일 수 있습니다. 이러한 시나리오에 대한 자세한 내용은 활성 파일 시스템에서 내보내기 작업 실행을 참조하세요.
활성 파일 시스템에서 내보내기 작업 실행
활성 파일 시스템에서 내보내기 작업 중에 파일을 변경하면 작업이 실패할 수 있습니다. 이 실패 상태는 파일 시스템의 모든 데이터가 Blob Storage로 내보내지지 않았음을 나타냅니다. 이 경우 새 내보내기 작업을 만들어 내보내기를 다시 시도하십시오. 새 작업은 이전 작업에서 복사되지 않은 파일만 복사합니다.
작업이 많은 파일 시스템에서는 파일이 자주 변경되기 때문에 재시도는 여러 번 실패할 수 있습니다. 파일이 Blob Storage로 성공적으로 내보내졌는지 확인하려면 해당 Blob에서 타임스탬프를 확인합니다. 작업이 완료되면 배포 시 구성한 로깅 컨테이너를 보고 내보내기 작업에 대한 자세한 정보를 볼 수도 있습니다. 로깅 컨테이너는 실패한 파일 및 실패한 이유에 대한 진단 정보를 제공합니다.
클러스터의 서비스 해제를 준비하고 Blob Storage 최종 내보내기를 수행하려는 경우 내보내기 작업을 시작하기 전에 모든 I/O 작업이 중단되었는지 확인합니다. 이 방법을 사용하면 파일 시스템 활동으로 인한 오류를 방지하므로 모든 데이터를 내보낼 수 있습니다.
내보낸 파일에 대한 메타데이터에 대해 알아보기
Azure Managed Lustre 파일 시스템에서 Blob 컨테이너로 파일을 내보낼 때 내보내기 작업은 추가 메타데이터를 저장하여 파일 시스템에 콘텐츠를 다시 가져오기를 간소화합니다.
다음 표에서는 내보내기 작업이 Blob 메타데이터에 키/값 쌍으로 저장하는 Lustre 파일 시스템의 POSIX 특성을 나열합니다.
| POSIX 특성 | Type |
|---|---|
owner |
int |
group |
int |
permissions |
8진수 또는 rwxrwxrwx 형식; 고정 비트가 지원됩니다. |
내보내기 작업은 디렉터리 특성을 빈 Blob에 저장합니다. 이 Blob은 디렉터리 경로와 이름이 같으며 Blob 메타데이터 hdi_isfolder : true에 다음 키/값 쌍을 포함합니다.
컨테이너를 사용하여 새 Lustre 클러스터를 수화하기 전에 POSIX 특성을 수동으로 수정할 수 있습니다. 앞에서 설명한 키/값 쌍을 사용하여 Blob 메타데이터를 편집하거나 추가합니다.
azcopy 또는 Storage Explorer를 사용하여 Lustre Blob 컨테이너 복사
Lustre 파일 시스템에서 사용하는 Blob 컨테이너를 azcopy 또는 Storage Explorer를 사용하여 이동하거나 복사할 수 있습니다.
예를 azcopy들어 다음 플래그를 추가하여 디렉터리 특성을 포함할 수 있습니다.
--include-directory-stub
이 플래그를 포함하면 전송 중에 디렉터리 POSIX 특성이 유지됩니다(예: owner, group및 permissions). 이 플래그 없이 스토리지 컨테이너에서 false를 사용하거나, 플래그가 azcopy로 설정된 경우 전송에는 데이터 및 디렉터리가 포함됩니다. 그러나 디렉터리에는 POSIX 특성이 유지되지 않습니다.
Storage Explorer에서 전송을 선택하고 디렉터리 스텁 포함 상자를 선택하여 설정에서 이 플래그를 사용하도록 설정할 수 있습니다.
자동 내보내기
Azure Managed Lustre의 자동 내보내기 기능은 Azure Managed Lustre 파일 시스템의 변경 내용을 연결된 Azure Blob Storage 컨테이너와 자동으로 동기화하는 기능입니다.
이 기능을 사용하면 파일 시스템의 새 파일과 수정된 파일이 수동 개입 없이 연결된 Blob Storage 컨테이너에 반영되도록 할 수 있습니다. 이 기능은 데이터 관리를 간소화하고 장기 스토리지에 대한 동기화를 개선합니다.
자동 내보내기 기능
자동 내보내기 기능은 Azure Managed Lustre 파일 시스템의 변경 내용을 지속적으로 모니터링하여 작동합니다. 구성한 내보내기 정책에 따라 관련 Blob Storage 컨테이너의 내용을 업데이트하여 이러한 변경 내용을 반영합니다. 이 기능은 데이터를 복제하기 위한 원활하고 자동화된 프로세스를 제공합니다.
자동 내보내기가 다양한 유형의 변경 내용을 처리하는 방법은 다음과 같습니다.
- 새 파일 생성, 새 디렉터리 및 파일 콘텐츠 변경: Blob 통합 프로세스는 변경된 새 파일, 디렉터리 및 데이터를 식별합니다. 내보내기 작업이 자동으로 시작됩니다. 자동 내보내기를 통해 최신 버전의 파일이 Blob Storage로 전송됩니다.
자동 내보내기는 지속적인 내보내기 반복 과정을 통해 작동합니다. 반복이 완료되면 Blob 통합 프로세스는 파일 시스템에서 새 파일, 디렉터리 또는 콘텐츠 변경 내용을 검색합니다. 내보내기 작업의 새 반복을 시작합니다.
구성된 로깅 컨테이너에서 작업 로그를 내보내면 동기화 문제를 식별하고 작업이 실패하는 이유를 이해하는 데 도움이 될 수 있습니다.
자동 내보내기 구성
연결된 Blob Storage 컨테이너가 구성된 기존 Azure Managed Lustre 파일 시스템에서 자동 내보내기를 사용하도록 설정 Azure Portal에서 Blob 통합 설정을 사용하여 자동 내보내기를 구성할 수 있습니다.
새 자동 내보내기 작업을 만들려면 다음 단계를 수행합니다.
Azure Portal에서 Azure Managed Lustre 파일 시스템을 엽니다. 설정에서 Blob 통합을 선택합니다.
+ 새 작업 만들기를 선택합니다.
작업 유형 드롭다운에서 자동 내보내기를 선택합니다.
파일 시스템 경로 필드에서 문자열을 입력하여 디렉터리 경로를 지정합니다.
시스템은 이 경로(접두사) 아래의 파일 시스템에서 모든 새 파일 또는 변경된 파일을 지속적으로 내보냅니다. 시스템은 Lustre 파일 시스템에 있는 것과 동일한 파일 경로(또는 접두사)를 사용하여 Blob 컨테이너에 파일을 씁니다. 유일한 예외는 Blob 컨테이너의 해당 경로에서 Lustre 파일을 가져온 경우입니다.
자동 내보내기 모니터링 및 관리
Azure 포털을 사용하여 자동 내보내기 활동을 모니터링하고 구성을 관리합니다.
Blob 통합 창에는 최근 작업 상태 및 자동 동기화와 관련된 메트릭을 포함하여 최근 작업 섹션에 내보내기 작업의 세부 정보가 표시됩니다.
In-Process 작업을 취소하려면 최근 작업 테이블에서 해당 작업에 대한 취소 링크를 선택합니다. 취소 링크는 현재 작업에만 사용할 수 있습니다.
자동 내보내기 작업의 메트릭을 보려면 작업의 이름 값을 선택합니다. 메트릭 창이 포털의 측면 패널에 나타납니다.
메트릭 자동 내보내기
포털에서 메트릭은 전체 및 현재 반복이라는 두 가지 주요 범주로 그룹 화됩니다.
전체 통계
자동 내보내기 사용 후 통계
내보낸 총 파일 수
자동 내보내기를 사용하도록 설정한 후 연결된 Blob 컨테이너에 성공적으로 복사된 파일 수입니다.
내보낸 총 MiB
자동 내보내기를 사용하도록 설정한 후 연결된 Blob 컨테이너에 성공적으로 복사된 집계 파일 크기(MiB)입니다.
반복 완료됨
Blob 통합 프로세스에서 새 데이터 또는 변경된 데이터를 식별하고 새 내보내기 작업을 시작한 횟수입니다.
마지막으로 성공한 반복
모든 데이터를 연결된 Blob 컨테이너로 성공적으로 내보낸 마지막 반복의 완료 타임스탬프를 반환합니다.
현재 반복 통계
현재 활동에 대한 통계
검색된 파일
이 반복에서 연결된 Blob 컨테이너에 이미 복사된 파일을 포함하여 내보내기 작업이 현재 내보내고 있는 파일의 수입니다.*
MiB 검색됨
이 반복에서 연결된 Blob 컨테이너에 이미 복사된 파일을 포함하여 내보내기 작업이 현재 내보내고 있는 MiB의 집계 파일 크기입니다.*
내보낸 파일
연결된 Blob 컨테이너에 성공적으로 복사된 새 파일 및 변경된 파일의 수입니다.
MiB 내보내기
연결된 Blob 컨테이너에 성공적으로 복사된 새 데이터와 변경된 데이터의 MiB의 집계 파일 크기입니다.
파일 실패
현재 반복 중에 복사하지 못한 총 파일 수입니다. 이 자동 내보내기 작업과 관련된 로그를 보려면 로깅 컨테이너 페이지로 이동하는 이 링크를 선택합니다.
* 현재 진행 중인 반복에 대한 메트릭은 현재까지의 수치를 나타냅니다. 예를 들어 검색된 파일 은 보고 시 내보내기 위해 검색된 파일의 수입니다. 다음 보고 주기는 더 많은 파일이 검색되었음을 표시할 수 있습니다.
자동 내보내기 고려 사항 및 모범 사례
자동 내보내기 기능을 사용하는 경우 원활한 작업을 위해 다음 모범 사례를 고려합니다.
- 충돌 관리: 파일 시스템과 Blob Storage 모두에서 파일이 수정되면 덮어쓸 위험이 있습니다. 애플리케이션 수준 조정을 사용하여 충돌하는 편집을 방지합니다.
- 삭제하기 전에 자동 내보내기 사용 안 함: 파일 시스템 또는 Blob 통합 프로세스를 삭제하기 전에 대기 중인 모든 업데이트가 동기화되었는지 확인합니다. 마지막으로 성공한 반복 시간이 최근이고 데이터 손실을 방지하기 위해 파일 실패 메트릭이 0인지 확인합니다. 그런 다음 자동 내보내기 사용 안 함