Azure Stack HCI에서 ReFS 중복 제거 및 압축을 사용하여 스토리지 최적화

적용 대상: Azure Stack HCI, 버전 23H2

이 문서에서는 ReFS(복원 파일 시스템) 중복 제거 및 압축 기능과 Azure Stack HCI에서 이 기능을 사용하여 스토리지를 최적화하는 방법을 설명합니다.

ReFS 중복 제거 및 압축이란?

ReFS 중복 제거 및 압축은 Azure Stack HCI의 Azure VDI(가상 데스크톱 인프라)와 같은 활성 워크로드를 위해 특별히 설계된 스토리지 최적화 기능입니다. 이 기능은 스토리지 사용량을 최적화하고 스토리지 비용을 줄이는 데 도움이 됩니다.

이 기능은 ReFS 블록 복제를 사용하여 데이터 이동을 줄이고 메타데이터만 작업을 사용하도록 설정합니다. 이 기능은 데이터 블록 수준에서 작동하며 클러스터 크기에 따라 고정 블록 크기를 사용합니다. 압축 엔진은 열 지도를 생성하여 블록이 압축에 적합한지 확인하고 CPU 사용량을 최적화합니다.

ReFS 중복 제거 및 압축을 일회성 작업으로 실행하거나 예약된 작업으로 자동화할 수 있습니다. 이 기능은 모든 플래시 및 하이브리드 시스템에서 작동하며 양방향 미러, 중첩된 양방향 미러, 3방향 미러 및 미러 가속 패리티와 같은 다양한 복원력 설정을 지원합니다.

이점

다음은 ReFS 중복 제거 및 압축을 사용할 때의 이점입니다.

• 활성 워크로드에 대한 스토리지 절감. VDI와 같은 활성 워크로드를 위해 설계되어 까다로운 환경에서 효율적인 성능을 보장합니다.
• 여러 모드. 중복 제거 전용, 압축만, 중복 제거 및 압축(기본 모드)의 세 가지 모드로 작동하여 필요에 따라 최적화할 수 있습니다.
• 증분 중복 제거. 매번 전체 볼륨을 검사하고 작업 기간을 최적화하고 시스템 성능에 미치는 영향을 줄이는 것이 아니라 새 데이터나 변경된 데이터만 중복 제거합니다.

사전 요구 사항

시작하기 전에 다음 필수 구성 요소가 완료되었는지 확인합니다.

• 배포 및 등록된 Azure Stack HCI 클러스터에 액세스할 수 있습니다.
• 클러스터에 CSV(클러스터 공유 볼륨)가 만들어지고 액세스할 수 있습니다.
• CSV에는 Windows 데이터 중복 제거 기능이 아직 사용하도록 설정되어 있지 않습니다.

ReFS 중복 제거 및 압축 사용

Windows Admin Center 또는 PowerShell을 통해 ReFS 중복 제거 및 압축을 사용할 수 있습니다. PowerShell은 수동 및 자동화된 작업을 모두 허용하는 반면 Windows Admin Center 예약된 작업만 지원합니다. 메서드에 관계없이 작업 설정을 사용자 지정하고 파일 변경 내용 추적을 활용하여 더 빠른 후속 실행을 수행할 수 있습니다.

ReFS 중복 제거 및 압축 사용 및 실행

Windows Admin Center

Windows Admin Center 볼륨을 만드는 동안 기존 볼륨 또는 새 볼륨에서 실행되도록 ReFS 중복 제거 및 압축 일정을 만들 수 있습니다.

다음 단계에 따라 Windows Admin Center 통해 ReFS 중복 제거 및 압축을 사용하도록 설정하고 실행해야 하는 일정을 설정합니다.

1. 클러스터에 연결한 다음 왼쪽의 도구 창에서 볼륨을 선택합니다.

2. 볼륨 페이지에서 인벤토리 탭을 선택하고 적절한 볼륨을 선택한 다음 설정을 선택합니다. 새 볼륨에 대한 ReFS 중복 제거 및 압축을 켜려면 + 만들기를 선택합니다.

3. 오른쪽 볼륨 설정 창의 기타 옵션 드롭다운에서 ReFS 중복 제거 및 압축 사용 확인란을 선택합니다.

4. ReFS 중복 제거 및 압축이 실행되어야 하는 요일, 작업을 실행할 시간 및 최대 기간(기본값은 무제한)을 선택한 다음 저장을 선택합니다.

   다음 스크린샷은 ReFS 중복 제거 및 압축이 2023년 9월 22일부터 최대 2시간 동안 금요일과 토요일 오전 10시 40분에 실행되는 것을 보여줍니다. 시작 날짜가 2023년 9월 21일로 변경된 경우 첫 번째 실행은 2023년 9월 21일 이후의 첫 번째 금요일인 2023년 9월 22일 오전 10:40입니다.

   

5. 볼륨의 속성 섹션에서 변경 내용을 확인합니다. 일정은 속성 섹션 아래에 표시되고 절감 분석 및 다음 예약된 런타임을 표시합니다. 이러한 절감액은 각 실행 후에 업데이트되며 성능 섹션 아래의 차트에서 성능 영향을 관찰할 수 있습니다.

   

PowerShell

PowerShell을 통해 ReFS 중복 제거 및 압축을 사용하려면 먼저 기능을 사용하도록 설정한 다음 일회성 수동 작업으로 실행하거나 자동화하여 예약된 작업으로 실행합니다. 작업은 각 클러스터에 대해 CSV 수준에서 설정되며 모드, 기간, 시스템 리소스 사용량 등에 따라 사용자 지정할 수 있습니다.

ReFS 중복 제거 및 압축 사용

PowerShell을 통해 ReFS 중복 제거 및 압축을 사용하도록 설정하려면 다음 단계를 수행합니다.

1. Azure Stack HCI 클러스터에 연결하고 PowerShell을 관리자 권한으로 실행합니다.

2. 소유자 노드의 지정된 볼륨에 대한 설정을 수정하려면 모든 명령을 실행해야 합니다. 다음 cmdlet을 실행하여 모든 CSV 소유자 노드 및 볼륨 경로를 표시합니다.

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   다음은 cmdlet 사용량의 샘플 출력입니다.

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. 다음 cmdlet을 실행하여 특정 볼륨에서 ReFS 중복 제거 및 압축을 사용하도록 설정합니다.

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   where: Type 는 필수 매개 변수이며 다음 값 중 하나를 사용할 수 있습니다.

   • 중복 제거: 중복 제거만 사용하도록 설정합니다.
   • DedupAndCompress: 중복 제거와 압축을 모두 사용하도록 설정합니다. 기본 옵션입니다.
   • 압축: 압축만 사용하도록 설정합니다.

   매개 변수를 Type 변경하려면 먼저 ReFS 중복 제거 및 압축을 사용하지 않도록 설정한 다음 새 Type 매개 변수를 사용하여 다시 사용하도록 설정해야 합니다.

   예를 들어 다음 cmdlet을 실행하여 볼륨에서 중복 제거 및 압축을 모두 사용하도록 설정합니다.

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. ReFS 중복 제거 및 압축을 사용하도록 설정한 후 CSV에서 해당 상태 확인합니다. 다음 cmdlet을 실행하고 출력의 필드가 Enabled 로 True 표시되고 Type 필드에 지정된 모드가 표시되는지 확인합니다.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   다음은 필드가 로 표시되고 필드가 Enabled 로 True 표시되는 cmdlet의 Get-ReFSDedupStatusType 샘플 출력입니다.DedupAndCompress

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

ReFS 중복 제거 및 압축 실행

이 기능을 사용하도록 설정한 후에는 일회성 작업을 수동으로 실행하거나 필요에 따라 되풀이 작업을 예약할 수 있습니다.

실행하기 전에 다음과 같은 다른 고려 사항도 고려해야 합니다.

• 이 기능을 사용하도록 설정한 후 첫 번째 실행은 항상 전체 볼륨의 전체 검사 및 최적화입니다. 매개 변수를 FullRun 지정하면 최적화는 새 데이터나 최적화되지 않은 데이터가 아닌 전체 볼륨을 포함합니다.
• 압축 형식을 지정하지 않으면 기본 알고리즘은 LZ4입니다. 필요에 따라 알고리즘을 한 실행에서 다른 실행으로 변경할 수 있습니다.
• 더 복잡한 사용 사례에 대해 더 많은 매개 변수를 지정할 수 있습니다. 이 섹션에서 사용되는 cmdlet은 가장 간단한 사용 사례에 사용됩니다.
• 전체 실행, 제외된 폴더, 제외된 파일 확장명 및 마지막으로 수정된 최소 시간 필터는 중복 제거를 실행할 때만 적용되며 압축을 실행할 때는 적용되지 않습니다.

수동으로 ReFS 중복 제거 및 압축 작업 실행

• 작업을 즉시 시작하려면 다음 cmdlet을 실행합니다. 작업을 시작하면 초기화 단계에 있을 수 있으므로 해당 작업이 State 로 NotStarted 나타날 수 있습니다.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -FullRun -CompressionFormat <LZ4 | ZSTD> 
  

  예를 들어 다음 cmdlet은 LZ4 압축 형식을 사용하여 5시간 동안 작업을 즉시 시작합니다.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -FullRun -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• 실행 중인 작업을 중지하려면 다음 cmdlet을 실행합니다. 이 cmdlet은 진행 중인 예약된 작업에도 작동합니다.

  Stop-ReFSDedupJob -Volume <path>
  

  예를 들어 다음 cmdlet은 이전 예제에서 시작한 작업을 중지합니다.

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• 작업의 진행률, 절감 및 상태 보려면 다음 cmdlet을 실행합니다.

  Get-ReFSDedupStatus -Volume <path> | FL
  

  예를 들어 다음 cmdlet은 작업의 상태 표시합니다.

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

되풀이 ReFS 중복 제거 및 압축 작업 예약

볼륨에 대한 스토리지 최적화를 실행하도록 재귀 일정을 설정합니다. 그런 다음 작업 일정을 확인, 설정 또는 수정, 일시 중단, 다시 시작 또는 지울 수 있습니다.

• 일정을 설정하거나 수정하려면 다음 cmdlet을 실행합니다.

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  예를 들어 LZ4 형식으로 5시간 동안 매주 목요일 오전 8시 30분에 실행되도록 예약된 되풀이 작업을 설정하려면 다음 cmdlet을 실행합니다. 매일 작업을 실행하려는 경우 를 사용합니다 -Days EveryDay .

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• 작업 일정을 보려면 다음 cmdlet을 실행합니다.

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  다음은 이전 예제에서 예약된 작업의 출력입니다.

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

예약된 작업 일시 중단

일정을 일시 중단하면 실행 중인 작업이 취소되고 나중에 예약된 실행이 중지됩니다. 이 옵션은 ReFS 중복 제거 및 압축 관련 메타데이터를 유지하고 최적화된 향후 실행에 대한 파일 변경 내용을 계속 추적합니다. 일정 설정이 유지된 상태에서 언제든지 일정을 다시 시작할 수 있습니다.

Windows Admin Center

다음 단계에 따라 Windows Admin Center 사용하여 예약된 작업을 일시 중단합니다.

1. 클러스터에 연결한 다음 왼쪽의 도구 창에서 볼륨을 선택합니다.

2. 볼륨 페이지에서 인벤토리 탭을 선택하고 적절한 볼륨을 선택한 다음 설정을 선택합니다.

3. 오른쪽의 볼륨 설정 창에 있는 기타 옵션 드롭다운에서 일정 설정 확인란의 선택을 취소한 다음 저장을 선택합니다.

PowerShell

다음 cmdlet을 사용하여 예약된 작업을 일시 중단하고 PowerShell을 사용하여 상태 검사.

Suspend-ReFSDedupSchedule -Volume <path> 

다음은 cmdlet 사용량의 샘플 출력입니다. Suspended 필드는 로 True표시됩니다.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

볼륨에서 ReFS 중복 제거 및 압축 사용 안 함

볼륨에서 ReFS 중복 제거 및 압축을 사용하지 않도록 설정하면 진행 중인 모든 실행이 중지되고 향후 예약된 작업이 취소됩니다. 또한 관련 볼륨 메타데이터는 보존되지 않으며 파일 변경 내용 추적이 중지됩니다.

이 기능을 사용하지 않도록 설정하면 모든 작업이 메타데이터 계층에서 발생하므로 중복 제거 또는 압축을 실행 취소하지 않습니다. 시간이 지남에 따라 볼륨에 읽기 및 쓰기가 발생하므로 데이터가 원래 상태로 돌아갑니다.

참고

를 사용하여 ReFSUtil압축 해제 작업을 수행할 수 있습니다.

Windows Admin Center

다음 단계에 따라 Windows Admin Center 사용하여 기능을 사용하지 않도록 설정합니다.

1. 클러스터에 연결한 다음 왼쪽의 도구 창에서 볼륨을 선택합니다.

2. 볼륨 페이지에서 인벤토리 탭을 선택하고 적절한 볼륨을 선택한 다음 설정을 선택합니다.

3. 오른쪽의 볼륨 설정 창에 있는 기타 옵션 드롭다운에서 ReFS 중복 제거 및 압축 사용 확인란의 선택을 취소한 다음 저장을 선택합니다.

PowerShell

다음 cmdlet을 사용하여 예약된 작업을 일시 중단하고 상태 검사.

Disable-ReFSDedup -Volume <path>

다음은 cmdlet 사용량의 샘플 출력입니다. Enabled 필드는 로 False 표시되고 Type 필드는 공백으로 표시됩니다.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

FAQ(질문과 대답)

이 섹션에서는 ReFS 중복 제거 및 압축에 대한 질문과 대답을 제공합니다.

ReFS 중복 제거 및 압축 기능이 Windows 데이터 중복 제거와 다른가요?

예, 이 기능은 Windows 데이터 중복 제거 기능과 완전히 다릅니다.

중요

ReFS 중복 제거 및 압축과 Windows 데이터 중복 제거를 동시에 사용하도록 설정하는 것은 지원되지 않습니다.

ReFS 중복 제거 및 압축은 최적화 후 성능 영향을 최소화하는 데 중점을 두고 활성 워크로드용으로 설계되었습니다. Windows 데이터 중복 제거와 달리 ReFS 중복 제거 및 압축은 청크 저장소를 사용하여 중복 제거된 데이터를 저장하지 않으며 실제 데이터 이동은 관련되지 않습니다. 이 기능은 ReFS 블록 복제를 사용하여 메타데이터 전용 작업을 사용하도록 설정합니다. Windows 데이터 중복 제거는 가변 블록 크기의 사용으로 인해 더 나은 스토리지 절감을 제공할 수 있으며, GPFS(범용 파일 서버), 백업 대상 등과 같은 광범위한 워크로드 유형에도 적합합니다.

ReFS 중복 제거 및 압축의 단계는 무엇인가요?

최적화 프로세스는 순차적으로 발생하고 지정된 모드에 따라 달라지는 다음 단계로 구성됩니다. 최적화 실행이 기간 제한에 도달하면 압축이 실행되지 않을 수 있습니다.

• 초기화. 이 단계에서는 스토리지 볼륨을 검사하여 중복 데이터 블록을 식별합니다.

• 데이터 중복 제거. 이 단계에서 중복 블록은 ReFS 블록 복제를 사용하여 단일 인스턴스화되고 추적됩니다.

• 압축. 이 단계에서는 블록이 압축에 적합한지 확인하기 위해 열 지도가 생성됩니다. 기본 설정은 자주 액세스하지 않거나 콜드 데이터를 압축하여 크기를 줄입니다. 압축 수준을 변경하여 압축에 적합한 블록 범위를 조정할 수 있습니다.

볼륨이 완전히 최적화되기 전에 기간 제한에 도달하면 어떻게 됩니까?

기간 제한은 업무 시간 동안 최적화 작업으로 인한 고객 워크로드에 대한 성능 영향을 방지하기 위해 적용됩니다. 중복 제거 서비스는 볼륨 및 들어오는 파일 수정의 최적화된 부분을 모니터링합니다. 이 데이터는 최적화 시간을 줄이기 위해 향후 작업에서 활용됩니다. 예를 들어 기간 제한으로 인해 첫 번째 실행에서 볼륨이 30%만 처리되는 경우 후속 실행은 나머지 70%와 새 데이터를 처리합니다.

알려진 문제

다음 섹션에서는 현재 ReFS 중복 제거 및 압축에 존재하는 알려진 문제를 나열합니다.

단일 클러스터 내의 여러 CSV에서 동시에 실행되도록 작업을 예약하면 잠재적으로 CSV 이동을 트리거하고 성능에 부정적인 영향을 미칠 수 있습니다.

상태: 열기.

권장되는 모범 사례로, 겹치지 않도록 작업의 시작 시간을 표시합니다. 그러나 모든 작업을 동시에 실행해야 하는 경우 전체 클러스터 CPU 사용률의 50% 미만이 되도록 모든 CSV에서 작업당 CPU 할당을 조정합니다. CPU 제한을 부과하면 작업 실행 시간이 길어질 수 있습니다.

ReFS 중복 제거 및 압축 작업이 완료되고(성공적으로 또는 취소됨) 스토리지 절감액이 또는 Windows Admin Center 나열 Get-ReFSDedupStatus 되지 않습니다.

상태: 해결.

이 문제에 대한 임시 해결 방법은 일회성 작업을 시작하고 결과를 즉시 업데이트하는 것입니다.

Start-ReFSDedupJob -Volume <path>

볼륨에서 ReFS 중복 제거 및 압축을 사용하지 않도록 설정 한 후 중지된 모니터링 ETW(Windows용 이벤트 추적) 이벤트를 보냅니다.

상태: 해결.

볼륨에서 ReFS 중복 제거 및 압축을 사용하지 않도록 설정하면 ReFS 중복 제거 로그에 대한 ETW 채널이 중지된 모니터링 이벤트를 반복합니다. 그러나 이 문제로 인해 상당한 사용량 영향을 예상하지는 않습니다.

압축하는 동안 볼륨이 다른 노드로 이동되면 작업 실패 이벤트가 기록되지 않습니다.

상태: 해결.

압축이 진행되는 동안 CSV를 클러스터의 다른 서버로 이동하면 작업 실패 이벤트가 ReFS 중복 제거 채널에 기록되지 않습니다. 그러나 이 문제로 인해 상당한 사용량 영향을 예상하지는 않습니다.

다음 단계

• 볼륨을 관리합니다.