다음을 통해 공유

Java를 사용하여 업로드 및 다운로드에 대한 성능 튜닝

  • 아티클

애플리케이션이 Java용 Azure Storage 클라이언트 라이브러리를 사용하여 데이터를 전송하는 경우 속도, 메모리 사용량, 요청의 성공 또는 실패에도 영향을 줄 수 있는 몇 가지 요인이 있습니다. 데이터 전송 성능과 안정성을 극대화하려면 앱이 실행되는 환경에 따라 클라이언트 라이브러리 전송 옵션을 사전에 구성하는 것이 중요합니다.

이 문서에서는 데이터 전송 옵션을 튜닝하기 위한 몇 가지 고려 사항을 안내합니다. 제대로 조정되면 클라이언트 라이브러리는 여러 요청에 데이터를 효율적으로 분산할 수 있으므로 작업 속도, 메모리 사용량, 네트워크 안정성이 향상될 수 있습니다.

업로드에 대한 성능 튜닝

데이터 전송 옵션을 올바르게 튜닝하는 것은 안정적인 업로드 성능의 핵심입니다. 스토리지 전송은 이러한 인수 값에 따라 여러 하위 전송으로 분할됩니다. 지원되는 최대 전송 크기는 작업 및 서비스 버전에 따라 다르므로 설명서를 확인하여 한도를 결정해야 합니다. Blob 스토리지 전송 크기 제한에 대한 자세한 내용은 Blob 스토리지의 스케일링 대상을 참조하세요.

업로드를 위한 전송 옵션 설정

ParallelTransferOptions의 값을 구성하여 데이터 전송 작업에 대한 성능을 향상시킬 수 있습니다. 앱의 요구 사항에 따라 업로드에 대해 다음 값을 조정할 수 있습니다.

  • maxSingleUploadSize: 단일 요청 업로드에 대한 최대 Blob 크기(바이트)입니다.
  • blockSize: 각 요청에 대해 전송할 최대 블록 크기입니다.
  • maxConcurrency: 단일 병렬 전송의 일부로 지정된 시간에 발급된 최대 병렬 요청 수입니다.

참고 항목

클라이언트 라이브러리는 각 데이터 전송 옵션에 대해 기본값을 사용합니다(제공하지 않는 경우). 이러한 기본값은 일반적으로 데이터 센터 환경에서 수행되지만 일반 소비자 환경에는 적합하지 않을 수 있습니다. 데이터 전송이 제대로 튜닝되지 않으면 작업이 지나치게 오래 걸리고 요청 시간 제한도 발생할 수 있습니다. 이러한 값을 테스트하고 애플리케이션 및 환경 요구 사항에 따라 튜닝하는 것이 가장 좋습니다.

maxSingleUploadSize

maxSingleUploadSize 값은 단일 요청 업로드에 대한 최대 Blob 크기(바이트)입니다. 이 값은 다음 메서드를 사용하여 설정할 수 있습니다.

데이터 크기가 maxSingleUploadSize보다 작거나 같은 경우 Blob은 단일 Blob 배치 요청으로 업로드됩니다. Blob 크기가 maxSingleUploadSize보다 크거나 Blob 크기를 알 수 없는 경우 Blob은 일련의 블록 배치 호출과 블록 목록 배치를 사용하여 청크로 업로드됩니다.

blockSize에 대해 지정하는 값이 maxSingleUploadSize에 대해 정의하는 값을 제한하지 않는다는 점에 유의해야 합니다. maxSingleUploadSize 인수는 요청이 전체 작업을 한 번에 수행하도록 하위 전송 없이 별도의 크기 제한을 정의합니다. maxSingleUploadSize가 적어도blockSize에 대해 정의한 값만큼 크도록 하려는 경우가 많습니다(더 크지 않은 경우). 데이터 전송 크기에 따라 단일 요청으로 전송이 완료되고 여러 요청의 오버헤드를 방지하므로 이 방법은 더 우수한 성능을 발휘할 수 있습니다.

상황에 가장 적합한 값이 무엇인지 잘 모르는 경우 안전한 옵션은 maxSingleUploadSize를 blockSize에 사용되는 값과 동일한 값으로 설정하는 것입니다.

blockSize

blockSize 값은 블록 Blob을 청크로 업로드할 때 최대 전송 길이(바이트)입니다. 이 값은 다음 메서드를 사용하여 설정할 수 있습니다.

blockSize 값은 블록 Blob을 청크로 업로드할 때 최대 전송 길이(바이트)입니다. 앞에서 설명한 것처럼 이 값은 blockSize보다 클 수 있는 maxSingleUploadSize를 제한하지 않습니다.

데이터를 효율적으로 이동하기 위해 클라이언트 라이브러리가 전송할 때마다 항상 blockSize 값에 도달할 수 있는 것은 아닙니다. 작업에 따라 전송 크기에 지원되는 최대 값이 다를 수 있습니다. Blob 스토리지 전송 크기 제한에 대한 자세한 내용은 Blob 스토리지의 스케일링 대상의 차트를 참조하세요.

maxConcurrency

maxConcurrency 값은 단일 병렬 전송의 일부로 지정된 시간에 발급되는 최대 병렬 요청 수입니다. 이 값은 다음 메서드를 사용하여 설정할 수 있습니다.

코드 예

업로드에 ParallelTransferOptions를 사용하려면 다음 import 지시문이 있는지 확인합니다.

import com.azure.storage.blob.models.*;

다음 코드 예제에서는 ParallelTransferOptions에 대한 값을 설정하고 BlobUploadFromFileOptions 인스턴스의 일부로 옵션을 포함하는 방법을 보여 줍니다. 파일에서 업로드하지 않는 경우 BlobParallelUploadOptions를 사용하여 유사한 옵션을 설정할 수 있습니다. 이 샘플에 제공된 값은 권장 사항이 아닙니다. 이러한 값을 올바르게 조정하려면 앱의 특정 요구 사항을 고려해야 합니다.

ParallelTransferOptions parallelTransferOptions = new ParallelTransferOptions()
        .setBlockSizeLong((long) (4 * 1024 * 1024)) // 4 MiB block size
        .setMaxConcurrency(2)
        .setMaxSingleUploadSizeLong((long) 8 * 1024 * 1024); // 8 MiB max size for single request upload

BlobUploadFromFileOptions options = new BlobUploadFromFileOptions("<localFilePath>");
options.setParallelTransferOptions(parallelTransferOptions);

Response<BlockBlobItem> blockBlob = blobClient.uploadFromFileWithResponse(options, null, null);

이 예제에서는 setMaxConcurrency 메서드를 사용하여 최대 병렬 전송 작업자 수를 2로 설정합니다. 또한 setMaxSingleUploadSizeLong 메서드를 사용하여 maxSingleUploadSize를 8MiB로 설정합니다. Blob 크기가 8MiB보다 작은 경우 작업을 완료하려면 단일 요청만 필요합니다. Blob 크기가 8MiB보다 큰 경우 Blob은 setBlockSizeLong 메서드를 사용하여 설정한 최대 청크 크기가 4MiB인 청크로 업로드됩니다.

업로드 성능 고려 사항

업로드하는 동안 Storage 클라이언트 라이브러리는 지정된 업로드 스트림을 ParallelTransferOptions에서 정의한 구성 옵션에 따라 지정된 여러 하위 업로드로 분할합니다. 각 하위 업로드에는 REST 작업에 대한 자체 전용 호출이 있습니다. BlobClient 개체의 경우 이 작업은 블록 배치입니다. Storage 클라이언트 라이브러리는 전송 옵션에 따라 이러한 REST 작업을 병렬로 관리하여 전체 업로드를 완료합니다.

참고 항목

블록 Blob의 최대 블록 수는 50,000개입니다. 블록 Blob의 최대 크기는 block_size의 50,000배입니다.

업로드 중 버퍼링

Storage REST 계층은 중단한 REST 업로드 작업을 선택하지 않습니다. 개별 전송은 완료되거나 손실됩니다. 스트림 업로드에 대한 복원력을 보장하기 위해 스토리지 클라이언트 라이브러리는 업로드를 시작하기 전에 각 개별 REST 호출에 대한 데이터를 버퍼링합니다. 네트워크 속도 제한 외에도 이 버퍼링 동작은 순서대로 업로드하는 경우에도 더 작은 blockSize 값을 고려해야 하는 이유입니다. blockSize 값을 줄이면 각 요청 및 실패한 요청의 각 재시도에서 버퍼링되는 최대 데이터 양이 줄어듭니다. 특정 크기의 데이터를 전송하는 동안 시간 제한이 자주 발생하는 경우 blockSize 값을 줄이면 버퍼링 시간이 줄어들고 성능이 향상될 수 있습니다.

다운로드 성능 튜닝

데이터 전송 옵션을 올바르게 튜닝하는 것은 안정적인 다운로드 성능의 핵심입니다. 스토리지 전송은 ParallelTransferOptions에 정의된 값에 따라 여러 하위 전송으로 분할됩니다.

다운로드를 위한 전송 옵션 설정

앱의 요구 사항에 따라 다운로드할 수 있도록 다음 값을 조정할 수 있습니다.

  • blockSize: 각 요청에 대해 전송할 최대 블록 크기입니다. setBlockSizeLong 메서드를 사용하여 이 값을 설정할 수 있습니다.
  • maxConcurrency: 단일 병렬 전송의 일부로 지정된 시간에 발급되는 최대 병렬 요청 수 setMaxConcurrency 메서드를 사용하여 이 값을 설정할 수 있습니다.

코드 예

다운로드에 ParallelTransferOptions를 사용하려면 다음 import 지시문이 있는지 확인합니다.

import com.azure.storage.common.*;

다음 코드 예제에서는 ParallelTransferOptions에 대한 값을 설정하고 BlobDownloadToFileOptions 인스턴스의 일부로 옵션을 포함하는 방법을 보여 줍니다.

ParallelTransferOptions parallelTransferOptions = new ParallelTransferOptions()
        .setBlockSizeLong((long) (4 * 1024 * 1024)) // 4 MiB block size
        .setMaxConcurrency(2);

BlobDownloadToFileOptions options = new BlobDownloadToFileOptions("<localFilePath>");
options.setParallelTransferOptions(parallelTransferOptions);

blobClient.downloadToFileWithResponse(options, null, null);

다운로드 성능 고려 사항

다운로드하는 동안 Storage 클라이언트 라이브러리는 ParallelTransferOptions에서 정의한 구성 옵션에 따라 지정된 다운로드 요청을 여러 하위 다운로드로 분할합니다. 각 하위 다운로드에는 REST 작업에 대한 자체 전용 호출이 있습니다. 전송 옵션에 따라 클라이언트 라이브러리는 이러한 REST 작업을 병렬로 관리하여 전체 다운로드를 완료합니다.

다음 단계