배포 후 빅 데이터 클러스터 설정을 구성하는 방법

적용 대상: SQL Server 2019(15.x)

중요

Microsoft SQL Server 2019 빅 데이터 클러스터 추가 기능이 사용 중지됩니다. SQL Server 2019 빅 데이터 클러스터에 대한 지원은 2025년 2월 28일에 종료됩니다. Software Assurance를 사용하는 SQL Server 2019의 모든 기존 사용자는 플랫폼에서 완전히 지원되며, 소프트웨어는 지원 종료 시점까지 SQL Server 누적 업데이트를 통해 계속 유지 관리됩니다. 자세한 내용은 공지 블로그 게시물 및 Microsoft SQL Server 플랫폼의 빅 데이터 옵션을 참조하세요.

SQL Server 빅 데이터 클러스터 대한 클러스터, 서비스 및 리소스 범위 설정은 CLI를 통해 azdata 배포 후 구성할 수 있습니다. 이 기능을 사용하면 SQL Server 빅 데이터 클러스터 관리자가 항상 워크로드 요구 사항을 충족하도록 구성을 조정할 수 있습니다. 이 문서에서는 표준 시간대 및 Spark 워크로드 요구 사항을 구성하는 방법에 대한 예제 시나리오를 설명합니다. 배포 후 구성 기능은 집합, diff, 적용 흐름을 따릅니다.

참고 항목

배포 후 설정 구성은 SQL Server 빅 데이터 클러스터 CU9 이상 배포에서만 사용할 수 있습니다. 설정 구성에는 크기 조정, 스토리지 또는 엔드포인트 구성이 포함되지 않습니다. CU9 이전의 SQL Server 빅 데이터 클러스터 구성하는 옵션 및 지침은 여기에서 찾을 수 있습니다.

단계별 시나리오: SQL Server 빅 데이터 클러스터 표준 시간대 구성

SQL Server 빅 데이터 클러스터 CU13부터 클러스터 표준 시간대 구성을 사용자 지정할 수 있으므로 서비스 타임스탬프가 선택한 표준 시간대에 맞춰집니다. 이 설정은 빅 데이터 클러스터 제어 평면에 적용되지 않으며 모든 SQL Server 풀(마스터, 컴퓨팅 및 데이터), Hadoop 구성 요소 및 Spark에 대한 새 표준 시간대 구성을 설정합니다.

참고 항목

기본적으로 SQL Server 빅 데이터 클러스터 UTC를 표준 시간대로 설정합니다.

다음 명령을 사용하여 표준 시간대 구성을 설정합니다.

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

클러스터에 보류 중인 설정 적용

다음 명령은 구성을 적용하고 모든 서비스를 다시 시작합니다. 변경 내용을 추적하고 구성 프로세스를 제어하는 방법에 대한 이 문서의 마지막 섹션을 검토합니다.

azdata bdc settings apply

단계별 시나리오: Spark 워크로드 요구 사항을 충족하도록 클러스터 구성

빅 데이터 클러스터 Spark 서비스의 현재 구성 보기

다음 예제에서는 Spark 서비스의 사용자가 구성한 설정을 보는 방법을 보여줍니다. 가능한 모든 구성 가능한 설정, 시스템 관리 및 구성 가능한 모든 설정 및 선택적 매개 변수를 통해 보류 중인 설정을 볼 수 있습니다. 자세한 내용은 문을 방문 azdata bdc spark 하세요.

azdata bdc spark settings show

샘플 출력

Spark 서비스

설정	Running Value
spark-defaults-conf.spark.driver.cores	1
spark-defaults-conf.spark.driver.memory	1664m

Spark 드라이버에 대한 기본 코어 수 및 메모리 변경

Spark 서비스의 기본 코어 수를 2로, 기본 메모리를 7424MB로 업데이트합니다. Spark 서비스에 대해 Spark를 사용하는 모든 리소스에 영향을 줍니다.

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

스토리지 풀에서 Spark 실행기의 기본 코어 수 및 메모리를 변경합니다.

스토리지 풀의 기본 실행기 코어 수를 4로 업데이트합니다.

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

Spark 애플리케이션의 기본 클래스 경로에 추가 경로 구성

경로에는 /opt/hadoop/share/hadoop/tools/lib/ Spark 애플리케이션에서 사용할 여러 라이브러리가 포함되어 있지만 참조된 경로는 Spark 애플리케이션의 클래스 경로에 기본적으로 로드되지 않습니다. 이 설정을 사용하려면 다음 구성 패턴을 적용합니다.

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

빅 데이터 클러스터에서 준비되는 보류 중인 설정 변경 내용 보기

전체 빅 데이터 클러스터에서만 Spark 서비스에 대한 보류 중인 설정 변경 내용을 봅니다.

보류 중인 Spark 서비스 설정

azdata bdc spark settings show --filter-option=pending --include-details

Spark 서비스

설정	Running Value	구성된 값	구성 가능 여부	구성됨	마지막 업데이트 시간
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

모든 보류 중인 설정

azdata bdc settings show --filter-option=pending --include-details --recursive

Spark 서비스 설정 - 보류 중

설정	Running Value	구성된 값	구성 가능 여부	구성됨	마지막 업데이트 시간
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

스토리지 - 0 리소스 Spark 설정 - 보류 중

설정	Running Value	구성된 값	구성 가능 여부	구성됨	마지막 업데이트 시간
spark-defaults-conf.spark.executor.cores	1	4	true	true

빅 데이터 클러스터에 보류 중인 설정 적용

azdata bdc settings apply

구성 업데이트 상태 모니터링

azdata bdc status show

선택적 단계

보류 중인 구성 설정 되돌리기

보류 중인 구성 설정을 더 이상 변경하지 않으려는 경우 이러한 설정을 스테이징 해제할 수 있습니다. 그러면 모든 범위에서 보류 중인 설정이 되돌려집니다.

azdata bdc settings revert

구성 업그레이드 중단

구성 요소에 대해 구성 업그레이드가 실패하는 경우 업그레이드 프로세스를 취소하고 클러스터를 이전 구성으로 다시 반환할 수 있습니다. 업그레이드 중에 변경이 준비되었던 설정이 다시 보류 중인 설정으로 나열됩니다.

azdata bdc settings cancel-apply

다음 단계

SQL Server 빅 데이터 클러스터 구성