Microsoft Fabric에서 사용자 지정 Spark 풀을 만드는 방법

아티클
10/25/2023

이 문서에서는 분석 워크로드를 위해 Microsoft Fabric에서 사용자 지정 Apache Spark 풀을 만드는 방법을 설명합니다. Apache Spark 풀을 사용하면 사용자가 특정 요구 사항에 따라 맞춤형 컴퓨팅 환경을 만들어 최적의 성능과 리소스 사용률을 보장할 수 있습니다.

자동 크기 조정을 위한 최소 및 최대 노드를 지정합니다. 이러한 값에 따라 시스템은 작업의 컴퓨팅 요구 사항이 변경됨에 따라 노드를 동적으로 획득하고 사용 중지하므로 효율적인 크기 조정 및 성능이 향상됩니다. Spark 풀에서 실행기의 동적 할당은 수동 실행기 구성의 필요성도 완화합니다. 대신 시스템은 데이터 볼륨 및 작업 수준 컴퓨팅 요구 사항에 따라 실행기 수를 조정합니다. 이 프로세스를 사용하면 성능 최적화 및 리소스 관리에 대한 걱정 없이 워크로드에 집중할 수 있습니다.

참고 항목

사용자 지정 Spark 풀을 만들려면 작업 영역에 대한 관리자 액세스 권한이 필요합니다. 용량 관리자는 용량 관리 설정의 Spark Compute 섹션에서 사용자 지정된 작업 영역 풀 옵션을 사용하도록 설정해야 합니다. 자세한 내용은 패브릭 용량에 대한 Spark Compute 설정 참조하세요.

사용자 지정 Spark 풀 만들기

작업 영역과 연결된 Spark 풀을 만들거나 관리하려면 다음을 수행합니다.

작업 영역으로 이동하여 작업 영역 설정을 선택합니다.
데이터 엔지니어/과학 옵션을 선택하여 메뉴를 확장한 다음 Spark Compute를 선택합니다.
새 풀 옵션을 선택합니다. 풀 만들기 화면에서 Spark 풀의 이름을 지정합니다. 또한 노드 패밀리를 선택하고 워크로드에 대한 컴퓨팅 요구 사항에 따라 사용 가능한 크기(Small, Medium, Large, X-Large 및 XX-Large)에서 노드 크기를 선택합니다.
사용자 지정 풀에 대한 최소 노드 구성을 1로 설정할 수 있습니다. Fabric Spark는 단일 노드가 있는 클러스터에 복원 가능한 가용성을 제공하므로 작업 실패, 실패 시 세션 손실 또는 더 작은 Spark 작업에 대한 컴퓨팅 비용을 초과하여 걱정할 필요가 없습니다.
사용자 지정 Spark 풀에 대해 자동 크기 조정을 사용하거나 사용하지 않도록 설정할 수 있습니다. 자동 크기 조정을 사용하도록 설정하면 풀은 사용자가 지정한 최대 노드 제한까지 새 노드를 동적으로 확보한 다음 작업 실행 후 사용 중지합니다. 이 기능은 작업 요구 사항에 따라 리소스를 조정하여 성능을 향상합니다. 패브릭 용량 SKU의 일부로 구매한 용량 단위에 맞는 노드의 크기를 조정할 수 있습니다.
Spark 풀에 동적 실행기 할당을 사용하도록 선택할 수도 있습니다. 그러면 사용자가 지정한 최대 바인딩 내의 최적 실행기 수가 자동으로 결정됩니다. 이 기능은 데이터 볼륨에 따라 실행기 수를 조정하여 성능 및 리소스 사용률을 향상합니다.