Microsoft Fabric 데이터 엔지니어링 및 데이터 과학 환경은 완전히 관리되는 Spark 컴퓨팅 플랫폼에서 작동합니다. 이 플랫폼은 탁월한 속도와 효율성을 제공하도록 설계되었습니다. 여기에는 시작 풀 및 사용자 지정 풀이 포함됩니다.
패브릭 환경에는 Spark 연산 속성을 포함한 구성 컬렉션이 있으며, 이를 Notebook 및 Spark 작업에 연결한 후 Spark 세션을 구성하는 데 사용할 수 있습니다. 환경을 사용하면 Spark 작업을 실행하기 위한 컴퓨팅 구성을 유연하게 사용자 지정할 수 있습니다.
설정을 구성하기
작업 영역 관리자는 컴퓨팅 사용자 지정을 사용하거나 사용하지 않도록 설정할 수 있습니다.
작업 영역 설정 창에서 데이터 엔지니어링/과학 섹션을 선택합니다.
풀 탭에서 항목에 대한 컴퓨팅 구성 사용자 지정 토글을 켜기로 설정합니다.
또한 이 설정을 사용하도록 설정하여 패브릭 환경에서 멤버 및 참가자에게 기본 세션 수준 컴퓨팅 구성을 변경하도록 위임할 수 있습니다.
작업 영역 설정 창에서 이 옵션을 사용하지 않도록 설정하면 환경의 컴퓨팅 섹션이 비활성화됩니다. 작업 영역에 대한 기본 풀 컴퓨팅 구성은 Spark 작업을 실행하는 데 사용됩니다.
환경에서 세션 수준 컴퓨팅 속성 사용자 지정
사용자는 Fabric 작업 영역에서 사용할 수 있는 풀 목록에서 환경에 대한 풀을 선택할 수 있습니다. Fabric 작업 영역 관리자는 기본 시작 풀 및 사용자 지정 풀을 만듭니다.
컴퓨팅 섹션에서 풀을 선택한 후 선택한 풀의 노드 크기 및 제한 범위 내에서 실행기의 코어와 메모리를 조정할 수 있습니다. Spark 컴퓨팅 크기 및 해당 코어 또는 메모리 옵션에 대한 자세한 내용은 Fabric의 Spark 컴퓨팅을 참조하세요.
컴퓨팅 섹션을 사용하여 워크로드 요구 사항에 따라 실행기의 메모리 및 코어를 사용자 지정하도록 Spark 세션 수준 속성을 구성합니다. 제어 애플리케이션 수준 매개 변수를 통해 spark.conf.set 설정된 Spark 속성은 환경 변수와 관련이 없습니다.
예를 들어 큰 노드 크기(16개의 Spark vCore)를 환경 풀로 사용하는 사용자 지정 풀을 선택하려는 경우를 예로 들어 보겠습니다.
컴퓨팅 섹션의 환경 풀에서 Spark 드라이버 코어 드롭다운을 사용하여 작업 수준 요구 사항에 따라 4, 8 또는 16을 선택합니다.
드라이버 및 실행기에 메모리를 할당하려면 Spark 실행기 메모리에서 28g, 56g 또는 112g를 선택합니다. 모두 큰 노드 메모리 제한 범위 내에 있습니다.
