영어로 읽기

다음을 통해 공유

파이프라인에서 Fabric 노트북의 고 동시성 모드 설정 (미리 보기)

  • 아티클

파이프라인 내에서 Notebook 단계를 실행하면 Apache Spark 세션이 시작되고 Notebook에서 제출된 쿼리를 실행하는 데 사용됩니다. 파이프라인에 대해 높은 동시성 모드를 사용하도록 설정하면 노트북이 자동으로 기존의 스파크 세션에 통합됩니다.

이렇게 하면 단일 사용자 경계 내의 모든 Notebook에서 세션 공유 기능을 사용할 수 있습니다. 시스템은 기존의 높은 동시성 세션에서 모든 Notebook을 자동으로 압축합니다.

노트북의 고동시성 세션을 보여 주는 애니메이션.

참고

높은 동시성 모드로 세션 공유는 항상 단일 사용자 경계 내에 있습니다. 단일 Spark 세션을 공유하려면, Notebook은 일치하는 Spark 구성을 가져야 하고, 동일한 작업 영역에 속해야 하며 동일한 기본 레이크하우스 및 라이브러리를 공유해야 합니다.

세션 공유 조건

Notebook이 단일 Spark 세션을 공유하려면 다음과 같은 조건이 필요합니다.

  • 동일한 사용자가 실행합니다.
  • 동일한 기본 레이크하우스가 있습니다. 기본 레이크하우스가 없는 Notebook은 기본 레이크하우스가 없는 다른 Notebook과 세션을 공유할 수 있습니다.
  • 동일한 Spark 컴퓨팅 구성을 갖습니다.
  • 동일한 라이브러리 패키지를 갖습니다. Notebook 셀의 일부로 다른 인라인 라이브러리 설치를 수행할 수 있으며 라이브러리 종속성이 다른 Notebook과 세션을 공유할 수 있습니다.

높은 동시성 모드 구성

패브릭 작업 영역 관리자는 작업 영역 설정을 사용하여 파이프라인에 대해 높은 동시성 모드를 사용하도록 설정할 수 있습니다. 다음 단계를 사용하여 높은 동시성 기능을 구성합니다.

  1. 패브릭 작업 영역에서 작업 영역 설정 옵션을 선택합니다.

  2. 데이터 엔지니어링/과학 섹션 >Spark 설정>높은 동시성으로 이동합니다.

  3. 높은 동시성 섹션에서, 여러 노트북을 실행하기 위한 파이프라인 설정 을 활성화합니다.

    작업 영역 설정의 높은 동시성 섹션을 보여 주는 스크린샷

  4. 높은 동시성 옵션을 사용하도록 설정하면 파이프라인에 의해 트리거되는 모든 Notebook 세션을 높은 동시성 세션으로 사용할 수 있습니다.

  5. 시스템은 들어오는 Notebook 세션을 활성 높은 동시성 세션에 자동으로 압축합니다. 활성된 고동시성 세션이 없으면, 새로운 고동시성 세션이 생성되고, 제출된 동시성 노트북들이 새 세션에 포함됩니다.

Notebook에서 세션 태그를 사용하여 공유 세션 그룹화

  1. 작업 영역으로 이동하여 새 항목 단추를 선택하고 새 데이터 파이프라인만듭니다.

  2. 메뉴 리본의 활동 탭으로 이동하여 전자 필기장 활동을 추가합니다.

  3. 고급 설정에서 세션 태그 속성에 대한 문자열 값을 지정합니다.

  4. 세션 태그가 추가된 후 Notebook 공유는 이 태그를 동일한 세션 태그로 모든 Notebook을 묶는 일치 조건으로 사용합니다.

    Notebook 메뉴의 새로운 높은 동시성 세션을 시작하는 옵션을 보여 주는 스크린샷

참고

성능을 최적화하기 위해 단일 동시성 세션은 동일한 세션 태그로 식별된 최대 5개의 Notebook에서 리소스를 공유할 수 있습니다. 동일한 태그를 사용하여 5개 이상의 Notebook을 제출하면 시스템은 후속 Notebook 단계를 호스트하는 새 동시성 세션을 자동으로 만듭니다. 이렇게 하면 워크로드를 여러 세션에 분산하여 효율적인 크기 조정 및 부하 분산을 수행할 수 있습니다.

파이프라인에 의해 활성화된 노트북 모니터링 및 디버그

여러 Notebook이 공유 세션 내에서 실행되는 경우 모니터링 및 디버깅이 어려울 수 있습니다. 높은 동시성 모드에서는 로그 분리가 제공되므로 각 개별 Notebook에 대한 Spark 이벤트의 로그를 추적할 수 있습니다.

  1. 세션이 진행 중이거나 완료된 상태인 경우 실행 메뉴로 이동하고 모든 실행 옵션을 선택하여 세션 상태를 볼 수 있습니다.

  2. 이렇게 하면 현재 활성 상태 및 이전 Spark 세션 목록이 포함된 노트북의 실행 기록이 열립니다.

    고성능 동시성 세션에서 노트북의 모든 실행 페이지를 보여주는 스크린샷

  3. 세션을 선택하면 모니터링 세부 정보 보기에 액세스하여 해당 세션 내에서 실행된 모든 Spark 작업의 목록을 표시할 수 있습니다.

  4. 고도의 동시성 세션의 경우, 작업 및 관련 로그를 식별하려면 관련 전자 필기장 탭을 사용하세요. 이 탭은 해당 작업이 실행된 노트북을 보여줍니다.

    모니터링 세부 보기에서 높은 동시성 세션에 대한 모든 관련 Notebook을 보여 주는 스크린샷

관련 콘텐츠

  • Microsoft Fabric의 높은 동시성 모드에 대한 자세한 내용은 Fabric을 위한 Apache Spark에서의 높은 동시성 모드 를 참조하세요.
  • Notebook에 대한 높은 동시성 모드를 시작하려면 Fabric Notebook에 대해 높은 동시성 모드 구성을 참조하세요.