Fabric용 Apache Spark의 높은 동시성 모드

높은 동시성 모드를 사용하면 사용자가 데이터 엔지니어링 및 데이터 과학 워크로드를 위해 Fabric용 Spark에서 동일한 Spark 세션을 공유할 수 있습니다. Notebook과 같은 항목은 해당 실행에 표준 Spark 세션을 사용합니다. 높은 동시성 모드에서 Spark 세션은 Spark 애플리케이션 내에 있는 개별 REPL(read-eval-print 루프) 코어 내에서 여러 항목의 독립적인 실행을 지원할 수 있습니다. 이러한 REPL 코어는 각 항목에 대한 격리를 제공하고 로컬 Notebook 변수가 동일한 세션을 공유하는 다른 Notebook의 이름이 같은 변수에 의해 덮어쓰여지는 것을 방지합니다.

세션이 이미 실행 중이므로 여러 Notebook에서 세션을 다시 사용할 때 사용자에게 즉각적인 실행 환경을 제공합니다.

참고 항목

동시성 모드가 높은 사용자 지정 풀의 경우 사용자는 표준 Spark 세션에 비해 36배 빠른 세션 시작 환경을 얻을 수 있습니다.

Important

세션 공유 조건은 다음과 같습니다.

• 세션은 단일 사용자 경계 내에 있어야 합니다.
• 세션에는 동일한 기본 Lakehouse 구성이 있어야 합니다.
• 세션에는 동일한 Spark 컴퓨팅 속성이 있어야 합니다.

Spark 세션 초기화의 일부로 REPL 코어가 만들어집니다. 새 항목이 동일한 세션 공유를 시작하고 실행기가 SPARK 애플리케이션 내의 이러한 REPL 코어에서 실행되는 이러한 Notebook에 FAIR 기반 방식으로 할당될 때마다 고갈 시나리오를 방지합니다.

관련 콘텐츠

• Notebook에서 높은 동시성 모드를 시작하려면 Fabric Notebook에 대한 높은 동시성 모드 구성을 참조 하세요.