알려진 문제 - Fabric 런타임 1.3으로 인해 잘못된 라이브러리가 발생함
Fabric 런타임 1.3은 Apache Spark 3.5를 통합합니다. Spark 3.5는 2024년 8월 15일에 주요 업데이트를 릴리스하여 Fabric 환경에 설치된 사용자 지정 라이브러리가 유효하지 않습니다. 잘못된 환경을 사용하는 경우 Notebook 및 Spark 작업 정의 세션을 시작하지 못합니다.
상태: 열기
제품 환경: 데이터 엔지니어링
증상
Fabric 런타임 1.3 환경의 새 Notebook 또는 Spark 작업 정의 세션이 실행되면 Spark_Ambiguous_SparkSubmit_PersonalizationFailed 오류와 함께 Spark 세션의 시작이 실패합니다.
솔루션 및 해결 방법
해당 문제를 해결하려면 다음 단계를 따르세요.
- 작업 영역에서 런타임 1.3을 사용하여 환경 인스턴스로 이동합니다.
- 라이브러리 종속성에 따라 필요에 따라 라이브러리 섹션을 변경합니다.
- 환경을 저장하고 다시 게시합니다. 환경은 Spark 3.5 런타임의 최신 업데이트로 다시 빌드됩니다.