Caution
Azure Synapse Runtime for Apache Spark 3.4는 2026년 3월 31일에 지원이 종료되었습니다. 기존 워크로드는 이 날짜 이후에도 제한된 기간 동안 계속 실행할 수 있지만, 런타임은 더 이상 지원되지 않으며 버그 수정, 보안 업데이트, 취약점 복구를 더 이상 받지 않습니다. 그 결과, Spark 3.4에서 실행되는 워크로드는 시간이 지남에 따라 운영 및 보안 위험이 증가함에 노출됩니다.
또한, Spark 3.4 작업의 단계적 비활성화가 곧 시작될 예정이며, Spark 3.4 작업이 앞으로도 계속 운영될 것이라는 보장은 없습니다. 중단을 최소화하고 지원되는 플랫폼에 머무르려면, Apache Spark 3.4 기반 워크로드를 가능한 한 빨리 Azure Synapse Runtime for Apache Spark 3.5 또는 Fabric Runtime 2.0으로 이전하세요.
우리는 Apache Spark 4.1과 Delta Lake 4.2를 포함하고 성능, 안정성, 보안 측면에서 크게 개선된 Fabric Runtime 2.0으로의 마이그레이션을 우선시할 것을 강력히 권장합니다.
Azure Synapse Analytics는 Apache Spark에 다양한 런타임을 지원합니다. 이 문서에서는 Apache Spark 3.4용 Azure Synapse 런타임에 대한 런타임 구성 요소 및 버전을 설명합니다.
구성 요소 버전
| 구성 요소 | 버전 |
|---|---|
| Apache Spark | 3.4.1 |
| 운영 체제 | 마리너 2.0 |
| 자바 | 11 |
| 스칼라 | 2.12.17 |
| 델타 호수 | 2.4.0 |
| 파이썬 | 3.10 |
| R 프로그래밍 언어 | 4.2.2 |
팁
최신 정보, 자세한 변경 내용 목록 및 Spark 런타임에 대한 특정 릴리스 정보는 Spark 런타임 릴리스 및 업데이트를 확인하고 구독 합니다.
라이브러리
Java/Scala용 Apache Spark 3.4용 Azure Synapse Runtime에 포함된 라이브러리를 확인하려면 Python 및 R에서 Apache Spark 3.4 릴리스 정보용 Azure Synapse Runtime으로 이동합니다.
팁
spark.memoryOverheadFactor.preferred: true로 설정하면 Spark는 spark.driver.memoryOverhead와 spark.executor.memoryOverhead가 명시적으로 정의한 값보다 spark.driver.memoryOverhead와 spark.executor.memoryOverhead를 우선시합니다. 활성화되면 오버헤드는 항상 팩터를 사용해 계산되며, 명시적인 오버헤드 설정은 무시됩니다. 기본값은 하위 호환성을 위해 false입니다.