패브릭 런타임 1.3(GA)
Fabric 런타임은 Azure와 원활하게 통합됩니다. Apache Spark를 사용하는 데이터 엔지니어링 및 데이터 과학 프로젝트 모두를 위한 정교한 환경을 제공합니다. 이 문서에서는 빅 데이터 계산을 위한 최신 런타임인 Fabric Runtime 1.3의 필수 기능 및 구성 요소에 대한 개요를 제공합니다.
Microsoft Fabric 런타임 1.3은 최신 GA 런타임 버전이며 데이터 처리 기능을 향상시키기 위해 설계된 다음 구성 요소 및 업그레이드를 통합합니다.
- Apache Spark 3.5
- 운영 체제: Mariner 2.0
- Java: 11
- Scala: 2.12.17
- Python: 3.11
- 델타 레이크: 3.2
- R: 4.4.1
팁
패브릭 런타임 1.3에는 추가 비용 없이 성능을 크게 향상시킬 수 있는 네이티브 실행 엔진에 대한 지원이 포함되어 있습니다. 환경의 모든 작업 및 Notebook에서 네이티브 실행 엔진을 사용하도록 설정하려면 환경 설정으로 이동하고, Spark 컴퓨팅을 선택하고, 가속 탭으로 이동하고, 네이티브 실행 엔진 사용을 선택합니다. 저장 및 게시 후 이 설정은 환경 전체에 적용되므로 모든 새 작업 및 Notebook이 향상된 성능 기능을 자동으로 상속하고 이점을 누릴 수 있습니다.
다음 지침을 사용하여 런타임 1.3을 작업 영역에 통합하고 새 기능을 사용합니다.
- Fabric 작업 영역 내의 작업 영역 설정 탭으로 이동합니다.
- 데이터 엔지니어/과학 탭으로 이동하여 Spark 설정을 선택합니다.
- 환경 탭을 선택합니다.
- 런타임 버전에서 드롭다운을 확장합니다.
- 1.3(Spark 3.5, Delta 3.2)을 선택하고 변경 내용을 저장합니다. 이 작업은 1.3을 작업 영역의 기본 런타임으로 설정합니다.
이제 Fabric 런타임 1.3(Spark 3.5 및 Delta Lake 3.2)에 도입된 최신 개선 사항 및 기능으로 작업을 시작할 수 있습니다.
Apache Spark 3.5.0 은 3.x 시리즈의 여섯 번째 버전입니다. 이 버전은 Jira에 기록된 1,300개 이상의 문제를 해결하는 오픈 소스 커뮤니티 내에서 광범위한 공동 작업의 산물입니다.
이 버전에서는 구조화된 스트리밍에 대한 호환성이 업그레이드되었습니다. 또한 이 릴리스는 PySpark 및 SQL 내의 기능을 확장합니다. SQL 식별자 절, SQL 함수 호출의 명명된 인수 및 HyperLogLog 대략적인 집계에 대한 SQL 함수 포함과 같은 기능을 추가합니다. 다른 새로운 기능에는 Python 사용자 정의 테이블 함수, DeepSpeed를 통한 분산 학습 간소화, 워터마크 전파 및 dropDuplicatesWithinWatermark 작업과 같은 새로운 구조적 스트리밍 기능도 포함됩니다.
여기에서 전체 목록 및 자세한 변경 내용을 https://spark.apache.org/releases/spark-release-3-5-0.html에서 확인할 수 있습니다.
Delta Lake 3.2는 Delta Lake를 형식 간에 상호 운용 가능하고, 작업하기 쉽고, 성능이 향상되도록 하기 위한 공동의 노력을 표시합니다. Delta Spark 3.2는 Apache Spark™ 3.5를 기반으로 합니다. Delta Spark maven 아티팩트 이름이 delta-core에서 delta-spark로 변경되었습니다.
여기에서 전체 목록 및 자세한 변경 내용을 https://docs.delta.io/3.2.0/index.html에서 확인할 수 있습니다.
팁
최신 정보, 자세한 변경 내용 목록 및 Fabric 런타임에 대한 특정 릴리스 정보는 Spark 런타임 릴리스 및 업데이트를 확인하고 구독 합니다.