Scala용 Databricks 커넥트 제한 사항
참고 항목
이 문서에서는 Databricks Runtime 13.3 LTS 이상에 대한 Databricks 커넥트 설명합니다.
이 문서에서는 Scala용 Databricks 커넥트 제한 사항을 나열합니다. Databricks 커넥트 사용하면 인기 있는 IDE, Notebook 서버 및 사용자 지정 애플리케이션을 Azure Databricks 클러스터에 연결할 수 있습니다. Databricks 커넥트란?을 참조하세요. 이 문서의 Python 버전은 Python용 Databricks 커넥트 대한 제한 사항을 참조하세요.
Databricks Runtime 13.3 LTS 이하의 Databricks 커넥트 사용할 수 없습니다.
- 스트리밍
foreachBatch
- 128MB보다 큰 DataFrame 만들기
- 3600초가 넘는 긴 쿼리
- 단일 사용자 클러스터 액세스 모드를 사용하는 클러스터의 스칼라 UDF
사용할 수 없음:
- Databricks 유틸리티:
credentials
,library
,notebook workflow
widgets
SparkContext
RDDs
- MLflow 모델 유추:
pyfunc.spark_udf()
API - 모자이크 지리 공간
CREATE TABLE <table-name> AS SELECT
(대신 사용spark.sql("SELECT ...").write.saveAsTable("table")
)- log4j 로그 수준 변경
SparkContext
- 분산 ML 학습
- 로컬 개발 환경을 원격 클러스터와 동기화