다음을 통해 공유

Scala용 Databricks 커넥트 제한 사항

  • 아티클

참고 항목

이 문서에서는 Databricks Runtime 13.3 LTS 이상에 대한 Databricks 커넥트 설명합니다.

이 문서에서는 Scala용 Databricks 커넥트 제한 사항을 나열합니다. Databricks 커넥트 사용하면 인기 있는 IDE, Notebook 서버 및 사용자 지정 애플리케이션을 Azure Databricks 클러스터에 연결할 수 있습니다. Databricks 커넥트란?을 참조하세요. 이 문서의 Python 버전은 Python용 Databricks 커넥트 대한 제한 사항을 참조하세요.

Databricks Runtime 13.3 LTS 이하의 Databricks 커넥트 사용할 수 없습니다.

  • 스트리밍 foreachBatch
  • 128MB보다 큰 DataFrame 만들기
  • 3600초가 넘는 긴 쿼리
  • 단일 사용자 클러스터 액세스 모드를 사용하는 클러스터의 스칼라 UDF

사용할 수 없음:

  • Databricks 유틸리티: credentials, library, notebook workflowwidgets
  • SparkContext
  • RDDs
  • MLflow 모델 유추: pyfunc.spark_udf() API
  • 모자이크 지리 공간
  • CREATE TABLE <table-name> AS SELECT (대신 사용 spark.sql("SELECT ...").write.saveAsTable("table"))
  • log4j 로그 수준 변경 SparkContext
  • 분산 ML 학습
  • 로컬 개발 환경을 원격 클러스터와 동기화