다음을 통해 공유

Python용 Databricks 커넥트 제한 사항

  • 아티클

참고 항목

이 문서에서는 Databricks Runtime 13.0 이상용 Databricks 커넥트 대해 설명합니다.

이 문서에서는 Python용 Databricks 커넥트 제한 사항을 나열합니다. Databricks 커넥트 사용하면 인기 있는 IDE, Notebook 서버 및 사용자 지정 애플리케이션을 Azure Databricks 클러스터에 연결할 수 있습니다. Databricks 커넥트란?을 참조하세요. 이 문서의 Scala 버전은 Scala용 Databricks 커넥트 대한 제한 사항을 참조하세요.

Databricks Runtime 13.3 LTS 이하의 Databricks 커넥트 사용할 수 없습니다.

  • 스트리밍 foreachBatch
  • 128MB보다 큰 DataFrame 만들기
  • 3600초가 넘는 긴 쿼리

Databricks Runtime 13.0용 Databricks 커넥트 사용할 수 없습니다.

  • UDF
  • Pandas UDF
  • Spark의 Pandas
  • 스트리밍(제외 foreachBatch)
  • Databricks 유틸리티: fsls 및secrets
  • OAuth
  • ApplyinPandas() 단일 Cogroup() 사용자 클러스터 사용

사용할 수 없음:

  • 데이터 세트 API
  • 데이터 세트 형식 API(예: reduce() 및 flatMap())
  • Databricks 유틸리티: credentials, library, notebook workflowwidgets
  • SparkContext
  • RDDs
  • MLflow 모델 유추: pyfunc.spark_udf() API
  • 모자이크 지리 공간
  • CREATE TABLE <table-name> AS SELECT (대신 사용 spark.sql("SELECT ...").write.saveAsTable("table"))
  • ApplyinPandas() 공유 Cogroup() 클러스터를 사용하는 경우
  • log4j 로그 수준 변경 SparkContext
  • 분산 ML 학습
  • 로컬 개발 환경을 원격 클러스터와 동기화