Python용 Databricks Connect의 제한 사항
참고 항목
이 문서에서는 Databricks Runtime 13.3 LTS 이상에 대한 Databricks Connect에 대해 설명합니다.
이 문서에서는 Python용 Databricks Connect의 제한 사항을 나열합니다. Databricks Connect를 사용하면 인기 있는 IDE, Notebook 서버 및 사용자 지정 애플리케이션을 Azure Databricks 클러스터에 연결할 수 있습니다. Databricks Connect란?을 참조하세요. 이 문서의 Scala 버전은 Scala용 Databricks Connect의 제한 사항을 참조하세요.
Databricks Runtime 13.3 LTS 이하의 Databricks Connect에서는 사용할 수 없습니다.
- 스트리밍
foreachBatch
- 128MB보다 큰 DataFrame 만들기
- 3600초가 넘는 긴 쿼리
사용할 수 없음:
- 데이터 세트 API
- 데이터 세트 형식 API(예:
reduce()
및flatMap()
) - Databricks 유틸리티:
credentials
,library
,notebook workflow
widgets
SparkContext
RDDs
- MLflow 모델 유추:
pyfunc.spark_udf()
API - 모자이크 지리 공간
CREATE TABLE <table-name> AS SELECT
(대신 사용spark.sql("SELECT ...").write.saveAsTable("table")
)ApplyinPandas()
공유Cogroup()
클러스터를 사용하는 경우- log4j 로그 수준 변경
SparkContext
- 분산 ML 학습
- 로컬 개발 환경을 원격 클러스터와 동기화
피드백
https://aka.ms/ContentUserFeedback
출시 예정: 2024년 내내 콘텐츠에 대한 피드백 메커니즘으로 GitHub 문제를 단계적으로 폐지하고 이를 새로운 피드백 시스템으로 바꿀 예정입니다. 자세한 내용은 다음을 참조하세요.다음에 대한 사용자 의견 제출 및 보기