다음을 통해 공유

서버리스 컴퓨팅 제한 사항

이 문서에서는 Notebook 및 작업에 대한 서버리스 컴퓨팅의 현재 제한 사항을 설명합니다. 가장 중요한 고려 사항에 대한 개요로 시작한 다음, 포괄적인 제한 사항 참조 목록을 제공합니다.

일반적인 제한 사항

새 워크로드를 만들거나 서버리스 컴퓨팅으로 워크로드를 마이그레이션하기 전에 먼저 다음 제한 사항을 고려합니다.

  • R은 지원되지 않습니다.
  • Spark Connect API만 지원됩니다. Spark RDD API는 지원되지 않습니다.
  • 서버리스 컴퓨팅에서 사용되는 Spark Connect는 분석 및 이름 확인을 실행 시간으로 연기하여 코드의 동작을 변경할 수 있습니다. Spark Connect와 Spark 클래식 비교를 참조하세요.
  • ANSI SQL은 SQL을 작성할 때 기본값입니다. spark.sql.ansi.enabled을 false로 설정 하여 ANSI 모드를 옵트아웃합니다.
  • Databricks Container Services 는 지원되지 않습니다.
  • Unity 카탈로그를 사용하여 외부 데이터 원본에 연결해야 합니다. 외부 위치를 사용하여 클라우드 스토리지에 액세스합니다.
  • UDF(사용자 정의 함수)는 인터넷에 액세스할 수 없습니다. 이 때문에 CREATE FUNCTION(외부) 명령은 지원되지 않습니다. Databricks는 CREATE FUNCTION(SQL 및 Python) 사용하여 UDF를 만드는 것이 좋습니다.
  • UDF map와 같은 사용자 정의 사용자 지정 코드 및 mapPartitions메모리 사용량은 1GB를 초과할 수 없습니다.
  • 를 사용하여 spark.createDataFrame로컬 데이터에서 DataFrame을 만들 때 행 크기는 128MB를 초과할 수 없습니다.
  • Spark UI를 사용할 수 없습니다. 대신 쿼리 프로필을 사용하여 Spark 쿼리에 대한 정보를 봅니다. 쿼리 프로필을 참조하세요.
  • Spark 로그를 사용할 수 없습니다. 사용자는 클라이언트 쪽 애플리케이션 로그에만 액세스할 수 있습니다.
  • 작업 영역 간 액세스는 작업 영역이 동일한 지역에 있고 대상 작업 영역에 IP ACL 또는 프런트 엔드 PrivateLink가 구성되어 있지 않은 경우에만 허용됩니다.
  • 전역 임시 보기는 지원되지 않습니다. Databricks는 세션 임시 뷰 사용하거나 세션 간 데이터 전달이 필요한 테이블을 만드는 것이 좋습니다.
  • Maven 좌표는 지원되지 않습니다.
  • DBFS에 대한 액세스는 제한됩니다. 대신 Unity 카탈로그 볼륨 또는 작업 영역 파일을 사용합니다.

스트리밍 제한 사항

Notebook 제한 사항

  • Scala 및 R은 Notebook에서 지원되지 않습니다.
  • JAR 라이브러리는 Notebook에서 지원되지 않습니다. 해결 방법은 서버리스 컴퓨팅 모범 사례를 참조하세요. 작업 내 JAR 태스크가 지원됩니다. 작업을 위한 JAR 태스크를 참조하세요.
  • 노트북 범위의 라이브러리는 세션 간 개발 시 캐시되지 않습니다.
  • 사용자 간에 전자 필기장을 공유할 때 TEMP 테이블 및 뷰 공유는 지원되지 않습니다.
  • Notebook의 데이터 프레임에 대한 자동 완성 및 변수 탐색기는 지원되지 않습니다.
  • 기본적으로 새 Notebook은 형식으로 .ipynb 저장됩니다. Notebook을 원본 형식으로 저장하면 서버리스 메타데이터가 올바르게 캡처되지 않을 수 있으며 일부 기능이 예상대로 작동하지 않을 수 있습니다.
  • Notebook 태그는 지원되지 않습니다. 서버리스 예산 정책을 사용하여 서버리스 사용에 태그를 추가합니다.

작업 제한 사항

  • 작업 로그는 작업 실행별로 격리되지 않습니다. 로그에는 여러 작업의 출력이 포함됩니다.
  • Notebook 작업에는 작업 라이브러리가 지원되지 않습니다. 대신 노트북 범위 라이브러리를 사용합니다. 노트북 범위의 Python 라이브러리를 참조하세요.
  • 기본적으로 서버리스 작업에는 쿼리 실행 시간 제한이 없습니다. 속성을 사용하여 spark.databricks.execution.timeout 작업 쿼리에 대한 실행 시간 제한을 설정할 수 있습니다. 자세한 내용은 서버리스 Notebook 및 작업에 대한 Spark 속성 구성을 참조하세요.

컴퓨팅 관련 제한 사항

다음 컴퓨팅 관련 기능은 지원되지 않습니다.

캐싱 제한 사항

Hive 제한 사항

  • Hive SerDe 테이블 지원되지 않습니다. 또한 Hive SerDe 테이블에 데이터를 로드하는 해당 LOAD DATA 명령은 지원되지 않습니다. 명령을 사용하면 예외가 발생합니다.

    데이터 원본에 대한 지원은 AVRO, BINARYFILE, CSV, DELTA, JSON, KAFKA, ORC, PARQUET, ORC, TEXT, XML로 제한됩니다.

  • Hive 변수(예를 들어 ${env:var}, ${configName}, ${system:var}, 및 spark.sql.variable) 또는 ${var} 구문을 사용한 구성 변수 참조는 지원되지 않습니다. Hive 변수를 사용하면 예외가 발생합니다.

    대신, SQL DECLARE VARIABLESET VARIABLE 및 매개 변수 표식('?', 또는 ':var')을 사용하여 세션 상태를 선언, 수정 및 참조합니다. IDENTIFIER 절 사용하여 많은 경우에 개체 이름을 매개 변수화할 수도 있습니다.

지원되는 데이터 원본

서버리스 컴퓨팅은 DML 작업(쓰기, 업데이트, 삭제)에 대해 다음 데이터 원본을 지원합니다.

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG

서버리스 컴퓨팅은 읽기 작업에 대해 다음 데이터 원본을 지원합니다.

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG
  • MYSQL
  • POSTGRESQL
  • SQLSERVER
  • REDSHIFT
  • SNOWFLAKE
  • SQLDW (Azure Synapse)
  • DATABRICKS
  • BIGQUERY
  • ORACLE
  • SALESFORCE
  • SALESFORCE_DATA_CLOUD
  • TERADATA
  • WORKDAY_RAAS
  • MONGODB
  • Last updated on