서버리스 컴퓨팅 릴리스 정보

  • 아티클

Important

이 기능은 공개 미리 보기 상태입니다. 자격 및 사용 설정에 대한 자세한 내용은 서버리스 컴퓨팅 공개 미리 보기 사용을 참조하세요.

이 문서에서는 Notebook 및 워크플로에 대한 서버리스 컴퓨팅에서 현재 사용 가능하고 예정된 기능과 동작에 대해 설명합니다.

Databricks는 서버리스 컴퓨팅에 대한 업데이트를 주기적으로 릴리스합니다. 모든 사용자는 짧은 기간 동안 롤아웃된 동일한 업데이트를 받습니다. 릴리스 롤아웃 방법을 참조 하세요.

예정된 동작 변경

이 섹션에서는 다음 서버리스 컴퓨팅 버전에서 제공되는 동작 변경 내용을 강조 표시합니다. 변경 내용이 프로덕션으로 푸시되면 릴리스 정보에 추가됩니다.

릴리스 정보

이 섹션에는 서버리스 컴퓨팅에 대한 릴리스 정보가 포함되어 있습니다. 릴리스 정보는 연도 및 주별로 구성됩니다. 서버리스 컴퓨팅은 항상 여기에 나열된 가장 최근에 릴리스된 버전을 사용하여 실행됩니다.

서버리스 컴퓨팅 버전 2024.15

2024년 4월 15일

서버리스 컴퓨팅 버전 2024.15가 프로덕션으로 릴리스되었습니다. 이는 서버리스가 아닌 일부 기능 및 레거시 기능에 대한 지원을 제거하는 일부 수정 사항이 포함된 Databricks Runtime 14.3에 해당하는 초기 서버리스 컴퓨팅 버전입니다.

이 버전에는 다음 업데이트가 포함됩니다.

Spark 구성이 지원되지 않음

서버리스 컴퓨팅에서 Spark 구성을 자동화하기 위해 Databricks는 대부분의 Spark 구성에 대한 지원을 제거했습니다. Spark 구성에서만 설정할 spark.sql.legacy.timeParserPolicyspark.sql.session.timeZone 수 있습니다.

다른 Spark 구성을 시도하면 실행되지 않습니다.

API 및 SQL 명령 캐싱이 지원되지 않음

데이터 프레임 및 SQL 캐시 API의 사용은 지원되지 않습니다. 이러한 API 또는 SQL 명령을 사용하면 예외가 발생합니다.

지원되지 않는 API:

지원되지 않는 SQL 명령:

전역 임시 보기가 지원되지 않음

전역 임시 뷰 만들기는 지원되지 않습니다. 다음 명령 중 하나를 사용하면 예외가 발생합니다.

대신 Databricks는 세션 임시 뷰를 사용하거나 세션 간 데이터 전달이 필요한 테이블을 만드는 것이 좋습니다.

CREATE FUNCTION(외부)이 지원되지 않음

CREATE FUNCTION(외부) 명령은 지원되지 않습니다. 이 명령을 사용하면 예외가 발생합니다.

대신 Databricks는 CREATE FUNCTION(SQL 및 Python)을 사용하여 UDF를 만드는 것이 좋습니다.

Hive SerDe 테이블이 지원되지 않음

Hive SerDe 테이블 은 지원되지 않습니다. 또한 Hive SerDe 테이블에 데이터를 로드하는 해당 LOAD DATA 명령은 지원되지 않습니다. 명령을 사용하면 예외가 발생합니다.

데이터 원본에 대한 지원은 AVRO, BINARYFILE, CSV, DELTA, JSON, KAFKA, ORC, PARQUET, ORC, TEXT 및 XML로 제한됩니다.

Hive 변수가 지원되지 않음

구문을 사용하는 Hive 변수(예${env:var}: , ${configName}${system:var}및spark.sql.variable) 또는 구성 변수 참조는 지원되지 않습니다.${var} Hive 변수를 사용하면 예외가 발생합니다.

대신 DECLARE VARIABLE, SET VARIABLE 및 SQL 세션 변수 참조 및 매개 변수 표식('?', ':var')을 사용하여 세션 상태를 선언, 수정 및 참조합니다. IDENTIFIER 절을 사용하여 많은 경우에 개체 이름을 매개 변수화할 수도 있습니다.

input_file 함수는 더 이상 사용되지 않습니다.

input_file_name(), input_file_block_length()및 input_file_block_start() 함수는 더 이상 사용되지 않습니다. 이러한 함수를 사용하는 것은 매우 권장되지 않습니다.

대신 파일 메타데이터 열을 사용하여 파일 메타데이터 정보를 검색합니다.

동작 변경 내용

서버리스 컴퓨팅 버전 2024.15에는 다음과 같은 동작 변경 내용이 포함됩니다.

  • unhex(hexStr) 버그 수정: 함수를 unhex(hexStr) 사용하는 경우 hexStr은 항상 전체 바이트에 왼쪽으로 패딩됩니다. 이전에는 unhex 함수가 처음 반바이트 바이트를 무시했습니다. 예: unhex('ABC') 이제 .x'0ABC'x'BC'
  • 자동 생성된 열 별칭은 이제 안정적입니다. 사용자가 지정한 열 별칭 없이 식의 결과를 참조하면 이 자동 생성된 별칭은 이제 안정적입니다. 새 알고리즘으로 인해 구체화된 뷰와 같은 기능에 사용된 이전에 자동 생성된 이름이 변경될 수 있습니다.
  • 이제 형식 필드가 있는 CHAR 테이블 검색은 항상 패딩됩니다 . 델타 테이블, 특정 JDBC 테이블 및 외부 데이터 원본은 CHAR 데이터를 패딩되지 않은 형식으로 저장합니다. 이제 데이터를 읽을 때 Databricks는 올바른 의미 체계를 보장하기 위해 선언된 길이에 공백이 있는 데이터를 패딩합니다.
  • BIGINT/DECIMAL에서 TIMESTAMP로 캐스팅하면 오버플로된 값 에 대한 예외가 throw됩니다. Databricks를 사용하면 값을 Unix epoch의 초 수로 처리하여 BIGINT 및 DECIMAL에서 TIMESTAMP로 캐스팅할 수 있습니다. 이전에는 Databricks가 오버플로된 값을 반환했지만 이제 오버플로의 경우 예외를 throw합니다. 예외 대신 NULL을 반환하는 데 사용합니다 try_cast .
  • PySpark UDF 실행이 단일 사용자 컴퓨팅에서 UDF 실행의 정확한 동작과 일치하도록 개선되었습니다. 다음과 같이 변경되었습니다.
    • 문자열 반환 형식이 있는 UDF는 더 이상 문자열이 아닌 값을 문자열로 암시적으로 변환하지 않습니다. 이전에는 반환 형식이 있는 UDF가 반환된 값의 str 실제 데이터 형식에 관계없이 결과에 래퍼를 적용 str(..) 했습니다.
    • 반환 형식이 있는 timestamp UDF는 더 이상 타임스탬프에 표준 시간대 변환을 암시적으로 적용하지 않습니다.

시스템 환경

서버리스 컴퓨팅에는 다음 시스템 환경이 포함됩니다.

  • 운영 체제: Ubuntu 22.04.3 LTS
  • Python: 3.10.12
  • 델타 레이크: 3.1.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 astunparse 1.6.3 attrs 22.1.0
backcall 0.2.0 beautifulsoup4 4.11.1 검정색 22.6.0
bleach 4.1.0 blinker 1.4 boto3 1.24.28
botocore 1.27.96 cachetools 5.3.2 certifi 2022.12.7
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
에서 8.0.4 comm 0.1.2 contourpy 1.0.5
암호화 39.0.1 cycler 0.11.0 Cython 0.29.32
databricks-connect 14.3.1 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.8 docstring-to-markdown 0.11 entrypoints 0.4
실행 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 fonttools 4.25.0 google-auth 2.28.1
googleapis-common-protos 1.62.0 grpcio 1.62.0 grpcio-상태 1.62.0
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipyflow-core 0.0.198 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 jedi 0.18.1
jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 jsonschema 4.17.3 jupyter-client 7.3.4
jupyter-server 1.23.4 jupyter_core 5.2.0 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 Keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lxml 4.9.1 MarkupSafe 2.1.1 matplotlib 3.7.0
matplotlib-inline 0.1.6 mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclassic 0.5.2
nbclient 0.5.13 nbconvert 6.5.4 nbformat 5.7.0
nest-asyncio 1.5.6 nodeenv 1.8.0 Notebook 6.5.2
notebook_shim 0.2.2 numpy 1.23.5 oauthlib 3.2.0
패키징 23.2 pandas 1.5.3 pandocfilters 1.5.0
parso 0.8.3 pathspec 0.10.3 patsy 0.5.3
pexpect 4.8.0 pickleshare 0.7.5 Pillow 9.4.0
pip 22.3.1 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 4.25.3 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py4j 0.10.9.7
pyarrow 8.0.0 pyarrow-hotfix 0.5 pyasn1 0.5.1
pyasn1-modules 0.3.0 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 rsa 4.9
s3transfer 0.6.2 scikit-learn 1.1.1 scipy 1.10.0
seaborn 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
setuptools 65.6.3 six 1.16.0 sniffio 1.2.0
soupsieve 2.3.2.post1 ssh-import-id 5.11 stack-data 0.2.0
statsmodels 0.13.5 tenacity 8.1.0 terminado 0.17.1
threadpoolctl 2.2.0 tinycss2 1.2.1 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.7.1
typing_extensions 4.4.0 ujson 5.4.0 unattended-upgrades 0.1
urllib3 1.26.14 virtualenv 20.16.7 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 0.58.0
whatthepatch 1.0.2 wheel 0.38.4 widgetsnbextension 3.6.1
yapf 0.33.0 Zipp 1.0.0

제한 사항

서버리스 컴퓨팅은 공유 컴퓨팅 아키텍처를 기반으로 합니다. 공유 컴퓨팅에서 상속된 가장 중요한 제한 사항은 서버리스 관련 추가 제한 사항과 함께 아래에 나열되어 있습니다. 공유 컴퓨팅 제한 사항의 전체 목록은 Unity 카탈로그에 대한 컴퓨팅 액세스 모드 제한을 참조 하세요.

일반적인 제한 사항

  • Scala 및 R은 지원되지 않습니다.
  • SQL을 작성할 때는 ANSI SQL만 지원됩니다.
  • Spark RDD API는 지원되지 않습니다.
  • Spark 컨텍스트(sc) spark.sparkContext및 sqlContext 지원되지 않습니다.
  • DBFS에 액세스할 수 없습니다.
  • Databricks Container Services는 지원되지 않습니다.
  • 웹 터미널은 지원되지 않습니다.
  • 구조적 스트리밍 쿼리는 쿼리가 완료되도록 호출 query.awaitTermination() 해야 합니다.
  • 쿼리는 48시간 이상 실행할 수 없습니다.
  • Unity 카탈로그를 사용하여 외부 데이터 원본에 연결해야 합니다. 외부 위치를 사용하여 클라우드 스토리지에 액세스합니다.
  • 데이터 원본에 대한 지원은 AVRO, BINARYFILE, CSV, DELTA, JSON, KAFKA, ORC, PARQUET, ORC, TEXT 및 XML로 제한됩니다.
  • UDF(사용자 정의 함수)는 인터넷에 액세스할 수 없습니다.
  • 개별 행은 최대 크기 128MB를 초과해서는 안 됩니다.
  • Spark UI를 사용할 수 없습니다. 대신 쿼리 프로필을 사용하여 Spark 쿼리에 대한 정보를 봅니다. 쿼리 프로필을 참조하세요.

기계 학습 제한 사항

Notebook 제한 사항

  • Notebook은 구성할 수 없는 8GB 메모리에 액세스할 수 있습니다.
  • Notebook 범위 라이브러리는 개발 세션 간에 캐시되지 않습니다.
  • 사용자 간에 전자 필기장을 공유할 때 TEMP 테이블 및 뷰 공유는 지원되지 않습니다.
  • Notebook의 데이터 프레임에 대한 자동 완성 및 변수 탐색 기는 지원되지 않습니다.

워크플로 제한 사항

  • 워크플로에 대한 서버리스 컴퓨팅의 드라이버 크기는 현재 고정되어 있으며 변경할 수 없습니다.
  • 작업 로그는 작업 실행당 격리되지 않습니다. 로그에는 여러 작업의 출력이 포함됩니다.
  • Notebook 작업에는 작업 라이브러리가 지원되지 않습니다. 대신 Notebook 범위 라이브러리를 사용합니다. Notebook 범위의 Python 라이브러리를 참조하세요.

컴퓨팅 관련 제한 사항

다음 컴퓨팅 관련 기능은 지원되지 않습니다.

  • 컴퓨팅 정책
  • 컴퓨팅 범위 init 스크립트
  • 사용자 지정 데이터 원본 및 Spark 확장을 비롯한 컴퓨팅 범위 라이브러리. 대신 Notebook 범위 라이브러리를 사용합니다.
  • 인스턴스 프로필을 포함한 컴퓨팅 수준 데이터 액세스 구성 따라서 클라우드 경로 또는 포함된 자격 증명이 없는 DBFS 탑재를 사용하여 HMS를 통해 테이블 및 파일에 액세스하는 것은 작동하지 않습니다.
  • 인스턴스 풀
  • 컴퓨팅 이벤트 로그
  • Apache Spark 컴퓨팅 구성 및 환경 변수

질문과 대답(FAQ)

릴리스는 어떻게 롤아웃되는가?

서버리스 컴퓨팅은 버전이 없는 제품입니다. 즉, Databricks는 서버리스 컴퓨팅 런타임을 자동으로 업그레이드하여 플랫폼에 대한 향상된 기능과 업그레이드를 지원합니다. 모든 사용자는 짧은 기간 동안 롤아웃된 동일한 업데이트를 받습니다.

실행 중인 버전을 확인할 어떻게 할까요? 있나요?

서버리스 워크로드는 항상 최신 런타임 버전에서 실행됩니다. 최신 버전에 대한 릴리스 정보를 참조하세요.