Databricks Runtime 6.0(지원되지 않음)

아티클
03/01/2024

Databricks는 2019년 10월에 이 이미지를 릴리스했습니다.

다음 릴리스 정보는 Apache Spark에서 제공하는 Databricks Runtime 6.0에 대해 설명합니다.

새로운 기능

Python 환경

Databricks Runtime 6.0에는 Python을 3.7.3으로 업그레이드하고 설치된 Python 패키지 목록을 구체화하고 설치된 패키지를 최신 버전으로 업그레이드하는 등 Python 및 Python 환경 구성 방식에 대한 주요 변경 사항이 포함되어 있습니다. 자세한 내용은 설치된 Python 라이브러리를 참조하세요.

또한 이전에 발표된 대로 Databricks Runtime 6.0은 Python 2를 지원하지 않습니다.

주요 변경 내용은 다음과 같습니다.

Python을 3.5.2에서 3.7.3으로 업그레이드했습니다. 일부 이전 버전의 Python 패키지는 Python 3.7과 호환되지 않는 이전 버전의 Cython에 의존하므로 Python 3.7과 호환되지 않을 수 있습니다. 이러한 패키지를 설치하면 ‘PyThreadState’ {‘struct _ts’} has no member named ‘exc_type’과 유사한 오류가 발생할 수 있습니다(자세한 내용은 GitHub 문제 1978 참조). 대신 Python 3.7 호환 버전의 Python 패키지를 설치합니다.
주요 패키지 업그레이드:
- boto3를 1.9.162로
- ipython을 7.4.0으로
- matplotlib을 3.0.3으로
- numpy를 1.16.2로
- pandas를 0.24.2
- pyarrow를 0.13.0으로
Databricks Runtime 5.5 LTS(지원되지 않음)와 비교하여 asn1crypto, backcall, jedi, kiwisolver, parso 및 PySocks와 같은 Python 패키지가 새로 포함됩니다.
Databricks Runtime 5.5 LTS(지원되지 않음)와 비교하여 ansi2html, brewer2mpl, colorama, configobj, enum34, et-xmlfile, freetype-py, funcsigs, fusepy, ggplot, html5lib, ipaddress, jdcal, Jinja2, llvmlite, lxml, Markup금고, mpld3, msgpack-python, ndg-httpsclient, numba, openpyxl, pathlib2, Pillow, ply, pyasn1, pypng, python-geohash, scour, simplejson 및 singledispatch.
Python ggplot 개체의 display 함수는 ggplot 패키지가 최신 버전의 pandas와 호환되지 않기 때문에 더 이상 지원되지 않습니다.
Databricks Runtime 6.0은 Python 2를 지원하지 않으므로 PYSPARK_PYTHON을 /databricks/python2/bin/python로 설정하는 것은 지원되지 않습니다. 이러한 설정이 있는 클러스터는 여전히 시작할 수 있습니다. 그러나 Python Notebook 및 Python 명령은 작동하지 않습니다. 즉, Python 명령 셀이 “취소됨” 오류로 실패하고 드라이버 로그에 Python shell failed to start 오류가 표시됩니다.
PYSPARK_PYTHON이 Virtualenv에서 관리하는 환경에 있는 Python 실행 파일을 가리키는 경우 이 환경은 초기화 스크립트 및 Notebook에 대해 활성화됩니다. 이러한 명령의 절대 위치를 지정할 필요 없이 활성화된 환경에 직접 정의된 python 및 pip 명령을 사용할 수 있습니다. 기본적으로 PYSPARK_PYTHON는 /databricks/python3/bin/python로 설정됩니다. 따라서 기본적으로 python은 /databricks/python3/bin/python를 가리키고 pip은 초기화 스크립트 및 Notebook에 대해 /databricks/python3/bin/pip를 가리킵니다. PYSPARK_PYTHON이 Virtualenv에서 관리하는 환경에 없는 Python 실행 파일을 가리키거나 PYSPARK_PYTHON로 지정된 Python을 생성하기 위해 초기화 스크립트를 작성하는 경우 절대 경로를 사용하여 올바른 python 및 pip에 액세스해야 합니다. Python 라이브러리 격리를 사용하도록 설정하면(기본적으로 사용하도록 설정됨) 활성화된 환경은 여전히 PYSPARK_PYTHON과 연결된 환경입니다. 라이브러리 유틸리티(dbutils.library)(레거시)를 사용하여 Python Notebook과 연결된 격리된 환경을 수정하는 것이 좋습니다.

Delta Lake DML 명령에 대한 Scala 및 Java API

이제 삭제, 업데이트, 병합을 위해 프로그래밍 방식 API를 사용하여 델타 테이블의 데이터를 수정할 수 있습니다. 이러한 API는 해당 SQL 명령의 구문과 의미 체계를 미러링하며 SCD(느린 변경 차원) 작업, 복제를 위한 변경 데이터 병합, 스트리밍 쿼리의 upsert 등 많은 워크로드에 적합합니다.

자세한 내용은 Delta Lake란?을 참조하세요.

Delta Lake 유틸리티 명령에 대한 Scala 및 Java API

Databricks Runtime에는 이제 vacuum 및 history 유틸리티 명령에 대한 프로그래밍 방식 API가 있습니다. 이러한 API는 이전 버전의 Databricks Runtime에서 사용할 수 있는 해당 SQL 명령의 구문과 의미 체계를 미러링합니다.

델타 테이블에서 더 이상 참조하지 않고 테이블에서 vacuum을 실행하여 보존 임계값보다 오래된 파일을 정리할 수 있습니다. 테이블에서 vacuum 명령을 실행하면 델타 테이블과 연결된 디렉터리가 재귀적으로 정리됩니다. 파일의 기본 보존 임계값은 7일입니다. vacuum을 실행한 후에는 보존 기간보다 이전 버전으로 시간 여행하는 기능이 손실됩니다. vacuum은 자동으로 트리거되지 않습니다.

history 명령을 실행하여 델타 테이블에 대한 각 쓰기 작업, 사용자, 타임스탬프 등에 대한 정보를 검색할 수 있습니다. 연산은 역순으로 반환됩니다. 기본적으로 테이블 기록은 30일 동안 유지됩니다.

자세한 내용은 Delta Lake란?을 참조하세요.

Azure Lsv2 인스턴스에 사용할 수 있는 디스크 캐싱

[Disk caching]](../../optimizations/disk-cache.md)은 이제 모든 Lsv2 인스턴스에 대해 기본적으로 활성화되어 있습니다.

로컬 파일 API를 사용하여 최적화된 스토리지

로컬 파일 API는 기본 분산 개체 스토리지의 파일에 로컬 파일로 액세스할 수 있으므로 유용합니다. Databricks Runtime 6.0에서는 로컬 파일 API가 주요 제한을 해결할 수 있도록 FUSE 탑재를 향상했습니다. Databricks Runtime 6.0은 읽기 및 쓰기 속도를 크게 향상하고 2GB보다 큰 파일을 지원합니다. 분산 모델 학습과 같이 더 빠르고 신뢰할 수 있는 읽기 및 쓰기가 필요한 경우 이 향상된 기능이 특히 유용합니다. 또한 워크로드에 대한 로컬 스토리지에 데이터를 로드할 필요가 없으므로 비용을 절감하고 생산성을 향상할 수 있습니다.

자세한 내용은 DBFS란?을 참조하세요.

Notebook 셀당 여러 matplotlib 플롯

이제 Notebook 셀당 여러 matplotlib 플롯을 표시할 수 있습니다.

셀의 여러 matplotlib 플롯

여러 Azure Data Lake Storage Gen1 계정에 대한 서비스 자격 증명

이제 단일 Apache Spark 세션 내에서 사용할 여러 Azure Databricks에서 Azure Data Lake Storage Gen1에 액세스 계정에 대한 서비스 자격 증명을 설정할 수 있습니다. 이렇게 하려면 구성 키에 account.<account-name>을 추가합니다. 예를 들어 계정에 대한 자격 증명을 설정하여 adl://example1.azuredatalakestore.net 및 adl://example2.azuredatalakestore.net 모두에 액세스하려면 다음과 같이 하면 됩니다.

spark.conf.set("fs.adl.oauth2.access.token.provider.type", "ClientCredential")

spark.conf.set("fs.adl.account.example1.oauth2.client.id", "<application-id-example1>")
spark.conf.set("fs.adl.account.example1.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example1>"))
spark.conf.set("fs.adl.account.example1.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example1>/oauth2/token")

spark.conf.set("fs.adl.account.example2.oauth2.client.id", "<application-id-example2>")
spark.conf.set("fs.adl.account.example2.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example2>"))
spark.conf.set("fs.adl.account.example2.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example2>/oauth2/token")

개선 사항

AWS SDK를 1.11.596으로 업그레이드했습니다.
WASB 드라이버의 Azure Storage SDK를 7.0으로 업그레이드했습니다.
이제 OPTIMIZE에서 추가된 파일 수, 제거된 파일 수, 최대 및 최소 파일 크기와 같은 메트릭 요약을 제공합니다. Delta Lake에서 최적화를 사용하여 데이터 파일 압축을 참조하세요.

제거

Databricks ML 모델 내보내기가 제거되었습니다. 대신 MLeap을 사용하여 모델을 가져오거나 내보내세요.

Apache Spark

참고 항목

이 문서에는 Microsoft에서 사용하지 않는 용어인 slave에 대한 참조가 포함되어 있습니다. 소프트웨어에서 용어가 제거되면 이 문서에서 해당 용어가 제거됩니다.

Databricks Runtime 6.0에는 Apache Spark 2.4.3이 포함됩니다. 이 릴리스에는 Databricks Runtime 5.5 LTS(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항과 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

[SPARK-27992][SPARK-28881][PYTHON] Python이 조인 스레드와 조인하여 오류를 전파하도록 허용
[SPARK-27330][SS] foreach 작성기에서 작업 중단 지원(6.0, 5.x)
[SPARK-28642][SQL] SHOW CREATE TABLE에서 자격 증명을 숨김
[SPARK-28699][CORE] 불확실한 스테이지를 중단하기 위한 비정상 상황 수정
[SPARK-28647][WEBUI] [WEBUI] 추가 메트릭 기능 복구
[SPARK-28766][R][DOC] 잘못된 URL에서 CRAN 들어오는 타당성 경고 수정
[SPARK-28486][CORE][PYTHON] PythonBroadcast의 데이터 파일을 BroadcastBlock에 매핑하여 GC에서 삭제하지 않도록 함
[SPARK-25035][CORE] 디스크 저장 블록 복제에서 메모리 매핑 방지
[SPARK-27234][SS][PYTHON] EpochTracker에서 현재 Epoch에 InheritableThreadLocal 사용(Python UDF 지원)
[SPARK-28638][WEBUI] 작업 요약에는 성공한 작업의 메트릭만 포함되어야 함
[SPARK-28153][PYTHON] InputFileBlockHolder에서 AtomicReference 사용(Python UDF로 input_file_name 지원)
[SPARK-28564][CORE] 액세스 기록 애플리케이션은 기본적으로 마지막 시도 ID로 설정됨
[SPARK-28260] thriftserver 쿼리가 여전히 결과를 가져오는 동안 클러스터가 자동 종료될 수 있음
[SPARK-26152][CORE] 작업자 정리를 작업자 종료와 동기화
[SPARK-28545][SQL] ObjectAggregationIterator의 방향 로그에 해시 맵 크기 추가
[SPARK-28489][SS] KafkaOffsetRangeCalculator.getRanges가 오프셋을 삭제할 수 있는 버그가 수정
[SPARK-28421][ML] SparseVector.app 성능 최적화
[SPARK-28156][SQL] 셀프 조인이 캐시된 보기를 놓치지 않아야 함
[SPARK-28152][SQL] MsSqlServerDialect에 대해 ShortType을 SMALLINT로 매핑하고 FloatType을 REAL로 매핑합니다.
[SPARK-28054][SQL] 파티션 이름이 대문자인 Hive 파티션 테이블을 동적으로 삽입할 때 오류 수정
[SPARK-27159][SQL] 바이너리 형식을 지원하도록 mssql 서버 언어 업데이트
[SPARK-28355][CORE][PYTHON] UDF가 브로드캐스트로 압축되는 임계값에 Spark conf 사용
[SPARK-27989][CORE] k8s용 드라이버 연결에 다시 시도 추가됨
[SPARK-27416][SQL] UnsafeMapData 및 UnsafeArrayData Kryo serialization ...
[SPARK-28430][UI] 일부 작업의 메트릭이 누락된 경우 스테이지 테이블 렌더링 수정
[SPARK-27485]EnsureRequirements.reorder는 중복 식을 정상적으로 처리
[SPARK-28404][SS] RateStreamContinuousPartitionReader에서 음수 시간 초과 값 수정
[SPARK-28378][PYTHON] cgi.escape 사용 제거
[SPARK-28371][SQL] Parquet “StartsWith” 필터를 Null로부터 안전하게 만들기
[SPARK-28015][SQL] stringToDate()가 yyyy 및 yy-[m]m 형식에 대한 전체 입력을 사용하는지 확인
[SPARK-28302][CORE] Windows에서 SparkLauncher에 대한 고유한 출력 파일을 생성해야 함
[SPARK-28308][CORE] CalendarInterval 1초 미만 부분은 구문 분석 전에 패딩해야 합니다.
[SPARK-28170][ML][PYTHON] 균일 벡터 및 행렬 설명서
[SPARK-28160][CORE] 선택되지 않은 예외가 누락되었을 때 콜백 함수가 중단될 수 있는 버그 수정
[SPARK-27839][SQL] UTF8String.replace()를 UTF8 바이트에서 작동하도록 변경
[SPARK-28157][CORE] SHS에서 블랙리스트에 추가된 항목에 대한 KVStore LogInfo 삭제
[SPARK-28128][PYTHON][SQL] pandas 그룹화된 UDF는 빈 파티션을 건너뜀
[SPARK-28012][SQL] Hive UDF는 구조체 유형을 접을 수 있는 식 지원
[SPARK-28164]start-slave.sh의 사용법 설명 수정
[SPARK-27100][SQL] FilePartition에서 Seq 대신 Array를 사용하여 StackOverflowError 방지
[SPARK-28154][ML] GMM 수정 이중 캐싱

유지 관리 업데이트

Databricks Runtime 6.0 유지 관리 업데이트를 참조하세요.

시스템 환경

운영 체제: Ubuntu 16.04.6 LTS
Java: 1.8.0_232
Scala: 2.11.12
Python: 3.7.3
R: R 버전 3.6.1(2019-07-05)
Delta Lake: 0.3.0