Databricks Runtime 11.1(지원되지 않음)
다음 릴리스 정보는 Apache Spark 3.3.0에서 제공하는 Databricks Runtime 11.1에 대한 정보를 제공합니다. Databricks는 이러한 이미지를 2022년 7월에 릴리스했습니다.
새로운 기능 및 향상 기능
- Photon은 GA입니다.
- Photon: 지원되는 인스턴스 유형
- 이제 변경 데이터 피드가 범위를 벗어난 타임스탬프를 자동으로 처리할 수 있습니다.
- 이제 SQL 함수를 설명하고 표시하여 출력에 Unity 카탈로그 이름을 표시합니다(공개 미리 보기).
- 자동 로더의 Parquet 파일에 대한 스키마 유추 및 진화(공개 미리 보기)
- 자동 로더가 이제 Avro에 대한 스키마 진화를 지원(GA)
- 동적 파티션 덮어쓰기에 대한 Delta Lake 지원
- Unity 카탈로그에서 만든 개체에 대한 정보 스키마 지원
- Unity 카탈로그가 있는 Delta Lake 테이블에 대한 정보 제약 조건(공개 미리 보기)
- Unity 카탈로그가 일반 공급됨
- Delta Sharing이 일반 공급됨
Photon은 GA입니다.
Photon은 이제 Databricks Runtime 11.1부터 일반 공급됩니다. Photon은 기존 코드와 함께 작동하도록 Apache Spark API와 직접 호환되도록 작성된 Azure Databricks의 네이티브 벡터화된 쿼리 엔진입니다. Photon은 최신 하드웨어를 활용하기 위해 C++로 개발되었으며 벡터화된 쿼리 처리의 최신 기술을 사용하여 데이터 레이크에 있는 모든 데이터를 기본적으로 활용하고 CPU의 명령 수준 병렬 처리로 실제 데이터 및 애플리케이션의 성능을 향상시킵니다.
Photon은 기존 SQL 및 DataFrame API 호출을 더 빠르게 실행하고 워크로드당 총 비용을 줄이는 고성능 런타임의 일부입니다. Databricks SQL 웨어하우스에서는 Photon이 기본적으로 사용됩니다.
새 기능 및 개선 사항은 다음과 같습니다.
- 새 벡터화된 정렬 연산자
- 새 벡터화된 창 함수
- 모든 클라우드의 새 인스턴스 유형 및 크기
제한 사항:
- Scala/Python UDF는 Photon에서 지원되지 않습니다.
- RDD는 Photon에서 지원되지 않습니다.
- 구조적 스트리밍은 Photon에서 지원되지 않습니다.
자세한 내용은 다음 Photon 공지 사항을 참조하세요.
Photon: 새 벡터화된 정렬 연산자
Photon은 이제 쿼리에 SORT_BY, CLUSTER_BY 또는 ORDER BY가 있는 창 함수가 포함된 경우 벡터화된 정렬을 지원합니다.
제한 사항: Photon은 글로벌 ORDER BY 절을 지원하지 않습니다. 창 평가를 위한 정렬은 photonize되지만 전역 정렬은 Spark에서 계속 실행됩니다.
Photon: 새 벡터화된 창 함수
Photon은 이제 많은 프레임 형식 및 함수에 대해 벡터화된 창 함수 평가를 지원합니다. 새 창 함수에는 row_number, rank, dense_rank, lag, lead, percent_rank, ntile 및 nth_value가 포함됩니다. 지원되는 창 프레임 유형: 실행(UNBOUNDED PRECEDING AND CURRENT ROW), 무제한(UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), 증가(UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) 및 축소(<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).
제한 사항:
- Photon은 모든 프레임 형식의
ROWS버전만 지원합니다. - Photon은 아직 슬라이딩 프레임 유형(
<OFFSET> PRECEDING AND <OFFSET> FOLLOWING)을 지원하지 않습니다.
Photon: 지원되는 인스턴스 유형
- dds_v5
- ds_v5
- eas_v4
- eds_v4
- eds_v5
- es_v5
- las_v3
- ls_v3
이제 변경 데이터 피드가 범위를 벗어난 타임스탬프를 자동으로 처리할 수 있습니다.
이제 CDF(변경 데이터 피드)에는 오류를 throw하지 않고도 최신 커밋 버전이 지난 타임스탬프 또는 버전을 제공할 수 있는 새로운 모드가 있습니다. 이 모드는 기본적으로 사용하지 않도록 설정되어 있습니다. 구성 spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled를 true로 설정하여 활성화할 수 있습니다.
이제 SQL 함수를 설명하고 표시하여 출력에 Unity 카탈로그 이름을 표시합니다(공개 미리 보기).
이제 DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAIN 및 SHOW CREATE TABLE 명령은 출력에 항상 카탈로그 이름을 표시합니다.
자동 로더의 Parquet 파일에 대한 스키마 유추 및 진화(공개 미리 보기)
이제 자동 로더는 Parquet 파일에 대한 스키마 유추 및 진화를 지원합니다. JSON, CSV 및 Avro 형식과 마찬가지로 이제 복구된 데이터 열을 사용하여 Parquet 파일에 나타날 수 있는 예기치 않은 데이터를 복구할 수 있습니다. 여기에는 예상되는 데이터 형식으로 구문 분석할 수 없는 데이터, 대/소문자가 다른 열 또는 예상 스키마의 일부가 아닌 추가 열이 포함됩니다. 들어오는 데이터에 새 열을 추가할 때 스키마를 자동으로 발전하도록 자동 로더를 구성할 수 있습니다. 자동 로더의 스키마 유추 및 진화 구성을 참조하세요.
자동 로더가 이제 Avro에 대한 스키마 진화를 지원(GA)
자동 로더의 스키마 유추 및 진화 구성을 참조하세요.
동적 파티션 덮어쓰기에 대한 Delta Lake 지원
이제 Delta Lake를 사용하면 동적 파티션 덮어쓰기 모드에서 쓰기가 새 데이터를 커밋할 각 논리 파티션의 모든 기존 데이터를 덮어쓸 수 있습니다. Delta Lake를 사용하여 선택적으로 데이터 덮어쓰기를 참조하세요.
Unity 카탈로그에서 만든 개체에 대한 정보 스키마 지원
정보 스키마는 테이블 및 뷰, 제약 조건과 루틴을 비롯한 다양한 데이터베이스 개체의 메타데이터에 대한 SQL 기반 자체 설명 API를 제공합니다.
정보 스키마 내에서 볼 수 있는 권한이 있는 스키마 카탈로그에 알려진 개체를 설명하는 보기 세트를 찾습니다.
SYSTEM 카탈로그의 정보 스키마는 메타스토어 내의 모든 카탈로그에서 개체에 대한 정보를 반환합니다.
정보 스키마를 참조하세요.
Unity 카탈로그가 있는 Delta Lake 테이블에 대한 정보 제약 조건(공개 미리 보기)
이제 Unity 카탈로그를 사용하여 Delta Lake 테이블에서 정보 기본 키 및 외래 키 제약 조건을 정의할 수 있습니다. 정보 제약 조건은 적용되지 않습니다. CONSTRAINT 절을 참조하세요.
Unity 카탈로그가 일반 공급됨
Databricks Runtime 11.1부터 Unity 카탈로그가 일반 공급됩니다. Unity 카탈로그란?을 참조하세요.
Delta Sharing이 일반 공급됨
Databricks Runtime 11.1부터 Delta Sharing이 일반 공급됩니다.
Databricks-to-Databricks Delta Sharing은 토큰을 교환할 필요가 없는 완전 관리형입니다. UI에서 또는 SQL 및 REST API를 사용하여 공급자, 수신자 및 공유를 만들고 관리할 수 있습니다.
일부 기능에는 수신자 액세스 제한, IP 액세스 목록 및 지역 제한으로 데이터 쿼리, Delta Sharing 관리를 비관리자에게 위임 등이 포함됩니다. 데이터 변경 내용을 쿼리하거나 데이터 변경 피드를 사용하여 증분 버전을 공유할 수도 있습니다. 델타 공유를 사용하여 안전하게 데이터 및 AI 자산 공유를 참조하세요.
동작 변경
DESCRIBE TABLE 및 SHOW TABLE 속성에 대한 중요한 속성 수정
이제 DESCRIBE TABLE 및 SHOW TABLE PROPERTIES 명령이 중요한 속성을 수정합니다.
작업 클러스터는 기본적으로 Databricks Runtime 11.1 이상을 사용하는 단일 사용자 액세스 모드로 설정됩니다.
Unity 카탈로그를 사용할 수 있도록 작업 UI 또는 작업 API를 통해 만든 Databricks Runtime 11.1 이상을 사용하는 작업 클러스터는 기본적으로 단일 사용자 액세스 모드로 설정됩니다. 단일 사용자 액세스 모드는 대부분의 프로그래밍 언어, 클러스터 기능 및 데이터 거버넌스 기능을 지원합니다. UI 또는 API를 통해 공유 액세스 모드를 구성할 수 있지만 언어 또는 기능이 제한될 수 있습니다.
라이브러리 업그레이드
- 업그레이드된 Python 라이브러리:
- filelock 3.6.0에서 3.7.1로
- plotly 5.6.0에서 5.8.2로
- protobuf 3.20.1에서 4.21.2로
- 업그레이드된 R 라이브러리:
- chron 2.3-56에서 2.3-57로
- DBI 1.1.2에서 1.1.3으로
- dbplyr 2.1.1에서 2.2.0으로
- e1071 1.7-9에서 1.7-11로
- future 1.25.0에서 1.26.1로
- globals 0.14.0에서 0.15.1로
- hardhat 0.2.0에서 1.1.0으로
- ipred 0.9-12에서 0.9-13으로
- openssl 2.0.0에서 2.0.2로
- parallelly 1.31.1에서 1.32.0으로
- processx 3.5.3에서 3.6.1로
- progressr 0.10.0에서 0.10.1로
- proxy 0.4-26에서 0.4-27로
- ps 1.7.0에서 1.7.1로
- randomForest 4.7-1에서 4.7-1.1로
- roxygen2 7.1.2에서 7.2.0으로
- Rserve 1.8-10에서 1.8-11로
- RSQLite 2.2.13에서 2.2.14로
- sparklyr 1.7.5에서 1.7.7로
- tinytex 0.38에서 0.40으로
- usethis 2.1.5에서 2.1.6로
- xfun 0.30에서 0.31로
- 업그레이드된 Java 라이브러리:
- io.delta.delta-sharing-spark_2.12 0.4.0에서 0.5.0으로
Apache Spark
Databricks Runtime 11.2에는 Apache Spark 3.3.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 11.1(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-40054] [SQL] try_cast()의 오류 처리 구문 복원
- [SPARK-39489] [CORE] Json4s 대신 Jackson을 사용하여 이벤트 로깅 JsonProtocol 성능 개선
- [SPARK-39319] [CORE][SQL] 쿼리 컨텍스트를
SparkThrowable의 일부로 만듭니다. - [SPARK-40085] [SQL] IllegalStateException 대신 INTERNAL_ERROR 오류 클래스를 사용하여 버그 표시
- [SPARK-40001] [SQL] JSON DEFAULT 열에 NULL 쓰기를 수행하여 스토리지에 'null' 기록
- [SPARK-39635] [SQL] DS v2 사용자 지정 메트릭 API에서 드라이버 메트릭 지원
- [SPARK-39184] [SQL] 날짜 및 타임스탬프 시퀀스에서 크기가 부족한 결과 배열 처리
- [SPARK-40019] [SQL] ArrayType의 containsNull의 주석 리팩터링 및
containsNull에 대한 collectionOperator 식의 오해 논리 리팩터링 - [SPARK-39989] [SQL] 접을 수 있는 식인 경우 열 통계 예상 지원
- [SPARK-39926] [SQL] 벡터화되지 않은 Parquet 검사에 대한 DEFAULT 열 지원의 버그 수정
- [SPARK-40052] [SQL] VectorizedDeltaBinaryPackedReader에서 직접 바이트 버퍼 처리
- [SPARK-40044] [SQL] 캐스트 오버플로 오류의 대상 간격 형식 수정
- [SPARK-39835] [SQL] 로컬 정렬 아래의 EliminateSorts 전역 정렬 제거 수정
- [SPARK-40002] [SQL] ntile을 사용하여 창을 통해 제한을 푸시다운하지 않음
- [SPARK-39976] [SQL] ArrayIntersect에서 왼쪽 식의 null을 올바르게 처리해야 함
- [SPARK-39985] [SQL] DataFrame의 삽입에서 암시적 DEFAULT 열 값 사용
- [SPARK-39776] [SQL] JOIN 자세한 정보 문자열은 조인 형식을 추가해야 함
- [SPARK-38901] [SQL] DS V2는 푸시다운 기타 함수를 지원함
- [SPARK-40028] [SQL][FollowUp] 문자열 함수 예 개선
- [SPARK-39983] [CORE][SQL] 드라이버에서 직렬화되지 않은 브로드캐스트 관계를 캐시하지 않음
- [SPARK-39812] [SQL]
toAggregateExpression을 사용하여AggregateExpression을 구성하는 코드 단순화 - [SPARK-40028] [SQL] 문자열 식에 대한 이진 파일 예 추가
- [SPARK-39981] [SQL] 캐스트에서 QueryExecutionErrors.castingCauseOverflowErrorInTableInsert 예외 throw
- [SPARK-40007] [PYTHON][SQL] 함수에 'mode' 추가
- [SPARK-40008] [SQL] ANSI 간격으로 정수 캐스팅 지원
- [SPARK-40003] [PYTHON][SQL] 함수에 'median' 추가
- [SPARK-39952] [SQL] SaveIntoDataSourceCommand는 결과 관계를 다시 캐시해야 함
- [SPARK-39951] [SQL] 중첩 필드에 대한 Parquet V2 열 형식 검사 업데이트
- [SPARK-39775] [CORE][AVRO] Avro 스키마를 구문 분석할 때 기본값 유효성 검사 사용 안 함
- [SPARK-33236] [shuffle] DBR 11.x로 백포트: 푸시 기반 순서 섞기 서비스를 사용하도록 설정하여 작업 보존이 다시 시작하도록 NM 수준 DB에 상태 저장
- [SPARK-39836] [SQL] 공통 메서드를 추출하여 V2ExpressionBuilder 단순화
- [SPARK-39867] [SQL] 전역 제한은 OrderPre서비스 제공UnaryNode를 상속하지 않아야 함
- [SPARK-39873] [SQL]
OptimizeLimitZero를 제거하여EliminateLimits에 병합 - [SPARK-39961] [SQL] 캐스트가 안전한 경우 DS V2 푸시다운 변환 캐스트
- [SPARK-39872] [SQL]
VectorizedDeltaBinaryPackedReader의 Array 입력 API를 사용하여BytePackerForLong#unpack8Values을 사용하도록 변경 - [SPARK-39858] [SQL] 일부 규칙에 대해 불필요한
AliasHelper또는PredicateHelper제거 - [SPARK-39962] [WARMFIX][ES-393486][PYTHON][SQL] 그룹 특성이 비어 있는 경우 프로젝션 적용
- [SPARK-39900] [SQL] 이진 형식의 조건자 푸시다운에서 부분 또는 부정 조건 해결
- [SPARK-39904] [SQL] inferDate의 이름을 prefersDate로 변경하고 CSV 데이터 원본에 있는 옵션의 의미 체계를 명확히 해야 함
- [SPARK-39958] [SQL] 사용자 지정 메트릭 개체를 로드할 수 없는 경우 경고 로그 추가
- [SPARK-39936] [SQL] Spark 뷰의 속성에 스키마 저장
- [SPARK-39932] [SQL] WindowExec은 최종 파티션 버퍼를 지워야 함
- [SPARK-37194] [SQL] 동적 파티션이 아닌 경우 v1 쓰기에서 불필요한 정렬 방지
- [SPARK-39902] [SQL] SparkUI의 Spark 계획 검사 노드에 검사 세부 정보 추가
- [SPARK-39865] [SQL] 테이블 삽입의 오버플로 오류에 대한 적절한 오류 메시지 표시
- [SPARK-39940] [SS] DSv1 싱크로 스트리밍 쿼리의 카탈로그 테이블 새로 고침
- [SPARK-39827] [SQL]
add_months()의 int 오버플로에서 오류 클래스ARITHMETIC_OVERFLOW사용 - [SPARK-39914] [SQL] V1 필터 변환에 DS V2 필터 추가
- [SPARK-39857] [SQL] 수동 DBR 11.x 백포트: V2ExpressionBuilder가 In 조건자 #43454에 대해 잘못된 LiteralValue 데이터 형식 사용
- [SPARK-39840] [SQL][PYTHON] PythonArrowOutput에 대한 대칭으로 PythonArrowInput 팩터링
- [SPARK-39651] [SQL] rand와의 비교가 결정적인 경우 필터 조건 정리
- [SPARK-39877] [PYTHON] PySpark DataFrame API에 unpivot 추가
- [SPARK-39847] [WARMFIX][SS] 호출자 스레드가 중단된 경우 RocksDBLoader.loadLibrary()의 경합 조건 수정
- [SPARK-39909] [SQL] JDBCV2Suite에 대한 푸시다운 정보 확인 구성
- [SPARK-39834] [SQL][SS] DataFrame에서 가져온 경우 LogicalRDD에 대한 origin 통계 및 제약 조건 포함
- [SPARK-39849] [SQL] Dataset.as(StructType)가 누락된 새 열을 null 값으로 채움
- [SPARK-39860] [SQL] 더 많은 식이 조건자를 확장해야 함
- [SPARK-39823] [SQL][PYTHON] Dataset.as의 이름을 Dataset.to로 변경하고 PySpark에 DataFrame.to 추가
- [SPARK-39918] [SQL][MINOR] 오류 메시지에서 "un-comparable"을 "incomparable"로 바꿈
- [SPARK-39857] [SQL][3.3] V2ExpressionBuilder가 In 조건자에 잘못된 LiteralValue 데이터 형식 사용
- [SPARK-39862] [SQL] DBR 11.x를 대상으로 하는 PR 43654에 대한 수동 백포트: ALTER TABLE …ADD COLUMN 명령을 별도로 허용/거부하도록 SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS 업데이트
- [SPARK-39844] [SQL] DBR 11.x를 대상으로 하는 PR 43652에 대한 수동 백포트
- [SPARK-39899] [SQL] 메시지 매개 변수를
InvalidUDFClassException에 전달하는 문제 수정 - [SPARK-39890] [SQL] TakeOrderedAndProjectExec이 AliasAwareOutputOrdering을 상속하도록 함
- [SPARK-39809] [PYTHON] PySpark에서 CharType 지원
- [SPARK-38864] [SQL] 데이터 세트에 unpivot / melt 추가
- [SPARK-39864] [SQL] ExecutionListenerBus 등록 지연
- [SPARK-39808] [SQL] 집계 함수 모드 지원
- [SPARK-39839] [SQL] UnsafeRow 구조적 무결성 검사에서 offsetAndSize가 0이 아니고 가변 길이 10진이 null인 특수한 경우 처리
- [SPARK-39875] [SQL] 최종 클래스의
protected메서드를private또는package-visible로 변경 - [SPARK-39731] [SQL] CORRECTED 시간 파서 정책을 사용하여 날짜를 “yyyyMMdd” 형식으로 구문 분석할 때 CSV 및 JSON 데이터 원본의 문제 해결
- [SPARK-39805] [SS] Trigger.Once 사용 중단 및 Trigger.AvailableNow 승격
- [SPARK-39784] [SQL] Catalyst Expression을 데이터 원본 필터로 변환한 후 데이터 원본 필터의 오른쪽에 Literal 값 배치
- [SPARK-39672] [SQL][3.1] 상호 관련된 하위 쿼리를 사용하여 필터링하기 전에 프로젝트 제거 수정
- [SPARK-39552] [SQL] v1 및 v2
DESCRIBE TABLE통합 - [SPARK-39806] [SQL] 분할된 테이블에서
_metadata에 액세스하면 쿼리가 중단될 수 있음 - [SPARK-39810] [SQL] Catalog.tableExists는 중첩된 네임스페이스를 처리해야 함
- [SPARK-37287] [SQL] FileFormatWriter에서 동적 파티션 및 버킷 정렬 추출
- [SPARK-39469] [SQL] CSV 스키마 유추를 위한 날짜 형식 유추
- [SPARK-39148] [SQL] DS V2 집계 푸시다운은 OFFSET 또는 LIMIT를 사용할 수 있음
- [SPARK-39818] [SQL] DEFAULT 값이 NULL 필드인 ARRAY, STRUCT, MAP 형식의 버그 수정
- [SPARK-39792] [SQL] 10진 평균을 위해 DecimalDivideWithOverflowCheck 추가
- [SPARK-39798] [SQL]
GenericArrayData의 생성자에서toSeq.toArray를.toArray[Any]로 바꿈 - [SPARK-39759] [SQL] JDBC(H2 언어)에서 listIndexes 구현
- [SPARK-39385] [SQL] 푸시다운
REGR_AVGX및REGR_AVGY지원 - [SPARK-39787] [SQL] to_timestamp 함수의 구문 분석 오류에 오류 클래스 사용
- [SPARK-39760] [PYTHON] PySpark에서 Varchar 지원
- [SPARK-39557] [SQL] DBR 11.x로 수동 백포트: ARRAY, STRUCT, MAP 형식을 DEFAULT 값으로 지원
- [SPARK-39758] [SQL][3.3] 잘못된 패턴의 정규 표현식 함수에서 NPE 수정
- [SPARK-39749] [SQL] ANSI SQL 모드: 10진을 문자열로 캐스팅할 때 일반 문자열 표현 사용
- [SPARK-39704] [SQL] JDBC에서 createIndex &dropIndex & indexExists 구현(H2 언어)
- [SPARK-39803] [SQL]
StringUtils.getLevenshteinDistance대신LevenshteinDistance사용 - [SPARK-39339] [SQL] JDBC 데이터 원본에서 TimestampNTZ 형식 지원
- [SPARK-39781] [SS] rockdb 상태 저장소 공급자에 max_open_files 제공 지원 추가
- [SPARK-39719] [R] SparkR 지원 3L 네임스페이스에서 databaseExists/getDatabase 구현
- [SPARK-39751] [SQL] 해시 집계 키 프로브 메트릭 이름 바꾸기
- [SPARK-39772] [SQL] 네임스페이스는 이전 생성자에서 데이터베이스가 null인 경우 null이어야 함
- [SPARK-39625] [SPARK-38904][SQL] Add Dataset.as(StructType)
- [SPARK-39384] [SQL] JDBC 언어용 기본 제공 선형 회귀 집계 함수 컴파일
- [SPARK-39720] [R] 3L 네임스페이스용 SparkR에서 tableExists/getTable 구현
- [SPARK-39744] [SQL]
REGEXP_INSTR함수 추가 - [SPARK-39716] [R] SparkR의 currentDatabase/setCurrentDatabase/listCatalog가 3L 네임스페이스를 지원하도록 함
- [SPARK-39788] [SQL]
JdbcUtils에 대해catalogName의 이름을dialectName으로 바꿈 - [SPARK-39647] [CORE] BlockManager를 등록하기 전에 ESS에 실행 프로그램 등록
- [SPARK-39754] [CORE][SQL] 사용하지 않는
import또는 불필요한{}제거 - [SPARK-39706] [SQL]
ParquetColumnVector에서 defaultValue를 상수로 사용하여 누락된 열 설정 - [SPARK-39699] [SQL] 컬렉션 만들기 식에 대해 CollapseProject를 더 스마트하도록 함
- [SPARK-39737] [SQL]
PERCENTILE_CONT및PERCENTILE_DISC는 집계 필터를 지원해야 함 - [SPARK-39579] [SQL][PYTHON][R] ListFunctions/getFunction/functionExists를 3계층 네임스페이스와 호환되도록 함
- [SPARK-39627] [SQL] JDBC V2 푸시다운은 컴파일 API를 통합해야 함
- [SPARK-39748] [SQL][SS] DataFrame에서 가져온 경우 LogicalRDD에 대한 origin 논리 계획 포함
- [SPARK-39385] [SQL] 푸시다운에 대한 선형 회귀 집계 함수 변환
- [SPARK-39695] [SQL]
REGEXP_SUBSTR함수 추가 - [SPARK-39667] [SQL] 테이블을 빌드하고 브로드캐스트할 메모리가 충분하지 않은 경우 다른 해결 방법 추가
- [SPARK-39666] [ES-337834][SQL] UnsafeProjection.create를 사용하여 ExpressionEncoder에
spark.sql.codegen.factoryMode적용 - [SPARK-39643] [SQL] DEFAULT 값에서 하위 쿼리 식 금지
- [SPARK-38647] [SQL] Scan(DataSourceV2)용 인터페이스에 SupportsReportOrdering 혼합 추가
- [SPARK-39497] [SQL] 누락된 맵 키 열의 분석 예외 개선
- [SPARK-39661] [SQL] 불필요한 SLF4J 로거 만들기 방지
- [SPARK-39713] [SQL] ANSI 모드: INVALID_ARRAY_INDEX 오류에 try_element_at 사용 제안 추가
- [SPARK-38899] [SQL] DS V2는 푸시다운 날짜/시간 함수를 지원합니다.
- [SPARK-39638] [SQL]
ConstantColumnVector를 사용하여OrcColumnarBatchReader에 파티션 열을 저장하도록 변경 - [SPARK-39653] [SQL]
ColumnVectorUtils에서ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)정리 - [SPARK-39231] [SQL]
On/OffHeapColumnVector대신ConstantColumnVector를 사용하여VectorizedParquetRecordReader에 파티션 열 저장 - [SPARK-39547] [SQL] V2SessionCatalog는 loadNamspaceMetadata에서 NoSuchDatabaseException을 throw하지 않아야 함
- [SPARK-39447] [SQL] AdaptiveSparkPlanExec.doExecuteBroadcast에서 AssertionError 방지
- [SPARK-39492] [SQL] Rework MISSING_COLUMN
- [SPARK-39679] [SQL] TakeOrderedAndProjectExec에서 자식 출력 순서를 적용해야 함
- [SPARK-39606] [SQL] 자식 통계를 사용하여 주문 연산자 예상
- [SPARK-39611] [PYTHON][PS] array_ufunc의 잘못된 별칭 수정
- [SPARK-39656] [SQL][3.3] DescribeNamespaceExec에서 잘못된 네임스페이스 수정
- [SPARK-39675] [SQL] 'spark.sql.codegen.factoryMode' 구성을 테스트 목적에서 내부 목적으로 전환
- [SPARK-39139] [SQL] DS V2에서 푸시다운 DS V2 UDF 지원
- [SPARK-39434] [SQL] 배열 인덱스가 경계를 벗어나면 런타임 오류 쿼리 컨텍스트 제공
- [SPARK-39479] [SQL] DS V2에서 푸시다운 수학 함수(비 ANSI) 지원
- [SPARK-39618] [SQL]
REGEXP_COUNT함수 추가 - [SPARK-39553] [CORE] Scala 2.13을 사용할 때 다중 스레드 등록 취소 순서 섞기가 NPE를 throw하지 않아야 함
- [SPARK-38755] [PYTHON][3.3] 누락된 Pandas 일반 함수를 해결하기 위한 파일 추가
- [SPARK-39444] [SQL] nonExcludableRules 목록에 OptimizeSubqueries 추가
- [SPARK-39316] [SQL] PromotePrecision 및 CheckOverflow를 10진 이진 산술로 병합
- [SPARK-39505] [UI] UI에서 렌더링된 로그 콘텐츠 이스케이프
- [SPARK-39448] [SQL]
nonExcludableRules목록에ReplaceCTERefWithRepartition추가 - [SPARK-37961] [SQL] 일부 논리 연산자에 대해 maxRows/maxRowsPerPartition 재정의
- [SPARK-35223] IssueNavigationLink 추가 되돌리기
- [SPARK-39633] [SQL] Dataframe 옵션을 사용하여 TimeTravel에 대한 타임스탬프(초) 지원
- [SPARK-38796] [SQL] {try_}to_number 함수를 사용하여 숫자 형식 문자열에 대한 설명서 업데이트
- [SPARK-39650] [SS] 이전 버전과의 호환성이 있는 스트리밍 중복 제거의 잘못된 값 스키마 수정
- [SPARK-39636] [CORE][UI] 힙 StorageLevels 및 Task/Executor ResourceRequests에 영향을 주는 JsonProtocol의 여러 버그 수정
- [SPARK-39432] [SQL] element_at(*, 0)에서 ELEMENT_AT_BY_INDEX_ZERO 반환
- [SPARK-39349] 오류 경로의 QA를 위해 중앙 집중식 CheckError 메서드 추가
- [SPARK-39453] [SQL] DS V2에서 푸시다운 기타 비집계 함수(비 ANSI) 지원
- [SPARK-38978] [SQL] DS V2에서 푸시다운 OFFSET 연산자 지원
- [SPARK-39567] [SQL] 백분위수 함수에서 ANSI 간격 지원
- [SPARK-39383] [SQL] V2 데이터 원본에 대한 ALTER TABLE ALTER COLUMNS의 DEFAULT 열 지원
- [SPARK-39396] [SQL] LDAP 로그인 예외 '오류 코드 49 - 잘못된 자격 증명' 수정
- [SPARK-39548] [SQL] 창 절 쿼리가 있는 CreateView 명령에서 잘못된 창 정의를 찾을 수 없음 문제가 발생했습니다.
- [SPARK-39575] [AVRO] Avr…에서 ByteBuffer#get 다음에 ByteBuffer#rewind 추가
- [SPARK-39543] DataFrameWriterV2의 옵션을 스토리지 속성에 전달해야 함(v1로 대체하는 경우)
- [SPARK-39564] [SS] 스트리밍 쿼리에서 카탈로그 테이블의 정보를 논리적 계획에 노출
- [SPARK-39582] [SQL]
array_agg에 대한 "Since" 마커 수정 - [SPARK-39388] [SQL] Orc 조건자를 푸시다운할 때
orcSchema재사용 - [SPARK-39511] [SQL] 조인 조건이 비어 있는 경우 왼쪽 semi/anti 조인의 오른쪽에 대한 푸시다운 로컬 제한 1 향상
- [SPARK-38614] [SQL] percent_rank를 사용하는 창을 통해 제한을 푸시다운하지 않음
- [SPARK-39551] [SQL] AQE 유효하지 않은 계획 검사 추가
- [SPARK-39383] [SQL] V2 데이터 원본에 대한 ALTER TABLE ADD COLUMNS의 DEFAULT 열 지원
- [SPARK-39538] [SQL] 불필요한 SLF4J 로거 만들기 방지
- [SPARK-39383] [SQL] DBR 11.x로 수동 백포트: 기본 분석기 전달을 건너뛰도록 DEFAULT 열 지원 리팩터링
- [SPARK-39397] [SQL] 식을 사용하여 별칭을 지원하도록 AliasAwareOutputExpression 완화
- [SPARK-39496] [SQL]
Inline.eval에서 null 구조체 처리 - [SPARK-39545] [SQL] Scala 2.13에서 성능 개선을 위해
ExpressionSet에 대한concat메서드 재정의 - [SPARK-39340] [SQL] DS v2 agg 푸시다운은 최상위 열 이름에 점을 허용해야 함
- [SPARK-39488] [SQL] TempResolvedColumn의 오류 처리 단순화
- [SPARK-38846] [SQL] Teradata 숫자 형식과 Spark DecimalType 간의 명시적 데이터 매핑 추가
- [SPARK-39520] [SQL] Scala 2.13에서
ExpressionSet에 대한--메서드 재정의 - [SPARK-39470] [SQL] ANSI 간격을 10진으로 캐스트 지원
- [SPARK-39477] [SQL] SQLQueryTestSuite의 골든 파일에서 "쿼리 수" 정보 제거
- [SPARK-39419] [SQL] 비교자가 null을 반환할 때 예외를 throw하도록 ArraySort 수정
- [SPARK-39061] [SQL]
Inline출력 특성에 대해 null 허용을 올바르게 설정 - [SPARK-39320] [SQL] 집계 함수
MEDIAN지원 - [SPARK-39261] [CORE] 오류 메시지의 줄바꿈 형식 지정 개선
- [SPARK-39355] [SQL] 단일 열은 따옴표를 사용하여 UnresolvedAttribute를 구성합니다.
- [SPARK-39351] [SQL] SHOW CREATE TABLE은 속성을 수정해야 함
- [SPARK-37623] [SQL] ANSI 집계 함수 지원: regr_intercept
- [SPARK-39374] [SQL] 사용자 지정 열 목록에 대한 오류 메시지 개선
- [SPARK-39255] [SQL][3.3] 오류 메시지 개선
- [SPARK-39321] [SQL] RuntimeReplaceable을 사용하도록 TryCast 리팩터링
- [SPARK-39406] [PYTHON] createDataFrame에서 NumPy 배열 허용
- [SPARK-39267] [SQL] 불필요한 dsl 기호 정리
- [SPARK-39171] [SQL] Cast 식 통합
- [SPARK-28330] [SQL] ANSI SQL 지원: 쿼리 식의 결과 오프셋 절
- [SPARK-39203] [SQL] 데이터베이스 URI를 기반으로 테이블 위치를 절대 URI로 다시 작성
- [SPARK-39313] [SQL] V2Expression을 변환할 수 없는 경우
toCatalystOrdering이 실패해야 함 - [SPARK-39301] [SQL][PYTHON] LocalRelation을 활용하고 화살표 최적화를 사용하여 createDataFrame의 화살표 일괄 처리 크기 적용
- [SPARK-39400] [SQL] spark-sql은 모든 경우에 하이브 리소스 디렉터리를 제거해야 함
유지 관리 업데이트
Databricks Runtime 11.1 기본 테넌트 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 20.04.4 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.14
- Python: 3.9.5
- R: 4.1.3
- Delta Lake: 1.2.1
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10(ISO-Rolling) | argon2-cffi | 20.1.0 | async-generator | 1.10 |
| attrs | 21.2.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| 검정색 | 22.3.0 | bleach | 4.0.0 | boto3 | 1.21.18 |
| botocore | 1.24.18 | certifi | 2021.10.8 | cffi | 1.14.6 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | 에서 | 8.0.3 |
| 암호화 | 3.4.8 | cycler | 0.10.0 | Cython | 0.29.24 |
| dbus-python | 1.2.16 | debugpy | 1.4.1 | decorator | 5.1.0 |
| defusedxml | 0.7.1 | distlib | 0.3.5 | distro-info | 0.23ubuntu1 |
| entrypoints | 0.3 | facets-overview | 1.0.0 | filelock | 3.8.0 |
| idna | 3.2 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 |
| mistune | 0.8.4 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| Notebook | 6.4.5 | numpy | 1.20.3 | 패키징 | 21.0 |
| pandas | 1.3.4 | pandocfilters | 1.4.3 | parso | 0.8.2 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 8.4.0 | pip | 21.2.4 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | prometheus-client | 0.11.0 |
| prompt-toolkit | 3.0.20 | protobuf | 4.21.5 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pycparser | 2.20 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
| pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.2.1 | requests | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| six | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tenacity | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.0 | typing-extensions | 3.10.0.2 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 |
설치된 R 라이브러리
R 라이브러리는 Microsoft CRAN 스냅샷(2022-08-15)에서 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
| base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.3 | boot | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | broom | 1.0.0 |
| bslib | 0.4.0 | cachem | 1.0.6 | callr | 3.7.1 |
| 캐럿 | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
| class | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
| cluster | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | compiler | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayon | 1.5.1 | credentials | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | datasets | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | desc | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | digest | 0.6.29 |
| downlit | 0.4.2 | dplyr | 1.0.9 | dtplyr | 1.2.1 |
| e1071 | 1.7-11 | 줄임표 | 0.3.2 | evaluate | 0.16 |
| fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
| fontawesome | 0.3.0 | forcats | 0.5.1 | foreach | 1.5.2 |
| foreign | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
| future | 1.27.0 | future.apply | 1.9.0 | gargle | 1.2.0 |
| 제네릭(generics) | 0.1.3 | gert | 1.7.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
| globals | 0.16.0 | glue | 1.6.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.1 | gower | 1.0.0 | graphics | 4.1.3 |
| grDevices | 4.1.3 | grid | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | hardhat | 1.2.0 |
| haven | 2.5.0 | highr | 0.9 | hms | 1.1.1 |
| htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.3 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-13 | isoband | 0.2.5 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| knitr | 1.39 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | lava | 1.6.10 | 주기 | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
| markdown | 1.1 | MASS | 7.3-56 | 행렬 | 1.4-1 |
| memoise | 2.0.1 | 메서드 | 4.1.3 | mgcv | 1.8-40 |
| mime | 0.12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
| parallel | 4.1.3 | parallelly | 1.32.1 | pillar | 1.8.0 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
| praise | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
| 진행률 | 1.2.2 | progressr | 0.10.1 | promises | 1.2.0.1 |
| proto | 1.0.0 | 프록시 | 0.4-27 | ps | 1.7.1 |
| purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.0 |
| recipes | 1.0.1 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.4.2 | reprex | 2.0.1 | reshape2 | 1.4.4 |
| rlang | 1.0.4 | rmarkdown | 2.14 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.15 | rstudioapi | 0.13 |
| rversions | 2.1.1 | rvest | 1.0.2 | sass | 0.4.2 |
| scales | 1.2.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.7 | SparkR | 3.3.0 | spatial | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| 통계 | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
| stringr | 1.4.0 | survival | 3.2-13 | sys | 3.4 |
| systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
| textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
| tinytex | 0.40 | tools | 4.1.3 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.0 | vroom | 1.5.7 | waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.5 | zip | 2.2.0 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.3 |
| com.fasterxml.jackson.core | jackson-core | 2.13.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.3 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | 프로파일러 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| hadoop3 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 수집기 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| mvn | hadoop3 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.14 |
| net.snowflake | spark-snowflake_2.12 | 2.10.0-spark_3.2 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | Avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.9 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.2-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.2 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | 아이비 | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
| org.apache.logging.log4j | log4j-api | 2.17.2 |
| org.apache.logging.log4j | log4j-core | 2.17.2 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.5 |
| org.apache.orc | orc-mapreduce | 1.7.5 |
| org.apache.orc | orc-shims | 1.7.5 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0004 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
| org.glassfish.jersey.core | jersey-client | 2.34 |
| org.glassfish.jersey.core | jersey-common | 2.34 |
| org.glassfish.jersey.core | jersey-server | 2.34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | unused | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |