Note
이 Databricks 런타임 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록
다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 15.2에 대한 정보를 제공합니다.
Databricks는 2024년 5월에 이 버전을 릴리스했습니다.
동작 변경
진공은 COPY INTO 메타데이터 파일을 정리합니다.
이제 VACUUM 사용하여 작성된 테이블에서 COPY INTO 실행하면 수집된 파일 추적과 관련된 참조되지 않은 메타데이터가 정리됩니다.
COPY INTO는 운영 의미 체계에 영향을 주지 않습니다.
레이크하우스 페더레이션은 일반적으로 사용 가능합니다.
Databricks Runtime 15.2 이상에서는 다음 데이터베이스 형식의 Lakehouse Federation 커넥터를 일반 공급(GA)합니다.
- MySQL
- PostgreSQL
- Amazon Redshift
- Snowflake
- Microsoft SQL Server
- Azure Synapse(SQL Data Warehouse)
- Databricks
이 릴리스에서는 다음과 같은 향상된 기능도 소개합니다.
- Snowflake 및 Microsoft SQL Server 커넥터에서 SSO(Single Sign-On) 인증을 지원합니다.
- 서버리스 컴퓨팅 환경에서 SQL Server 커넥터에 대한 Azure Private Link 지원. 3단계:프라이빗 엔드포인트 규칙 만들기를 참조하세요.
- 추가적인 푸시다운 기능(문자열, 수학 및 기타 함수)에 대한 지원을 제공합니다.
- 다양한 쿼리 셰이프에서 푸시다운 성공률이 향상되었습니다.
- 추가 푸시다운 디버깅 기능:
-
EXPLAIN FORMATTED출력에는 푸시다운된 쿼리 텍스트가 표시됩니다. - 쿼리 프로필 UI는 푸시 다운된 쿼리 텍스트, 페더레이션된 노드 식별자 및 JDBC 쿼리 실행 시간(상세 모드)을 표시합니다. 시스템 생성 페더레이션 쿼리을 참조하십시오.
-
BY POSITION 헤더가 없는 CSV 파일을 사용한 COPY INTO 열 매핑
Databricks Runtime 15.2 이상에서는 헤더 없는 CSV 파일에 대해 BY POSITION 키워드(또는 ( col_name [ , <col_name> ... ] ) 대체 구문)를 사용하여, COPY INTO 원본 열을 대상 테이블 열로 간단하게 매핑할 수 있습니다.
매개 변수를 참조하세요.
Resubmitted 오류로 Spark 작업이 실패할 때 메모리 사용량 감소
Databricks Runtime 15.2 이상에서는 TaskInfo.accumulables() 오류로 작업이 실패할 때 Spark Resubmitted 메서드의 반환 값이 비어 있습니다. 이전에는 메서드가 이전에 성공한 작업 시도의 값을 반환했습니다. 이 동작 변경은 다음 소비자에게 영향을 줍니다.
-
EventLoggingListener클래스를 사용하는 Spark 작업입니다. - 사용자 지정 Spark 수신기.
이전 동작을 복원하려면 spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabledfalse설정합니다.
적응형 쿼리 실행 계획 버전 보기가 비활성화됨
메모리 사용량을 줄이기 위해 이제 Spark UI에서 AQE(적응 쿼리 실행) 계획 버전을 기본적으로 사용하지 않도록 설정합니다. Spark UI에서 AQE 계획 버전을 볼 수 있도록 하려면 spark.databricks.sql.aqe.showPlanChangesInUI.enabledtrue로 설정합니다.
Spark UI 메모리 사용량을 줄이기 위해 보존된 쿼리에 대한 제한이 낮아집니다.
Databricks Runtime 15.2 이상에서는 Azure Databricks 컴퓨팅의 Spark UI에서 사용하는 메모리를 줄이기 위해 UI에 표시되는 쿼리 수에 대한 제한이 1000에서 100으로 낮아집니다. 제한을 변경하려면 Spark 구성을 사용하여 spark.sql.ui.retainedExecutions 새 값을 설정합니다.
이제 DESCRIBE HISTORY 액체 클러스터링을 사용하는 테이블에 대한 클러스터링 열을 표시합니다.
DESCRIBE HISTORY 쿼리를 실행할 때 operationParameters 열에는 기본적으로 clusterBy 및 CREATE OR REPLACE 작업에 대한 OPTIMIZE 필드가 표시됩니다. 액체 클러스터링을 clusterBy 사용하는 델타 테이블의 경우 필드는 테이블의 클러스터링 열로 채워집니다. 테이블에서 액체 클러스터링을 사용하지 않는 경우 필드는 비어 있습니다.
Notebook 위젯 구문은 더 이상 사용되지 않습니다.
Databricks Runtime 15.2부터, SQL 셀에서 Notebook 위젯 값을 접근하는 ${param} 구문은 사용 중단됩니다. 대신 매개 변수 표식 구문(:param)을 사용합니다. 매개 변수 표식 구문은 더 나은 SQL 삽입 보호 및 향상된 쿼리 성능을 제공합니다.
마이그레이션 지침 및 예제는 레거시 Notebook 위젯을 참조하세요. 현재 권장되는 방법에 대한 자세한 내용은 Databricks 위젯을 참조하세요.
새로운 기능 및 개선 사항
기본 키와 외래 키에 대한 지원은 GA입니다.
Databricks 런타임의 기본 및 외장 키에 대한 지원은 일반적으로 사용할 수 있습니다. GA 릴리스에는 기본 키와 외장 키를 사용하는 데 필요한 권한에 대한 다음과 같은 변경 내용이 포함되어 있습니다.
- 외래 키를 정의하려면 그 외래 키가 참조하는 기본 키가 있는 테이블에 대한
SELECT권한이 있어야 합니다. 이전에는 필요했던 기본 키를 사용하여 테이블을 소유할 필요가 없습니다. -
CASCADE절을 사용하여 기본 키를 삭제해도 기본 키를 참조하는 외래 키를 정의하는 테이블에 대한 권한이 필요하지 않습니다. 이전에는 참조 테이블을 소유해야 했습니다. - 이제 제약 조건이 포함된 테이블을 삭제하려면 제약 조건을 포함하지 않는 테이블을 삭제하는 것과 동일한 권한이 필요합니다.
테이블 또는 뷰에서 기본 및 외장 키를 사용하는 방법을 알아보려면 CONSTRAINT 절, ADD CONSTRAINT 절및 DROP CONSTRAINT 절참조하세요.
GA는 Liquid 클러스터링입니다
이제 Liquid 클러스터링에 대한 지원은 Databricks Runtime 15.2 이상을 사용하여 일반 공급됩니다. 테이블에 대한 액체 클러스터링 사용을 참조하세요.
형식 확대 기능이 공개 미리보기로 진행 중입니다.
이제 Delta Lake에서 지원하는 테이블에서 형식 확대를 사용하도록 설정할 수 있습니다. 형식 확장이 활성화된 테이블은 기본 데이터 파일을 다시 작성하지 않고 열 형식을 더 넓은 데이터 형식으로 변경할 수 있습니다. 형식 확대참조하세요.
SQL 병합 구문에 추가된 스키마 진화 절
이제 WITH SCHEMA EVOLUTION 절을 SQL 병합 문에 추가하여 작업에 대한 스키마 진화를 사용하도록 설정할 수 있습니다. 병합에 대한
PySpark 사용자 지정 데이터 원본은 공개 미리 보기에서 사용할 수 있습니다.
PySpark DataSource는 Python(PySpark) DataSource API를 사용하여 만들 수 있습니다. 이를 통해 사용자 지정 데이터 원본에서 읽고 Python을 사용하여 Apache Spark의 사용자 지정 데이터 싱크에 쓸 수 있습니다. PySpark 사용자 지정 데이터 원본 참조
applyInPandas 및 mapInPandas는 이제 공유 액세스 모드를 사용하여 Unity 카탈로그 컴퓨팅에서 사용할 수 있습니다.
Databricks Runtime 14.3 LTS 유지 관리 릴리스의 일부로, 이제 Databricks Runtime 14.3 이상을 실행하는 공유 액세스 모드 컴퓨팅에서 applyInPandas 및 mapInPandas UDF 형식이 지원됩니다.
dbutils.widgets.getAll()을 사용하여 Notebook의 모든 위젯을 가져옵니다.
노트북에서 모든 위젯 값을 얻으려면 dbutils.widgets.getAll()를 사용하십시오. 이는 여러 위젯 값을 Spark SQL 쿼리에 전달할 때 특히 유용합니다.
진공 인벤토리 지원
이제 Delta 테이블에서 VACUUM 명령을 실행할 때 고려할 파일 인벤토리를 지정할 수 있습니다.
OSS Delta 문서참조하세요.
Zstandard 압축 함수 지원
이제 zst_compress, zstd_decompress및 try_zstd_decompress 함수를 사용하여 BINARY 데이터를 압축 및 압축 해제할 수 있습니다.
버그 수정
이제 SQL UI의 쿼리 계획이 올바르게 PhotonWriteStage 표시됩니다.
SQL UI에 표시되면 쿼리 계획의 write 명령이 PhotonWriteStage 연산자로 잘못 표시되었습니다. 이 릴리스에서는 PhotonWriteStage 스테이지로 표시하도록 UI가 업데이트됩니다. 이는 UI 변경에만 해당하며 쿼리 실행 방식에는 영향을 주지 않습니다.
Ray 클러스터 시작 문제를 해결하기 위해 Ray가 업데이트됨
이 릴리스에는 Ray 클러스터가 Machine Learning용 Databricks 런타임으로 시작되지 않도록 하는 호환성이 손상되는 변경을 수정하는 패치된 버전의 Ray가 포함되어 있습니다. 이렇게 변경하면 Ray 기능이 15.2 이전 버전의 Databricks Runtime과 동일합니다.
DataFrame.sort() 및 DataFrame.sortWithinPartitions() 함수에 대한 수정된 오류 클래스
이 릴리스에는 PySpark DataFrame.sort() 및 DataFrame.sortWithinPartitions() 함수가 업데이트되어, ZERO_INDEX가 인덱스 인수로 전달될 때 0 오류 클래스가 throw되도록 보장합니다. 이전에는 INDEX_NOT_POSITIVE 오류 클래스가 throw되었습니다.
ipywidgets가 8.0.4에서 7.7.2로 다운그레이드됨
Databricks Runtime 15.0에서 ipywidgets를 8.0.4로 업그레이드하여 발생하는 오류를 해결하려면 Databricks Runtime 15.2에서 ipywidgets가 7.7.2로 다운그레이드됩니다. 이전 Databricks 런타임 버전에 포함된 것과 동일한 버전입니다.
라이브러리 업그레이드
- 업그레이드된 Python 라이브러리:
- 3.1.42에서 3.1.43으로 GitPython
- google-api-core 2.17.1에서 2.18.0으로
- google-auth 2.28.1에서 2.29.0로
- google-cloud-storage 2.15.0에서 2.16.0으로
- googleapis-common-protos 1.62.0에서 1.63.0으로
- ipywidgets 8.0.4에서 7.7.2로
- mlflow-skinny 버전 2.11.1에서 2.11.3으로 업데이트
- s3transfer 버전 0.10.0에서 0.10.1로
- sqlparse 버전 0.4.4에서 0.5.0으로 업그레이드
- typing_extensions 4.7.1에서 4.10.0으로
- 업그레이드된 R 라이브러리:
- 업그레이드된 Java 라이브러리:
- com.amazonaws.aws-java-sdk-autoscaling의 버전이 1.12.390에서 1.12.610으로 변경됩니다.
- com.amazonaws.aws-java-sdk-cloudformation 1.12.390에서 1.12.610으로
- com.amazonaws.aws-java-sdk-cloudfront 1.12.390에서 1.12.610까지
- com.amazonaws.aws-java-sdk-cloudhsm 버전 1.12.390에서 1.12.610까지
- com.amazonaws.aws-java-sdk-cloudsearch 1.12.390에서 1.12.610으로
- com.amazonaws.aws-java-sdk-cloudtrail 1.12.390에서 1.12.610까지
- com.amazonaws.aws-java-sdk-cloudwatch 버전 1.12.390에서 1.12.610으로 업데이트
- com.amazonaws.aws-java-sdk-cloudwatchmetrics 1.12.390에서 1.12.610으로
- com.amazonaws.aws-java-sdk-codedeploy 버전을 1.12.390에서 1.12.610으로 업데이트합니다.
- com.amazonaws.aws-java-sdk-cognitoidentity 버전이 1.12.390에서 1.12.610으로 변경됩니다.
- com.amazonaws.aws-java-sdk-cognitosync 1.12.390에서 1.12.610까지
- com.amazonaws.aws-java-sdk-config 버전 1.12.390부터 1.12.610까지
- com.amazonaws.aws-java-sdk-core 1.12.390에서 1.12.610까지
- com.amazonaws.aws-java-sdk-datapipeline을 1.12.390에서 1.12.610으로 업데이트
- com.amazonaws.aws-java-sdk-directconnect에서 1.12.390부터 1.12.610까지
- com.amazonaws.aws-java-sdk-directory 버전이 1.12.390에서 1.12.610으로 변경됩니다.
- com.amazonaws.aws-java-sdk-dynamodb 1.12.390에서 1.12.610까지
- com.amazonaws.aws-java-sdk-ec2 1.12.390에서 1.12.610까지
- com.amazonaws.aws-java-sdk-ecs 1.12.390에서 1.12.610으로
- com.amazonaws.aws-java-sdk-efs 버전 1.12.390에서 1.12.610으로
- com.amazonaws.aws-java-sdk-elasticache 1.12.390에서 1.12.610까지
- com.amazonaws.aws-java-sdk-elasticbeanstalk 버전 1.12.390에서 1.12.610으로 업데이트됨.
- com.amazonaws.aws-java-sdk-elasticloadbalancing 버전을 1.12.390에서 1.12.610으로 변경
- com.amazonaws.aws-java-sdk-elastictranscoder 버전을 1.12.390에서 1.12.610으로 변경
- com.amazonaws.aws-java-sdk-emr 1.12.390에서 1.12.610으로
- com.amazonaws.aws-java-sdk-glacier 버전 1.12.390에서 1.12.610으로 업그레이드
- com.amazonaws.aws-java-sdk-glue 1.12.390에서 1.12.610까지
- com.amazonaws.aws-java-sdk-iam 버전 1.12.390에서 1.12.610으로
- com.amazonaws.aws-java-sdk-importexport 1.12.390에서 1.12.610로
- com.amazonaws.aws-java-sdk-kinesis의 버전이 1.12.390에서 1.12.610으로 업데이트되었습니다.
- com.amazonaws.aws-java-sdk-kms 버전 1.12.390에서 1.12.610으로
- com.amazonaws.aws-java-sdk-lambda 1.12.390에서 1.12.610까지
- com.amazonaws.aws-java-sdk-logs 버전을 1.12.390에서 1.12.610으로 업데이트합니다.
- com.amazonaws.aws-java-sdk-machinelearning 버전을 1.12.390에서 1.12.610으로 업데이트
- com.amazonaws.aws-java-sdk-opsworks 버전 1.12.390에서 1.12.610으로
- com.amazonaws.aws-java-sdk-rds 버전 1.12.390에서 1.12.610으로 변경
- com.amazonaws.aws-java-sdk-redshift 버전이 1.12.390에서 1.12.610으로 변경되었습니다.
- com.amazonaws.aws-java-sdk-route53 1.12.390~1.12.610
- com.amazonaws.aws-java-sdk-s3 버전이 1.12.390에서 1.12.610으로 업데이트됩니다.
- com.amazonaws.aws-java-sdk-ses 1.12.390부터 1.12.610까지
- com.amazonaws.aws-java-sdk-simpledb 버전 1.12.390에서 1.12.610으로 업데이트
- com.amazonaws.aws-java-sdk-simpleworkflow 버전 1.12.390 ~ 1.12.610
- com.amazonaws.aws-java-sdk-sns 1.12.390에서 1.12.610으로
- com.amazonaws.aws-java-sdk-sqs 버전이 1.12.390에서 1.12.610으로 업데이트되었습니다.
- com.amazonaws.aws-java-sdk-ssm을 1.12.390에서 1.12.610으로 업데이트합니다.
- com.amazonaws.aws-java-sdk-storagegateway 버전 1.12.390에서 1.12.610으로 업데이트됨
- com.amazonaws.aws-java-sdk-sts 버전 1.12.390에서 1.12.610으로
- com.amazonaws.aws-java-sdk-support 1.12.390에서 1.12.610으로
- com.amazonaws.aws-java-sdk-workspaces 1.12.390에서 1.12.610로
- com.amazonaws.jmespath-java에서 버전 1.12.390에서 1.12.610으로 업데이트
Apache Spark
Databricks Runtime 15.2에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 15.1(EoS)포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-47941] [SC-163568] [SS] [연결] PySpark에 대한 사용자에게 ForeachBatch 작업자 초기화 오류 전파
- [SPARK-47412] [SC-163455][sql] LPad/RPad에 대한 데이터 정렬 지원을 추가합니다.
- [SPARK-47907] [SC-163408][sql] 구성 아래에 뱅 넣기
-
[SPARK-46820] [SC-157093][python] 복원하여 오류 메시지 회귀 수정
new_msg - [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Core/MLLib/Resource managers: 구조적 로깅 마이그레이션
- [SPARK-47890] [SC-163324][connect][PYTHON] Scala 및 Python에 변형 함수를 추가합니다.
-
[SPARK-47894] [SC-163086][core][WEBUI] 마스터 UI에 페이지 추가
Environment - [SPARK-47805] [SC-163459][ss] MapState용 TTL 구현
- [SPARK-47900] [SC-163326] 암시적(UTF8_BINARY) 데이터 정렬에 대한 검사 수정
- [SPARK-47902] [SC-163316][sql]컴퓨팅 현재 시간* 식을 접을 수 있게 만들기
- [SPARK-47845] [SC-163315][sql][PYTHON][connect] scala 및 python에 대한 분할 함수의 열 형식 지원
- [SPARK-47754] [SC-162144][sql] Postgres: 다차원 배열 읽기 지원
- [SPARK-47416] [SC-163001][sql] CollationBenchmark #90339에 새 함수 추가
- [SPARK-47839] [SC-163075][sql] RewriteWithExpression에서 집계 버그 수정
- [SPARK-47821] [SC-162967][sql] is_variant_null 식 구현
-
[SPARK-47883] [SC-163184][sql] RowQueue를 사용하여 지연 만들기
CollectTailExec.doExecute - [SPARK-47390] [SC-163306][sql] PostgresDialect는 TIMESTAMP를 TIMESTAMP_TZ 구분합니다.
-
[SPARK-47924] [SC-163282][core] DEBUG 로그 추가
DiskStore.moveFileToBlock - [SPARK-47897] [SC-163183][sql][3.5] scala 2.12에서 ExpressionSet 성능 회귀 수정
- [SPARK-47565] [SC-161786][python] PySpark 작업자 풀 충돌 회복력
- [SPARK-47885] [SC-162989][python][CONNECT] pyspark.resource를 pyspark-connect와 호환되도록 만들기
-
[SPARK-47887] [SC-163122][connect] 사용되지 않는 임포트
spark/connect/common.proto삭제spark/connect/relations.proto - [SPARK-47751] [SC-161991][python][CONNECT] pyspark-connect와 호환되는 pyspark.worker_utils 만들기
- [SPARK-47691] [SC-161760][sql] Postgres: 쓰기 쪽에서 다차원 배열 지원
- [SPARK-47617] [SC-162513][sql] 데이터 정렬을 위한 TPC-DS 테스트 인프라 추가
- [SPARK-47356] [SC-162858][sql] ConcatWs 및 Elt에 대한 지원 추가(모든 데이터 정렬)
-
[SPARK-47543] [SC-161234][connect][PYTHON] Pandas DataFrame에서
dict를MapType로 추론하여 DataFrame 생성 가능하도록 [SPARK-47863] [SC-162974][sql] startsWith & endsWith에 대한 ICU용 정렬 인식 구현 수정- [SPARK-47867] [SC-162966][sql] JSON 검사에서 변형을 지원합니다.
- [SPARK-47366] [SC-162475][sql][PYTHON] PySpark용 VariantVal 추가
- [SPARK-47803] [SC-162726][sql] 변형으로 캐스팅을 지원합니다.
- [SPARK-47769] [SC-162841][sql] schema_of_variant_agg 식을 추가합니다.
- [SPARK-47420] [SC-162842][sql] 테스트 출력 수정
- [SPARK-47430] [SC-161178][sql] MapType에 대한 GROUP BY 지원
- [SPARK-47357] [SC-162751][sql] Upper, Lower, InitCap(모든 데이터 정렬)에 대한 지원 추가
- [SPARK-47788] [SC-162729][ss] 상태 저장 작업을 스트리밍하기 위해 동일한 해시 분할을 확인합니다.
- [SPARK-47776] [SC-162291][ss] 상태 저장 연산자의 키 스키마에서 이진 불일치 정렬 기준을 사용할 수 없습니다.
- [SPARK-47673] [SC-162824][ss] ListState용 TTL 구현
- [SPARK-47818] [SC-162845][connect] SparkConnectPlanner에 계획 캐시를 도입하여 분석 요청의 성능 향상
- [SPARK-47694] [SC-162783][connect] 클라이언트 쪽에서 최대 메시지 크기를 구성할 수 있도록 설정
- [SPARK-47274] 되돌리기 "[SC-162479][python][SQL] 더 유용한 정보 제공..."
- [SPARK-47616] [SC-161193][sql] MySQL에서 Spark SQL 데이터 형식 매핑을 위한 사용자 문서 추가
- [SPARK-47862] [SC-162837][python][CONNECT] proto 파일 생성 문제 수정하기
- [SPARK-47849] [SC-162724][python][CONNECT] pyspark-connect를 릴리스하도록 릴리스 스크립트 변경
- [SPARK-47410] [SC-162518][sql] UTF8String 및 CollationFactory 리팩터링
- [SPARK-47807] [SC-162505][python][ML] pyspark-connect와 pyspark.ml 호환되도록 만들기
- [SPARK-47707] [SC-161768][sql] MySQL Connector/J 5.x용 JSON 형식의 특수 처리
- [SPARK-47765] 되돌리기 "[SC-162636][sql] 구문 분석할 데이터 정렬 추가 SET ...
- [SPARK-47081] [SC-162151][connect][FOLLOW] 진행 상태 처리기의 사용성 개선
- [SPARK-47289] [SC-161877][sql] 확장이 설명 계획에서 확장 정보를 기록하도록 허용
- [SPARK-47274] [SC-162479][python][SQL] PySpark DataFrame API 오류에 더 유용한 컨텍스트 제공
- [SPARK-47765] [SC-162636][sql] 파서 규칙에 SET 코레이션 추가
-
[SPARK-47828] [SC-162722][connect][PYTHON]
DataFrameWriterV2.overwrite이 잘못된 계획으로 실패함 - [SPARK-47812] [SC-162696][connect] ForEachBatch 작업자용 SparkSession의 직렬화 지원
- [SPARK-47253] [SC-162698][core] 이벤트 큐를 완전히 드레이닝하지 않고 LiveEventBus를 중지하도록 허용
- [SPARK-47827] [SC-162625][python] 사용되지 않는 기능에 대한 경고 누락
- [SPARK-47733] [SC-162628][ss] 쿼리 진행률의 transformWithState 연산자 부분에 대한 사용자 지정 메트릭 추가
- [SPARK-47784] [SC-162623][ss] TTLMode 및 TimeoutMode를 단일 TimeMode에 병합합니다.
- [SPARK-47775] [SC-162319][sql] 변형 사양에서 나머지 스칼라 형식을 지원합니다.
- [SPARK-47736] [SC-162503][sql] AbstractArrayType에 대한 지원 추가
- [SPARK-47081] [SC-161758][connect] 쿼리 실행 프로세스를 지원합니다
- [SPARK-47682] [SC-162138][sql] variant에서 캐스트를 지원하는 기능을 제공합니다.
- [SPARK-47802] [SC-162478][sql] 의미 구조체()에서 의미로 되돌리기 () *
- [SPARK-47680] [SC-162318][sql] variant_explode 식을 추가합니다.
-
[SPARK-47809] [SC-162511][sql]
checkExceptionInExpression각 codegen 모드에 대한 오류를 확인해야 합니다. -
[SPARK-41811] [SC-162470][python][CONNECT] 다음으로 구현
SQLStringFormatterWithRelations - [SPARK-47693] [SC-162326][sql] UTF8_BINARY_LCASE 데이터 정렬에 사용되는 UTF8String의 소문자 비교를 위한 최적화 추가
- [SPARK-47541] [SC-162006][sql] 역방향, array_join, concat, 맵 작업을 지원하는 복합 형식의 정렬된 문자열
- [SPARK-46812] [SC-161535][connect][PYTHON] mapInPandas / mapInArrow가 ResourceProfile을 지원하도록 만들기
- [SPARK-47727] [SC-161982][python] SparkSession 및 SparkContext 모두에 대해 SparkConf를 루트 수준으로 만들기
- [SPARK-47406] [SC-159376][sql] MYSQLDialect에서 TIMESTAMP 및 DATETIME 처리
- [SPARK-47081] 되돌리기 "[SC-161758][connect] 지원 쿼리 실행...
- [SPARK-47681] [SC-162043][sql] schema_of_variant 식을 추가합니다.
- [SPARK-47783] [SC-162222] 일부 누락된 SQLSTATEs를 추가하고 YY000을 정리하여 사용...
- [SPARK-47634] [SC-161558][sql] 맵 키 정규화를 사용하지 않도록 설정하기 위한 레거시 지원 추가
- [SPARK-47746] [SC-162022] RocksDBStateEncoder에서 서수 기반 범위 인코딩 구현
- [SPARK-47285] [SC-158340][sql] AdaptiveSparkPlanExec는 항상 context.session을 사용해야 합니다.
- [SPARK-47643] [SC-161534][ss][PYTHON] Python 스트리밍 원본에 대한 pyspark 테스트 추가
- [SPARK-47582] [SC-161943][sql] 구조적 로깅 프레임워크에 변수를 사용하여 Catalyst logInfo 마이그레이션
- [SPARK-47558] [SC-162007][ss] ValueState에 대한 상태 TTL 지원
- [SPARK-47358] [SC-160912][sql][COLLATION] 올바른 데이터 형식을 반환하도록 반복 식 지원 개선
- [SPARK-47504] [SC-162044][sql] StringTypeCollated을 위한 AbstractDataType simpleStrings 해결
- [SPARK-47719] 되돌리기 "[SC-161909][sql] spark.sql.legacy.t 변경...
- [SPARK-47657] [SC-162010][sql] 파일 원본당 데이터 정렬 필터 푸시다운 지원 구현
- [SPARK-47081] [SC-161758][connect] 쿼리 실행 프로세스를 지원합니다
- [SPARK-47744] [SC-161999] 범위 인코더에 음수 값이 있는 바이트 지원 추가
- [SPARK-47713] [SC-162009][sql][CONNECT] 자체 조인 실패 수정
- [SPARK-47310] [SC-161930][ss] 상태 저장소의 값 부분에 있는 여러 값에 대한 병합 작업에 대한 마이크로 벤치마크 추가
- [SPARK-47700] [SC-161774][sql] treeNode를 사용하여 오류 메시지 서식 수정
- [SPARK-47752] [SC-161993][ps][CONNECT] pyspark.pandas가 pyspark-connect와 호환되도록 만들기
- [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] 구조적 로깅 프레임워크에서 logWarning/logInfo API 구현
- [SPARK-47107] [SC-161201][ss][PYTHON] Python 스트리밍 데이터 원본에 대한 파티션 판독기 구현
- [SPARK-47553] [SC-161772][ss] transformWithState 연산자 API에 대한 Java 지원 추가
- [SPARK-47719] [SC-161909][sql] spark.sql.legacy.timeParserPolicy 기본값을 CORRECTED로 변경
- [SPARK-47655] [SC-161761][ss] state-v2에 대한 초기 상태 처리와 타이머 통합
- [SPARK-47665] [SC-161550][sql] SMALLINT를 사용하여 MYSQL에 ShortType 쓰기
- [SPARK-47210] [SC-161777][sql] 확정되지 않은 지원 없이 암시적 캐스팅 추가
- [SPARK-47653] [SC-161767][ss] 음수 숫자 형식 및 범위 검사 키 인코더에 대한 지원 추가
- [SPARK-46743] [SC-160777][sql] 상수 접기 후 발생한 카운트 버그
- [SPARK-47525] [SC-154568][sql] 지도 특성에 대한 하위 쿼리 상관 관계 조인 지원
- [SPARK-46366] [SC-151277][sql] BETWEEN에서 WITH 식을 사용하여 중복 식을 방지합니다.
- [SPARK-47563] [SC-161183][sql] 만들 때 지도 정규화 추가
- [SPARK-42040] [SC-161171][sql] SPJ: 파티션 통계를 보고하는 V2 입력 파티션에 대한 새 API 도입
-
[SPARK-47679] [SC-161549][sql]
HiveConf.getConfVars또는 Hive 설정 이름을 직접 사용하다 -
[SPARK-47685] [SC-161566][sql] 형식에 대한
Stream지원 복원Dataset#groupBy - [SPARK-47646] [SC-161352][sql] 잘못된 형식의 입력에 대해 try_to_number가 NULL을 반환하도록 합니다.
- [SPARK-47366] [SC-161324][python] pyspark 및 데이터 프레임 parse_json 별칭 추가
-
[SPARK-47491] [SC-161176][core]
slf4j-api디렉터리의 다른 경로보다 먼저 jar를 클래스 경로에 추가jars - [SPARK-47270] [SC-158741][sql] Dataset.isEmpty 명령 결과를 로컬에서 프로젝트합니다
-
[SPARK-47364] [SC-158927][core] 플러그 인이 단방향 메시지에 대해 회신할 때 경고 표시
PluginEndpoint - [SPARK-47280] [SC-158350][sql] ORACLE TIMESTAMP WITH에 대한 표준 시간대 제한 제거 TIMEZONE
- [SPARK-47551] [SC-161542][sql] variant_get 식을 추가합니다.
-
[SPARK-47559] [SC-161255][sql] Variant에 대한 Codegen 지원
parse_json - [SPARK-47572] [SC-161351][sql] Window partitionSpec 적용은 순서가 지정됩니다.
- [SPARK-47546] [SC-161241][sql] Parquet에서 Variant를 읽을 때 유효성 검사 개선
-
[SPARK-47543] [SC-161234][connect][PYTHON] Pandas DataFrame에서
dict를MapType로 추론하여 DataFrame 생성 가능하도록 - [SPARK-47485] [SC-161194][sql][PYTHON][connect] 데이터 프레임 API에서 데이터 정렬을 사용하여 열 만들기
-
[SPARK-47641] [SC-161376][sql]
UnaryMinus및Abs의 성능 향상 -
[SPARK-47631] [SC-161325][sql] 사용되지
SQLConf.parquetOutputCommitterClass않는 메서드 제거 -
[SPARK-47674] [SC-161504][core] 기본적으로 사용
spark.metrics.appStatusSource.enabled - [SPARK-47273] [SC-161162][ss][PYTHON]은 Python 데이터 스트림 기록기 인터페이스를 구현합니다.
- [SPARK-47637] [SC-161408][sql] 더 많은 위치에서 errorCapturingIdentifier 사용
- [SPARK-47497] 되돌리기 "[SC-160724][sql] to_csv 배열/구조체/맵/이진의 출력을 예쁜 문자열로 지원합니다."
- [SPARK-47492] [SC-161316][sql] 렉서에서 공백 규칙 확대
- [SPARK-47664] [SC-161475][python][CONNECT] 캐시된 스키마를 사용하여 열 이름 유효성 검사
- [SPARK-47638] [SC-161339][ps][CONNECT] PS에서 열 이름 유효성 검사 건너뛰기
- [SPARK-47363] [SC-161247][ss] 상태 API v2에 대한 상태 판독기 구현이 없는 초기 상태입니다.
- [SPARK-47447] [SC-160448][sql] Parquet TimestampLTZ를 TimestampNTZ로 읽기 허용
-
[SPARK-47497] “[SC-160724][sql]
to_csv출력이array/struct/map/binary를 예쁜 문자열로 지원하도록 한 것을 되돌리기” -
[SPARK-47434] [SC-160122][webui] 링크 수정
statisticsStreamingQueryPage - [SPARK-46761] [SC-159045][sql] JSON 경로의 따옴표 붙은 문자열이 지원되어야 하나요? characters
-
[SPARK-46915] [SC-155729][sql] 오류 클래스 단순화
UnaryMinusAbs및 정렬 - [SPARK-47431] [SC-160919][sql] 세션 수준 기본 데이터 정렬 추가
- [SPARK-47620] [SC-161242][python][CONNECT] 열 정렬에 도우미 함수 추가
- [SPARK-47570] [SC-161165][ss] 타이머 구현과 범위 검사 인코더 변경 내용 통합
-
[SPARK-47497] [SC-160724][sql]
to_csv의 출력을 보기 좋은 문자열로 지원합니다array/struct/map/binary. -
[SPARK-47562] [SC-161166][connect] 리터럴 처리를
plan.py에서 분리하다 - [SPARK-47509] [SC-160902][sql] 람다 및 상위 함수에서 하위 쿼리 식 차단
-
[SPARK-47539] [SC-160750][sql] 메서드
castToString의 반환 값을 다음과 같은 값으로 설정Any => UTF8String - [SPARK-47372] [SC-160905][ss] 상태 저장소 공급자와 함께 사용할 범위 검색 기반 키 상태 인코더에 대한 지원 추가
- [SPARK-47517] [SC-160642][core][SQL] 크기 표시에 Utils.bytesToString을 선호합니다.
-
[SPARK-47243] [SC-158059][ss] 다음의 패키지 이름을 수정합니다.
StateMetadataSource.scala - [SPARK-47367] [SC-160913][python][CONNECT] Spark Connect를 사용하여 Python 데이터 원본 지원
-
[SPARK-47521] [SC-160666][core] 외부 스토리지에서 셔플 데이터를 읽는 동안
Utils.tryWithResource사용 - [SPARK-47474] [SC-160522][core] SPARK-47461 되돌리기 및 일부 설명 추가
- [SPARK-47560] [SC-160914][python][CONNECT] 캐시된 스키마를 사용하여 열 이름의 유효성을 검사하려면 RPC를 사용하지 마세요.
- [SPARK-47451] [SC-160749][sql] to_json(variant) 함수를 지원합니다.
- [SPARK-47528] [SC-160727][sql] DataTypeUtils.canWrite에 UserDefinedType 지원 추가
- [SPARK-44708] “[SC-160734][python] test_reset_index assert_eq를 assertDataFrameEqual을 사용하도록 마이그레이션한 것을 취소합니다”
- [SPARK-47506] [SC-160740][sql] 데이터 정렬된 데이터 형식에 대한 모든 파일 원본 형식에 지원 추가
- [SPARK-47256] [SC-160784][sql] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_102[4-7]
- [SPARK-47495] [SC-160720][core] k8s 클러스터 모드에서 spark.jars에 두 번 추가된 기본 리소스 jar 수정
- [SPARK-47398] [SC-160572][sql] 기능 확장을 허용하도록 InMemoryTableScanExec에 대한 특성 추출
- [SPARK-47479] [SC-160623][sql] 최적화에서 여러 경로 오류 로그를 사용하여 관계에 데이터를 쓸 수 없음
- [SPARK-47483] [SC-160629][sql] 데이터 정렬된 문자열 배열에 대한 집계 및 조인 작업에 대한 지원 추가
- [SPARK-47458] [SC-160237][core] 장벽 단계에 대한 최대 동시 작업을 계산하는 문제 해결
-
[SPARK-47534] [SC-160737][sql]
o.a.s.variant를o.a.s.types.variant로 이동 - [SPARK-47396] [SC-159312][sql] TimestampNTZType에 대해 TIME WITHOUT TIME ZONE의 일반 매핑 추가
- [SPARK-44708] [SC-160734][python] test_reset_index의 assert_eq를 assertDataFrameEqual로 마이그레이션합니다.
- [SPARK-47309] [SC-1577333][sc-160398][SQL] XML: 값 태그에 대한 스키마 유추 테스트 추가
-
[SPARK-47007] [SC-160630][sql] 식 추가
MapSort -
[SPARK-47523] [SC-160645][sql] 사용되지 않는
JsonParser#getCurrentName대체JsonParser#currentName - [SPARK-47440] [SC-160635][sql] 지원되지 않는 구문을 MsSqlServer에 푸시하는 수정
- [SPARK-47512] [SC-160617][ss] RocksDB 상태 저장소 인스턴스 잠금 획득/릴리스와 함께 사용되는 태그 작업 유형
- [SPARK-47346] [SC-159425][python] Python Planner 작업자를 만들 때 디먼 모드를 구성할 수 있도록 설정
-
[SPARK-47446] [SC-160163][코어]
BlockManager전에 경고하도록 하다removeBlockInternal - [SPARK-46526] [SC-156099][sql] 외부 테이블만 참조하는 조건자가 있는 상관 관계 하위 쿼리를 지원합니다 LIMIT.
-
[SPARK-47461] [SC-160297][core] 프라이빗 함수
totalRunningTasksPerResourceProfile제거ExecutorAllocationManager - [SPARK-47422] [SC-160219][sql] 배열 작업에서 데이터 정렬된 문자열 지원
-
[SPARK-47500] [SC-160627][python][CONNECT] 열 이름 처리를
plan.py에서 분리 -
[SPARK-47383] [SC-160144][core] 구성을 지원
spark.shutdown.timeout - [SPARK-47342] [SC-159049] "[SQL] DB2 TIMESTAMP WITH TIME ZONE에 대한 TimestampNTZ 지원" 되돌리기
-
[SPARK-47486] [SC-160491][connect] 사용되지 않는 프라이빗
ArrowDeserializers.getString메서드 제거 - [SPARK-47233] [SC-154486][connect][SS][2/2] 클라이언트 쪽 스트리밍 쿼리 수신기용 클라이언트 및 서버 논리
- [SPARK-47487] [SC-160534][sql] AnsiTypeCoercion에서 코드 간소화
- [SPARK-47443] [SC-160459][sql] 데이터 정렬에 대한 창 집계 지원
- [SPARK-47296] [SC-160457][sql][COLLATION] 비이진 데이터 정렬에 대해 지원되지 않는 함수 실패
- [SPARK-47380] [SC-160164][connect] 서버 쪽에서 SparkSession이 동일한지 확인합니다.
- [SPARK-47327] [SC-160069][sql] 정렬 키 동시성 테스트를 CollationFactorySuite로 이동
- [SPARK-47494] [SC-160495][doc] Spark 3.3 이후 Parquet 타임스탬프 유추의 동작 변경에 대한 마이그레이션 문서 추가
- [SPARK-47449] [SC-160372][ss] 리팩터링 및 분할 목록/타이머 단위 테스트
-
[SPARK-46473] [SC-155663][sql] Reuse
getPartitionedFile메서드 - [SPARK-47423] [SC-160068][sql] 데이터 정렬 - 데이터 정렬이 있는 문자열에 대한 작업 지원 설정
- [SPARK-47439] [SC-160115][python] API 참조 페이지의 Python 데이터 원본 API 문서
-
[SPARK-47457] [SC-160234][sql] Hadoop 3.4+를 처리하도록 수정합니다
IsolatedClientLoader.supportsHadoopShadedClient - [SPARK-47366] [SC-159348][sql] parse_json 구현합니다.
- [SPARK-46331] [SC-152982][sql] DateTime 식 및 version() 식의 하위 집합에서 CodegenFallback 제거
- [SPARK-47395] [SC-159404] 다른 API에 대조 및 정렬 추가
-
[SPARK-47437] [SC-160117][python][CONNECT] 오류 클래스 수정
DataFrame.sort* - [SPARK-47174] [SC-154483][connect][SS][1/2] 클라이언트 쪽 스트리밍 쿼리 수신기용 서버 쪽 SparkConnectListenerBusListener
- [SPARK-47324] [SC-158720][sql] JDBC 중첩 형식에 대한 누락된 타임스탬프 변환 추가
- [SPARK-46962] [SC-158834][ss][PYTHON] Python 스트리밍 데이터 원본 API에 대한 인터페이스 추가 및 Python 스트리밍 데이터 원본을 실행하는 Python 작업자 구현
- [SPARK-45827] [SC-158498][sql] CreatableRelationProvider로 데이터 형식 검사 이동
- ko-KR: [SPARK-47342] [SC-158874][sql] DB2 TIMESTAMP WITH TIME ZONE에 대한 TimestampNTZ 지원
- [SPARK-47399] [SC-159378][sql] 데이터 정렬을 사용하여 식에서 생성된 열을 사용하지 않도록 설정
- [SPARK-47146] [SC-158247][core] 정렬 병합 조인을 수행할 때 스레드 누수 가능
- [SPARK-46913] [SC-159149][ss] transformWithState 연산자를 사용하여 처리/이벤트 시간 기반 타이머에 대한 지원 추가
-
[SPARK-47375] [SC-159063][sql] 다음에서 타임스탬프 매핑에 대한 지침 추가
JdbcDialect#getCatalystType - [SPARK-47394] [SC-159282][sql] H2Dialect에 대한 TIMESTAMP WITH TIME ZONE 지원
- [SPARK-45827] 되돌리기 "[SC-158498][sql] 데이터 형식 검사를 ...로 이동...
- [SPARK-47208] [SC-159279][core] 기본 오버헤드 메모리 재정의 허용
- [SPARK-42627] [SC-158021][spark-26494][SQL] Oracle의 로컬 시간대와 함께 TIMESTAMP 지원
- [SPARK-47055] [SC-156916][python] MyPy 1.8.0 업그레이드
- [SPARK-46906] [SC-157205][ss] 스트리밍에 대한 상태 저장 연산자 변경 확인 추가
- [SPARK-47391] [SC-159283][sql] JDK 8에 대한 테스트 사례 해결 방법 제거
- [SPARK-47272] [SC-158960][ss] 상태 API v2에 대한 MapState 구현을 추가합니다.
- [SPARK-47375] [SC-159278][doc][FollowUp] JDBC의 preferTimestampNTZ 옵션 문서에서 실수 수정
- [SPARK-42328] [SC-157363][sql] 오류 클래스에서 _LEGACY_ERROR_TEMP_1175 제거
- [SPARK-47375] [SC-159261][doc][FollowUp] JDBC 문서의 preferTimestampNTZ 옵션 설명 수정
- [SPARK-47344] [SC-159146] 따옴표가 없는 식별자에서 '-'를 포착하는 것을 넘어서 INVALID_IDENTIFIER 오류를 확장하고 "IS !" 오류를 수정합니다. NULL" 외.
- [SPARK-47340] [SC-159039][sql] StringType 형식 이름의 "collate"를 소문자로 변경
- [SPARK-47087] [SC-157077][sql] 구성 값 검사에서 오류 클래스를 사용하여 Spark 예외를 발생시키다.
- [SPARK-47327] [SC-158824][sql] ICU 데이터 정렬기의 스레드 안전 문제 해결
- [SPARK-47082] [SC-157058][sql] 범위를 벗어난 오류 조건 수정
- [SPARK-47331] [SC-158719][ss] 임의 상태 API v2에 대한 SQL 인코더를 기반으로 하는 사례 클래스/기본 형식/POJO를 사용한 Serialization.
- [SPARK-47250] [SC-158840][ss] RocksDB 상태 공급자 및 열 패밀리 사용에 대한 추가 유효성 검사 및 NERF 변경 내용 추가
- [SPARK-47328] [SC-158745][sql] UCS_BASIC 데이터 정렬 이름을 UTF8_BINARY로 변경합니다.
-
[SPARK-47207] [SC-157845][core] 지원
spark.driver.timeout및DriverTimeoutPlugin - [SPARK-47370] [SC-158956][doc] 마이그레이션 문서 추가: Parquet 파일에 대한 TimestampNTZ 형식 유추
- [SPARK-47309] [SC-158827][sql][XML] 스키마 유추 단위 테스트 추가
-
[SPARK-47295] [SC-158850][sql] 및
startsWith함수에 대한endsWithICU StringSearch가 추가됨 -
[SPARK-47343] [SC-158851][sql]
sqlString변수 값이 즉시 실행 시 null 문자열인 경우 NPE를 수정. -
[SPARK-46293] [SC-150117][connect][PYTHON] 전이적 종속성 사용
protobuf -
[SPARK-46795] [SC-154143][sql]
UnsupportedOperationException에서SparkUnsupportedOperationException을sql/core로 교체하기 - [SPARK-46087] [SC-149023][python] 문서 및 개발 요구 사항의 동기화 PySpark 종속성
- [SPARK-47169] [SC-158848][sql] 데이터 정렬된 열에서 버킷팅 사용 안 함
- [SPARK-42332] [SC-153996][sql] ComplexTypeMergingExpression에서 SparkException으로 요구 변경
- [SPARK-45827] [SC-158498][sql] CreatableRelationProvider로 데이터 형식 검사 이동
- [SPARK-47341] [SC-158825][connect] SparkConnectClientSuite의 몇 가지 테스트에서 명령을 관계로 바꾸기
- [SPARK-43255] [SC-158026][sql] 오류 클래스 _LEGACY_ERROR_TEMP_2020 내부 오류로 대체
- [SPARK-47248] [SC-158494][sql][COLLATION] 향상된 문자열 함수 지원: 포함
-
[SPARK-47334] [SC-158716][sql] 다음 구현을 다시 사용하도록 설정
withColumnRenamedwithColumnsRenamed - [SPARK-46442] [SC-153168][sql] DS V2는 PERCENTILE_CONT 및 PERCENTILE_DISC 푸시 다운을 지원합니다.
- [SPARK-47313] [SC-158747][sql] QueryExecution.toInternalError 내에서 scala.MatchError 처리가 추가되었습니다.
- [SPARK-45827] [SC-158732][sql] Java용 변형 싱글톤 형식 추가
- [SPARK-47337] [SC-158743][sql][DOCKER] DB2 docker 이미지 버전을 11.5.8.0으로 업그레이드
- [SPARK-47302] [SC-158609][sql] 식별자로 키워드 데이터 정렬
-
[SPARK-46817] [SC-154196][core] 명령을 추가하여
spark-daemon.sh사용량 수정decommission -
[SPARK-46739] [SC-153553][sql] 오류 클래스 추가
UNSUPPORTED_CALL -
[SPARK-47102] [SC-158253][sql] 구성 플래그 추가
COLLATION_ENABLED - [SPARK-46774] [SC-153925][sql][AVRO] Avro 쓰기 작업에서 사용되지 않는 mapred.output.compress 대신 mapreduce.output.fileoutputformat.compress를 사용합니다.
- [SPARK-45245] [SC-146961][python][CONNECT] PythonWorkerFactory: 작업자가 다시 연결되지 않는 경우 시간 제한입니다.
- [SPARK-46835] [SC-158355][sql][데이터 정렬] 비 이진 데이터 정렬에 대한 조인 지원
- [SPARK-47131] [SC-158154][sql][COLLATION] 문자열 함수 지원: 포함, 시작됨, 끝남
- [SPARK-46077] [SC-157839][sql] JdbcDialect.compileValue의 TimestampNTZConverter에서 생성된 형식을 고려합니다.
- [SPARK-47311] [SC-158465][sql][PYTHON] PySpark가 Python 경로에 없을 때 Python 예외 억제
- [SPARK-47319] [SC-158599][sql] missingInput 계산 방식 개선
- [SPARK-47316] [SC-158606][sql] Postgres 배열에서 TimestampNTZ 수정
- [SPARK-47268] [SC-158158][sql][데이터 정렬] 데이터 정렬을 사용하여 다시 분할 지원
- [SPARK-47191] [SC-157831][sql] 테이블/뷰를 캐시하지 않는 경우 불필요한 관계 조회 방지
- [SPARK-47168] [SC-158257][sql] 기본 데이터 정렬되지 않은 문자열로 작업할 때 parquet 필터 푸시다운을 사용하지 않도록 설정
-
[SPARK-47236] [SC-158015][core] 존재하지 않는 파일 입력을 건너뛰는 수정
deleteRecursivelyUsingJavaIO - [SPARK-47238] [SC-158466][sql] WSCG에서 생성된 코드를 브로드캐스트 변수로 만들어 실행기 메모리 사용량 줄이기
- [SPARK-47249] [SC-158133][connect] 실제 상태에 관계없이 모든 연결 실행이 중단된 것으로 간주되는 버그 수정
- [SPARK-47202] [SC-157828][python] tzinfo와 관련된 날짜/시간이 오타로 인해 손상되는 문제 수정
- [SPARK-46834] [SC-158139][sql][데이터 정렬] 집계 지원
- [SPARK-47277] [SC-158351][3.5] PySpark util 함수 assertDataFrameEqual은 DF 스트리밍을 지원하지 않아야 합니다.
- [SPARK-47155] [SC-158473][python] 오류 클래스 문제 해결
- [SPARK-47245] [SC-158163][sql] INVALID_PARTITION_COLUMN_DATA_TYPE 대한 오류 코드 개선
-
[SPARK-39771] [SC-158425][core] 너무 많은 수의 셔플 블록이 생성될 때 경고 메시지를
Dependency에 추가합니다. - [SPARK-47277] [SC-158329] PySpark util function assertDataFrameEqual은 DF 스트리밍을 지원하지 않아야 합니다.
- [SPARK-47293] [SC-158356][core] 하나씩 추가하지 않고 sparkSchema를 사용하여 batchSchema 빌드
- [SPARK-46732] [SC-153517][connect]Connect의 아티팩트 관리를 사용하여 하위 쿼리/브로드캐스트 스레드가 작동하게 만들기
- [SPARK-44746] [SC-158332][python] 입력 테이블을 허용하는 함수에 대한 Python UDTF 설명서 추가
- [SPARK-47120] [SC-157517][sql] 하위 쿼리의 Null 비교 푸시다운 데이터 필터가 Parquet 필터에서 NPE를 발생시킵니다.
-
[SPARK-47251] [SC-158291][python] 명령에 대한
args인수에서sql잘못된 형식 차단 -
[SPARK-47251] "[SC-158121][python]
args명령에 대한sql인수에서 잘못된 형식 차단" 되돌리기 - [SPARK-47015] [SC-157900][sql] 데이터 정렬된 열에서 분할 사용 안 함
-
[SPARK-46846] [SC-154308][core]
WorkerResourceInfo를 명시적으로Serializable로 확장하기 - [SPARK-46641] [SC-156314][ss] maxBytesPerTrigger 임계값 추가
-
[SPARK-47244] [SC-158122][connect]
SparkConnectPlanner내부 함수를 비공개로 만들기 -
[SPARK-47266] [SC-158146][connect] 입력과 동일한 형식을 반환합니다
ProtoUtils.abbreviate. - [SPARK-46961] [SC-158183][ss] ProcessorContext를 사용하여 핸들 저장 및 검색
- [SPARK-46862] [SC-154548][sql] 여러 줄 모드에서 CSV 열 정리 사용 안 함
- [SPARK-46950] [SC-155803][core][SQL] 오류 클래스 정렬
-
[SPARK-46368] [SC-153236][core] REST 제출 API 지원
readyz - [SPARK-46806] [SC-154108][python] 인수 형식이 잘못된 경우 spark.table에 대한 오류 메시지 개선
- [SPARK-47211] [SC-158008][connect][PYTHON] 무시된 PySpark Connect 문자열 데이터 정렬 수정
-
[SPARK-46552] [SC-151366][sql]
UnsupportedOperationException에서SparkUnsupportedOperationException을catalyst로 교체하기 - [SPARK-47147] [SC-157842][python][SQL] PySpark 데이터 정렬 문자열 변환 오류 수정
- [SPARK-47144] [SC-157826][connect][SQL][python] collateId protobuf 필드를 추가하여 Spark Connect 데이터 정렬 오류 수정
- [SPARK-46575] [SC-153200][sql][HIVE] HiveThriftServer2.startWithContext DevelopApi 재시도가 가능하고 ThriftServerWithSparkContextInHttpSuite의 불안정성 수정
- [SPARK-46696] [SC-153832][core] ResourceProfileManager에서 함수 호출은 변수 선언 후에 발생해야 합니다.
- [SPARK-47214] [SC-157862][python] 상수 NULL 인수 및 다른 형식의 인수를 구분하는 'analyze' 메서드에 대한 UDTF API 만들기
- [SPARK-46766] [SC-153909][sql][AVRO] AVRO 데이터 원본에 대한 ZSTD 버퍼 풀 지원
- [SPARK-47192] [SC-157819] 일부 _LEGACY_ERROR_TEMP_0035 오류를 변환.
- [SPARK-46928] [SC-157341][ss] 임의 상태 API v2에서 ListState에 대한 지원을 추가합니다.
-
[SPARK-46881] [SC-154612][core] 지원
spark.deploy.workerSelectionPolicy -
[SPARK-46800] [SC-154107][core] 지원
spark.deploy.spreadOutDrivers - [SPARK-45484] [SC-146014][sql] 잘못된 parquet 압축 코덱 lz4raw를 사용하는 버그 수정
- [SPARK-46791] [SC-154018][sql] JavaTypeInference에서 Java 집합 지원
-
[SPARK-46332] [SC-150224][sql] 오류 클래스로 마이그레이션
CatalogNotFoundExceptionCATALOG_NOT_FOUND - [SPARK-47164] [SC-157616][sql] v2에서 더 넓은 형식의 기본값이 v1과 동일하게 동작하도록 좁은 리터럴로 만듭니다.
-
[SPARK-46664] [SC-153181][core] 작업자 및 앱이 없는 경우 신속하게 복구하도록 개선
Master - [SPARK-46759] [SC-153839][sql][AVRO] Codec xz 및 zstandard는 avro 파일에 대한 압축 수준을 지원합니다.
Databricks ODBC/JDBC 드라이버 지원
Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 릴리스된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).
Databricks Runtime 15.2 유지 관리 업데이트참조하세요.
시스템 환경
- 운영 체제: Ubuntu 22.04.4 LTS
- Java: Zulu 8.74.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.11.0
- R: 4.3.2
- 델타 레이크: 3.2.0
설치된 Python 라이브러리
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| asttokens | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.1 |
| azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 |
| black | 23.3.0 | blinker | 1.4 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | certifi | 2023.7.22 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| click | 8.0.4 | cloudpickle | 2.2.1 | comm | 0.1.2 |
| contourpy | 1.0.5 | cryptography | 41.0.3 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.20.0 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | distlib | 0.3.8 |
| entrypoints | 0.4 | executing | 0.8.3 | facets-overview | 1.1.1 |
| filelock | 3.13.1 | fonttools | 4.25.0 | gitdb | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth | 2.29.0 |
| google-cloud-core | 2.4.1 | google-cloud-storage | 2.16.0 | google-crc32c | 1.5.0 |
| google-resumable-media | 2.7.0 | googleapis-common-protos | 1.63.0 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | httplib2 | 0.20.2 | idna | 3.4 |
| importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | jedi | 0.18.1 | jeepney | 0.7.1 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.3 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | packaging | 23.2 |
| pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
| plotly | 5.9.0 | prompt-toolkit | 3.0.36 | proto-plus | 1.23.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 14.0.1 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.52 |
| pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.38 |
| pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 |
| pytz | 2022.7 | PyYAML | 6.0 | pyzmq | 23.2.0 |
| requests | 2.31.0 | rsa | 4.9 | s3transfer | 0.10.1 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | setuptools | 68.0.0 | six | 1.16.0 |
| smmap | 5.0.1 | sqlparse | 0.5.0 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.14.0 | tenacity | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tornado | 6.3.2 |
| traitlets | 5.7.1 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.16 |
| virtualenv | 20.24.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| wheel | 0.38.4 | zipp | 3.11.0 |
설치된 R 라이브러리
R 라이브러리는 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| arrow | 14.0.0.2 | askpass | 1.2.0 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.2 | base64enc | 0.1-3 |
| bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
| bitops | 1.0-7 | blob | 1.2.4 | boot | 1.3-28 |
| brew | 1.0-10 | brio | 1.1.4 | broom | 1.0.5 |
| bslib | 0.6.1 | cachem | 1.0.8 | callr | 3.7.3 |
| caret | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
| class | 7.3-22 | cli | 3.6.2 | clipr | 0.8.0 |
| clock | 0.7.0 | cluster | 2.1.4 | codetools | 0.2-19 |
| colorspace | 2.1-0 | commonmark | 1.9.1 | compiler | 4.3.2 |
| config | 0.3.2 | conflicted | 1.2.0 | cpp11 | 0.4.7 |
| crayon | 1.5.2 | credentials | 2.0.1 | curl | 5.2.0 |
| data.table | 1.15.0 | datasets | 4.3.2 | DBI | 1.2.1 |
| dbplyr | 2.4.0 | desc | 1.4.3 | devtools | 2.4.5 |
| diagram | 1.6.5 | diffobj | 0.3.5 | digest | 0.6.34 |
| downlit | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | ellipsis | 0.3.2 | evaluate | 0.23 |
| fansi | 1.0.6 | farver | 2.1.1 | fastmap | 1.1.1 |
| fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
| foreign | 0.8-85 | forge | 0.2.0 | fs | 1.6.3 |
| future | 1.33.1 | future.apply | 1.11.1 | gargle | 1.5.2 |
| generics | 0.1.3 | gert | 2.0.1 | ggplot2 | 3.4.4 |
| gh | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | globals | 0.16.2 | glue | 1.7.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.2 | grDevices | 4.3.2 | grid | 4.3.2 |
| gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.10.1 |
| gtable | 0.3.4 | hardhat | 1.3.1 | haven | 2.5.4 |
| highr | 0.10 | hms | 1.1.3 | htmltools | 0.5.7 |
| htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
| httr2 | 1.0.0 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-14 | isoband | 0.2.7 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
| KernSmooth | 2.23-21 | knitr | 1.45 | labeling | 0.4.3 |
| later | 1.3.2 | lattice | 0.21-8 | lava | 1.7.3 |
| lifecycle | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
| magrittr | 2.0.3 | markdown | 1.12 | MASS | 7.3-60 |
| Matrix | 1.5-4.1 | memoise | 2.0.1 | methods | 4.3.2 |
| mgcv | 1.8-42 | mime | 0.12 | miniUI | 0.1.1.1 |
| mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.1.1 | parallel | 4.3.2 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.3 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
| plogr | 0.2.0 | plyr | 1.8.9 | praise | 1.0.0 |
| prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.3 |
| prodlim | 2023.08.28 | profvis | 0.3.8 | progress | 1.2.3 |
| progressr | 0.14.0 | promises | 1.2.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.6 | purrr | 1.0.2 |
| R6 | 2.5.1 | ragg | 1.2.7 | randomForest | 4.7-1.1 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | reactable | 0.4.4 |
| reactR | 0.5.0 | readr | 2.1.5 | readxl | 1.4.3 |
| recipes | 1.0.9 | rematch | 2.0.0 | rematch2 | 2.1.2 |
| remotes | 2.4.2.1 | reprex | 2.1.0 | reshape2 | 1.4.4 |
| rlang | 1.1.3 | rmarkdown | 2.25 | RODBC | 1.3-23 |
| roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
| Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
| rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.8 |
| scales | 1.3.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.8.0 | sourcetools | 0.1.7-1 |
| sparklyr | 1.8.4 | spatial | 7.3-15 | splines | 4.3.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.2 |
| stats4 | 4.3.2 | stringi | 1.8.3 | stringr | 1.5.1 |
| survival | 3.5-5 | swagger | 3.33.1 | sys | 3.4.2 |
| systemfonts | 1.0.5 | tcltk | 4.3.2 | testthat | 3.2.1 |
| textshaping | 0.3.7 | tibble | 3.2.1 | tidyr | 1.3.1 |
| tidyselect | 1.2.0 | tidyverse | 2.0.0 | timechange | 0.3.0 |
| timeDate | 4032.109 | tinytex | 0.49 | tools | 4.3.2 |
| tzdb | 0.4.0 | urlchecker | 1.0.1 | usethis | 2.2.2 |
| utf8 | 1.2.4 | utils | 4.3.2 | uuid | 1.2-0 |
| V8 | 4.4.1 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
| vroom | 1.6.5 | waldo | 0.5.2 | whisker | 0.4.1 |
| withr | 3.0.0 | xfun | 0.41 | xml2 | 1.3.6 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
| zeallot | 0.1.0 | zip | 2.3.1 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 아이디 | 아티팩트 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.610 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.610 |
| com.amazonaws | aws-java-sdk-config | 1.12.610 |
| com.amazonaws | aws-java-sdk-core | 1.12.610 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.610 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.610 |
| com.amazonaws | aws-java-sdk-directory | 1.12.610 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.610 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.610 |
| com.amazonaws | aws-java-sdk-efs | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.610 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.610 |
| com.amazonaws | aws-java-sdk-emr | 1.12.610 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.610 |
| com.amazonaws | aws-java-sdk-glue | 1.12.610 |
| com.amazonaws | aws-java-sdk-iam | 1.12.610 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.610 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.610 |
| com.amazonaws | aws-java-sdk-kms | 1.12.610 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.610 |
| com.amazonaws | aws-java-sdk-logs | 1.12.610 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.610 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.610 |
| com.amazonaws | aws-java-sdk-rds | 1.12.610 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.610 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.610 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ses | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.610 |
| com.amazonaws | aws-java-sdk-sns | 1.12.610 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.610 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.610 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.610 |
| com.amazonaws | aws-java-sdk-sts | 1.12.610 |
| com.amazonaws | aws-java-sdk-support | 1.12.610 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.610 |
| com.amazonaws | jmespath-java | 1.12.610 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.17.1 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 23.5.26 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.ibm.icu | icu4j | 72.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.0.5 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | collector | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | arrow-format | 15.0.0 |
| org.apache.arrow | arrow-memory-core | 15.0.0 |
| org.apache.arrow | arrow-memory-netty | 15.0.0 |
| org.apache.arrow | arrow-vector | 15.0.0 |
| org.apache.avro | avro | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | eclipse-collections | 11.1.0 |
| org.eclipse.collections | eclipse-collections-api | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
| org.roaringbitmap | shims | 0.9.45-databricks |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |