다음 릴리스 정보는 Databricks Runtime 18.0(베타)에 대한 정보를 제공합니다.
Azure Databricks는 2025년 12월에 이 버전을 릴리스했습니다.
중요합니다
Databricks Runtime 18.0은 베타 버전입니다. 베타 중에 지원되는 환경의 내용이 변경될 수 있습니다. 변경 내용에는 패키지 또는 설치된 패키지 버전 목록이 포함될 수 있습니다.
새로운 기능 및 개선 사항
- 이제 SQL 스크립팅을 일반적으로 사용할 수 있습니다
- Redshift JDBC 드라이버가 2.1.0.28로 업그레이드됨
- Unity 카탈로그 Python UDF에 대한 공유 격리 실행 환경
- 메트릭 뷰의 SQL 창 함수
- Spark 애플리케이션에 대한 정상 종료
- 무상태 스트리밍 쿼리의 동적 셔플 파티션 조정
- 상태 없는 스트리밍 쿼리에서 적응형 쿼리 실행 및 자동 최적화 셔플
-
FILTER메트릭 뷰에서 측정값 집계 함수를 위한 절 - 리터럴 문자열이 모든 곳에서 결합됨
- 모든 위치에 매개 변수 표식
- IDENTIFIER 모든 위치에 절
- 새 BITMAP_AND_AGG 함수
- 새 KLL_Sketch 함수 라이브러리
- Apache Parquet 라이브러리가 1.16.0으로 업그레이드됨
이제 SQL 스크립팅이 일반적으로 사용 가능합니다.
이제 SQL 스크립팅 기능이 일반적으로 사용할 수 있습니다.
Redshift JDBC 드라이버가 2.1.0.28로 업그레이드됨
Redshift JDBC 드라이버가 버전 2.1.0.28로 업그레이드되었습니다.
Unity 카탈로그 Python UDF를 위한 공유 격리 실행 환경
이제 동일한 소유자가 있는 Unity 카탈로그 Python UDF는 기본적으로 격리 환경을 공유할 수 있습니다. 이렇게 하면 시작해야 하는 개별 환경의 수를 줄여 성능을 향상시키고 메모리 사용량을 줄일 수 있습니다.
UDF가 항상 완전히 격리된 환경에서 실행되도록 하려면 특성 절을 STRICT ISOLATION 추가합니다.
환경 격리를 참조하세요.
메트릭 뷰의 SQL 창 함수
이제 메트릭 뷰에서 SQL 창 함수를 사용하여 실행 중인 합계, 순위 및 기타 창 기반 계산을 계산할 수 있습니다.
Spark 애플리케이션에 대한 정상 종료
이제 Spark 애플리케이션은 정상적인 종료를 지원하므로 애플리케이션이 종료되기 전에 진행 중인 작업을 완료할 수 있습니다.
무상태 스트리밍 쿼리의 동적 셔플 파티션 조정
이제 쿼리를 다시 시작하지 않고 상태 없는 스트리밍 쿼리의 셔플 파티션 수를 변경할 수 있습니다.
상태 없는 스트리밍 쿼리에서 적응형 쿼리 실행 및 자동 최적화 셔플
이제 무상태 스트리밍 쿼리에서 AQE(적응형 쿼리 실행) 및 AOS(자동 최적화 셔플)가 지원됩니다.
FILTER 메트릭 뷰의 측정 집계 함수에 대한 절항
이제 메트릭 뷰에서 FILTER 측정값 집계 함수와 함께 절을 사용하여 메트릭 뷰 측정값을 참조할 때 집계별 필터를 정의할 수 있습니다.
모든 위치에서 리터럴 문자열 병합
순차 문자열 리터럴인 'Hello' ' World'을 'Hello World'로 병합하는 기능이 이제 식에만 한정되었던 것에서 문자열 리터럴이 허용되는 모든 위치로 확장되었습니다.
예: COMMENT 'This' ' is a ' 'comment'. 자세한 내용은 형식을 참조하세요STRING.
모든 위치에 매개 변수 표식
이제 적절한 형식의 리터럴 값을 사용할 수 있는 거의 모든 곳에서 명명된 (:param) 및 명명되지 않은(?) 매개 변수 표식을 사용할 수 있습니다.
이 목록에는 DDL 문에서 사용되는 매개변수 표식, 예를 들어 열 유형 또는 형식은 CREATE VIEW v AS SELECT ? AS c1, DECIMAL(:p, :s), COMMENT ON t IS :comment 등이 포함됩니다.
이 기능을 사용하면 코드를 SQL 삽입 공격에 노출하지 않고도 다양한 SQL 문을 매개 변수화할 수 있습니다.
자세한 내용은 매개 변수 표식을 참조하세요.
IDENTIFIER 모든 곳에 클라우스
문자열을 IDENTIFIER SQL 개체 이름으로 캐스팅하는 절의 도달 범위는 식별자가 허용되는 거의 모든 위치로 확장되었습니다.
매개 변수 표식을 병합하는 리터럴 문자열의 향상된 기능과 함께 이제 열 별칭()에서 열 정의(AS IDENTIFIER(:name)IDENTIFIER(:pk) BIGINT NOT NULL)에 이르기까지 모든 것을 매개 변수화할 수 있습니다. 자세한 내용은 IDENTIFIER 절 참조하세요.
새 BITMAP_AND_AGG 함수
기존 함수 라이브러리 BITMAP 는 새 BITMAP_AND_AGG 함수로 반올림되었습니다.
새 KLL_Sketch 함수 라이브러리
이제 대략적인 분위수 계산을 위해 KLL 스케치를 빌드하는 함수의 새 라이브러리를 사용할 수 있습니다.
-
kll_sketch_agg_bigint집계 함수 -
kll_sketch_get_quantile_bigint함수 -
kll_sketch_merge_bigint함수 -
kll_sketch_agg_double집계 함수 -
kll_sketch_get_quantile_double함수 -
kll_sketch_merge_double함수 -
kll_sketch_agg_float집계 함수 -
kll_sketch_get_quantile_float함수 -
kll_sketch_merge_float함수 -
kll_sketch_get_n_bigint함수 -
kll_sketch_get_rank_bigint함수 -
kll_sketch_to_string_bigint함수 -
kll_sketch_get_n_double함수 -
kll_sketch_get_rank_double함수 -
kll_sketch_to_string_double함수 -
kll_sketch_get_n_float함수 -
kll_sketch_get_rank_float함수 -
kll_sketch_to_string_float함수
Apache Parquet 라이브러리가 1.16.0으로 업그레이드됨
Apache Parquet 라이브러리가 버전 1.16.0으로 업그레이드되었습니다.
동작 변경
- JDK 21은 이제 기본 Java 개발 키트입니다.
-
FSCK REPAIR TABLE는 기본적으로 메타데이터 복구를 포함합니다. - Spark Connect Scala 클라이언트에서 배열 및 맵 유형에 대한 Null 가능성 유지
-
FSCK REPAIR TABLE DRY RUN출력 스키마 업데이트됨 -
SHOW TABLES DROPPEDLIMIT조항을 준수합니다 - 읽기 및 자동 최적화 쓰기에 맞춰 조정된 비례 분배 요소
- PySpark 및 Unity 카탈로그 간에 통합된 Python UDF 실행
- Kafka 커넥터 로그인 모듈 문제에 대한 오류 메시지 개선
-
시간 이동 제한 및
VACUUM보존 동작 -
BinaryType는 기본적으로bytes와 매핑됩니다. PySpark에서 Delta MERGE 및 스트리밍 쓰기 작업에서 보존되는 NULL 구조체 - Parquet 파일에서 물리적으로 구현된 파티션 열
JDK 21은 이제 기본 Java 개발 키트입니다.
Databricks Runtime 18.0은 JDK 21을 기본 Java 개발 키트로 사용합니다. JDK 21은 LTS(장기 지원) 릴리스입니다. 이전에는 기본값이 JDK 17이었으며, 이제 대체 옵션으로 사용할 수 있습니다.
클러스터에 대한 JDK 버전을 구성하는 방법에 대한 자세한 내용은 특정 JDK 버전을 사용하여 클러스터 만들기를 참조하세요.
FSCK REPAIR TABLE 는 기본적으로 메타데이터 복구를 포함합니다.
이제 이 명령에는 FSCK REPAIR TABLE 누락된 데이터 파일을 확인하기 전에 초기 메타데이터 복구 단계가 포함됩니다. 이 명령은 손상된 검사점 또는 잘못된 파티션 값이 있는 테이블에서 작동할 수 있습니다.
Spark Connect Scala 클라이언트에서 배열 및 맵 형식에 대한 Null 가능성이 유지됩니다.
이제 Spark Connect Scala 클라이언트에서 형식화된 리터럴에 대해 배열 및 맵 형식의 Null 허용 여부가 유지됩니다. 이전에는 배열 요소와 맵 값이 항상 null을 허용했습니다.
FSCK REPAIR TABLE DRY RUN 출력 스키마 업데이트됨
이제 출력 스키마의 dataFilePath 열은 FSCK REPAIR TABLE DRY RUN Null을 허용하여 데이터 파일 경로가 적용되지 않는 새 문제 유형 보고를 지원합니다.
SHOW TABLES DROPPED는 LIMIT 절을 준수합니다
이제 SHOW TABLES DROPPED 명령이 LIMIT 절을 올바르게 준수합니다.
읽기와 자동 최적화 쓰기 사이의 조정된 배분 요인
파티션 크기 조정에 대한 배율 인수는 이제 읽기 작업 및 자동 최적화 쓰기에서 소수 값을 일관되게 사용합니다. 이 변경으로 인해 읽기 작업에 대해 다른 수의 작업이 발생할 수 있습니다.
PySpark 및 Unity 카탈로그 간에 통합된 Python UDF 실행
Unity 카탈로그 Python UDF는 이제 Apache Arrow를 기본 교환 형식으로 사용하여 전반적인 성능을 향상시키고 Apache Spark에서 화살표 최적화 Python UDF의 동작에 맞게 조정합니다. 이 변경의 일환으로, Python UDF에 전달되는 TIMESTAMP 값은 더 이상 개체의 datetime 속성에서 tzinfo 표준 시간대 정보를 포함하지 않습니다. 타임스탬프 값 자체는 UTC로 유지되지만 이제 표준 시간대 메타데이터는 삭제됩니다.
UDF가 표준 시간대 정보를 사용한다면 date = date.replace(tzinfo=timezone.utc)을 통해 복원해야 합니다. 자세한 내용은 입력에 대한 타임스탬프 표준 시간대 동작을 참조하세요.
Kafka 커넥터 로그인 모듈 문제에 대한 오류 메시지 개선
Azure Databricks는 비음영 로그인 모듈 클래스를 사용하는 Kafka 커넥터에 관련된 오류 메시지를 제공하며, 올바른 음영 클래스 접두사(kafkashaded.org.apache.kafka 또는 kafkashaded.software.amazon.msk.auth.iam)를 사용하도록 안내합니다.
시간 이동 제한 및 VACUUM 보존 동작
이제 Azure Databricks는 모든 테이블에 대한 임계값을 초과하는 시간 이동 쿼리를 deletedFileRetentionDuration 차단합니다. 이 VACUUM 명령은 값이 0시간인 경우를 제외하고 보존 기간 인수를 무시합니다.
deletedFileRetentionDuration는 logRetentionDuration보다 크게 설정할 수 없으며, 그 반대도 마찬가지입니다.
BinaryType는 PySpark에서 기본적으로 bytes와 매핑됩니다.
BinaryType 이제 PySpark에서 Python bytes 에 일관되게 매핑됩니다. 이전에는 컨텍스트에 따라 PySpark가 BinaryType를 bytes 또는 bytearray로 매핑했습니다. 이전 동작을 복원하려면 spark.sql.execution.pyspark.binaryAsBytes을/를 false로 설정하십시오.
Delta MERGE, UPDATE 및 스트리밍 쓰기 작업에서 NULL 구조가 보존됩니다
이제 델타 MERGE, UPDATE, 및 구조체 형식 캐스트를 포함하는 스트리밍 쓰기 작업에서 NULL 구조체가 NULL로 유지됩니다. 이전에는 NULL 구조체가 NULL 필드가 있는 구조체로 확장되었습니다. 예를 들어 이제 NULL 구조체는 모든 NULL 필드 값이 있는 구조체로 확장되는 대신 NULL로 유지됩니다.
Parquet 파일에서 물리화된 파티션 열
분할된 델타 테이블은 이제 새로 작성된 Parquet 데이터 파일에서 파티션 열을 구체화합니다. 이전에는 파티션 값이 델타 트랜잭션 로그 메타데이터에 저장되고 디렉터리 경로에 반영되었지만 Parquet 파일 자체에 열로 작성되지 않았습니다. 이 변경 내용은 Apache Iceberg 및 UniForm 동작과 일치하며 새로 작성된 파일에 추가 파티션 열이 포함되어 있으므로 Delta Lake에서 작성한 Parquet 파일을 직접 읽는 워크로드에 영향을 줄 수 있습니다.
라이브러리 업그레이드
업그레이드된 Python 라이브러리:
- anyio 4.6.2 버전에서 4.7.0 버전으로 업데이트
- asttokens 2.0.5에서 3.0.0으로
- azure-core 1.34.0에서 1.36.0으로
- azure-mgmt-core 1.5.0에서 1.6.0으로
- azure-storage-blob 12.23.0에서 12.27.1로
- azure-storage-file-datalake 12.17.0에서 12.22.0까지
- boto3의 버전을 1.36.2에서 1.40.45로 변경
- botocore 1.36.3에서 1.40.45로
- 2025.1.31에서 2025.4.26까지 인증
- 8.1.7에서 8.1.8로 클릭
- 43.0.3에서 44.0.1로 암호화
- 3.0.12에서 3.1.5로의 시톤
- databricks-sdk 0.49.0에서 0.67.0으로
- 1.2.13에서 1.2.18로 사용되지 않음
- 0.8.3에서 1.2.0으로 실행
- fastapi 0.115.12에서 0.121.0으로
- google-api-core 2.20.0에서 2.28.1로
- google-auth 2.40.0에서 2.43.0으로 업데이트
- google-cloud-core 2.4.3에서 2.5.0으로
- google-cloud-storage 3.1.0에서 3.5.0으로
- 0.14.0에서 0.16.0까지의 h11
- httpcore 1.0.2에서 1.0.9로
- httpx 버전을 0.27.0에서 0.28.1로 업데이트
- isodate from 0.6.1 to 0.7.2
- Jinja2에서 3.1.5에서 3.1.6으로
- jupyter-events 0.10.0에서 0.12.0으로
- jupyter-lsp 2.2.0에서 2.2.5로
- jupyter_server 2.14.1에서 2.15.0으로
- jupyter_server_terminals 0.4.4에서 0.5.3으로
- mistune 2.0.4에서 3.1.2로
- mlflow-skinny 3.0.1에서 3.5.1로
- mmh3가 5.1.0에서 5.2.0으로
- msal 1.32.3에서 1.34.0로
- nbclient의 버전을 0.8.0에서 0.10.2로 변경
- nbconvert 7.16.4에서 7.16.6으로
- notebook_shim 0.2.3에서 0.2.4로
- opentelemetry-api 1.32.1에서 1.38.0으로
- opentelemetry-sdk 1.32.1에서 1.38.0으로
- opentelemetry-semantic-conventions 0.53b1에서 0.59b0까지
- platformdirs 3.10.0에서 4.3.7로
- prometheus_client 0.21.0에서 0.21.1로
- psycopg2 2.9.3에서 2.9.11로
- 19.0.1에서 21.0.0까지의 pyarrow
- Pygments 2.15.1에서 2.19.1까지
- ** pyiceberg 0.9.0에서 0.10.0으로
- python-lsp-server 1.12.0에서 1.12.2로
- 로프를 1.12.0에서 1.13.0으로
- s3transfer의 버전 0.11.3에서 0.14.0로
- scipy 1.15.1 버전에서 1.15.3 버전으로
- setuptools 버전을 74.0.0에서 78.1.1로 업데이트합니다.
- 1.16.0에서 1.17.0으로 여섯 가지 변경 사항
- 0.2.0에서 0.6.3까지의 스택 데이터
- starlette 0.46.2에서 0.49.3로
- 토네이도 6.4.2에서 6.5.1로
- 타입스-python-dateutil 버전이 2.9.0.20241206에서 2.9.0.20251008로 변경됩니다.
- uvicorn 버전을 0.34.2에서 0.38.0으로
- webcolors 버전 24.11.1에서 25.10.0으로 변경
업그레이드된 R 라이브러리:
- 화살표를 19.0.1에서 22.0.0으로
- "base를 4.4.2에서 4.5.1로 변경"
- bigD 0.3.0에서 0.3.1로
- 빗자루 1.0.7에서 1.0.10까지
- clock 소프트웨어 버전을 0.7.2에서 0.7.3으로 업데이트합니다.
- commonmark 버전 1.9.5에서 2.0.0으로
- 컴파일러 4.4.2에서 4.5.1로
- 2.0.2에서 2.0.3까지의 자격 증명
- curl 6.4.0에서 7.0.0으로
- data.table 버전 1.17.0에서 1.17.8로 업데이트
- 4.4.2에서 4.5.1까지의 데이터 세트
- dbplyr 버전을 2.5.0에서 2.5.1로 변경
- devtools 2.4.5에서 2.4.6으로
- diffobj 0.3.5에서 0.3.6으로
- 다이제스트 버전 0.6.37에서 0.6.39로
- 0.4.4에서 0.4.5로 다운라이트
- 1.3.1에서 1.3.2로 dtplyr
- 1.0.3부터 1.0.5까지 평가합니다
- fansi 1.0.6에서 1.0.7로
- forcats from 1.0.0 to 1.0.1
- fs 버전 1.6.5에서 1.6.6으로
- 미래 1.34.0에서 1.68.0로
- future.apply 1.11.3에서 1.20.0으로
- gargle 1.5.2에서 1.6.0으로 업데이트
- gert 2.1.4에서 2.2.0으로 업데이트
- ggplot2 버전 3.5.1에서 4.0.1로
- gh에서 1.4.1에서 1.5.0으로
- git2r 버전이 0.35.0에서 0.36.2로 업그레이드됨
- glmnet 버전이 4.1-8에서 4.1-10으로 업데이트되었습니다.
- googledrive 2.1.1에서 2.1.2로
- googlesheets4에서 1.1.1에서 1.1.2로
- 그래픽 4.4.2에서 4.5.1로
- grDevices 4.4.2에서 4.5.1로
- 그리드를 4.4.2에서 4.5.1로
- gt가 0.11.1에서 1.1.0으로
- 1.4.1에서 1.4.2로 하드햇
- 2.5.4에서 2.5.5로
- hms 버전 1.1.3에서 1.1.4로 업데이트
- httpuv 1.6.15에서 1.6.16으로
- httr2 1.1.1에서 1.2.1로
- jsonlite 1.9.1에서 2.0.0으로
- 이후 1.4.1에서 1.4.4로
- 용암 1.8.1에서 1.8.2로
- listenv 0.9.1 버전에서 0.10.0 버전으로
- 2.0.3에서 2.0.4로의 magrittr
- 마크다운 버전 1.13에서 2.0으로
- 메서드를 4.4.2에서 4.5.1로
- miniUI를 0.1.1.1에서 0.1.2로
- mlflow 2.20.4에서 3.6.0으로
- openssl 버전을 2.3.3에서 2.3.4로 업데이트
- 4.4.2에서 4.5.1로 병렬 처리
- 1.42.0에서 1.45.1로 병렬적으로 병행 업데이트합니다.
- pillar 1.11.0에서 1.11.1로
- pkgbuild 1.4.6에서 1.4.8로
- pkgdown 버전 2.1.1에서 2.2.0으로 업데이트
- pkgload from 1.4.0 to 1.4.1
- pROC 1.18.5에서 1.19.0.1로
- prodlim 2024년 6월 25일부터 2025년 4월 28일까지
- progressr 버전 0.15.1에서 0.18.0으로 업데이트
- 1.3.2에서 1.5.0으로 약속
- ps 1.9.0에서 1.9.1로
- purrr를 1.0.4에서 1.2.0으로 업데이트
- ragg 1.3.3에서 1.5.0으로
- Rcpp 버전을 1.0.14부터 1.1.0까지
- readr 2.1.5에서 2.1.6으로
- 1.2.0에서 1.3.1로의 레시피
- reshape2를 1.4.4에서 1.4.5로
- rmarkdown 2.29에서 2.30으로
- roxygen2의 버전이 7.3.2에서 7.3.3으로 업그레이드됨
- rprojroot의 버전을 2.0.4에서 2.1.1로 업데이트합니다.
- RSQLite 2.3.9에서 2.4.4로
- rversions 버전 2.1.2에서 3.0.0까지
- rvest 버전 1.0.4에서 1.0.5로 업데이트
- sass 버전 0.4.9에서 0.4.10으로 변경
- 크기가 1.3.0에서 1.4.0으로 조정됩니다.
- 1.10.0에서 1.11.1로 반짝입니다.
- sparklyr를 1.9.1에서 1.9.3으로
- 4.0.0에서 4.1.0까지의 SparkR
- sparsevctrs 0.3.1에서 0.3.4로
- 4.4.2에서 4.5.1까지의 스플라인
- 통계는 4.4.2에서 4.5.1로
- stats4 4.4.2에서 4.5.1로 업데이트
- stringr 버전 1.5.1에서 1.6.0으로 업데이트
- systemfonts 버전 1.2.1에서 1.3.1로 업데이트
- tcltk 버전 4.4.2에서 4.5.1로 업데이트
- testthat 버전 3.2.3에서 3.3.0으로 업데이트
- textshaping 1.0.0 버전에서 1.0.4 버전으로 업데이트
- timeDate 4041.110에서 4051.111까지
- tinytex 0.56에서 0.58로
- 4.4.2에서 4.5.1까지의 도구
- usethis 3.1.0에서 3.2.1로 업데이트
- utils 버전 4.4.2에서 4.5.1로
- 6.0.2에서 8.0.1로 V8
- vroom 1.6.5에서 1.6.6으로 업데이트
- waldo 0.6.1에서 0.6.2로
- xfun 버전 0.51에서 0.54로
- xml2 1.3.8에서 1.5.0으로
- zeallot 버전 0.1.0에서 0.2.0으로 업데이트
- zip을 버전 2.3.2에서 2.3.3으로
업그레이드된 Java 라이브러리:
- com.amazonaws.amazon-kinesis-client를 1.12.0에서 1.15.3으로
- com.amazonaws.aws-java-sdk-autoscaling 버전 1.12.638에서 1.12.681로
- com.amazonaws.aws-java-sdk-cloudformation 버전을 1.12.638에서 1.12.681로 변경
- com.amazonaws.aws-java-sdk-cloudfront 1.12.638에서 1.12.681로
- com.amazonaws.aws-java-sdk-cloudhsm 버전을 1.12.638에서 1.12.681로 업데이트합니다.
- com.amazonaws.aws-java-sdk-cloudsearch 버전 1.12.638에서 1.12.681로 업데이트
- com.amazonaws.aws-java-sdk-cloudtrail 1.12.638부터 1.12.681까지
- com.amazonaws.aws-java-sdk-cloudwatch 버전 1.12.638에서 1.12.681로
- com.amazonaws.aws-java-sdk-cloudwatchmetrics 1.12.638 버전에서 1.12.681 버전으로
- com.amazonaws.aws-java-sdk-codedeploy 1.12.638에서 1.12.681까지
- com.amazonaws.aws-java-sdk-cognitoidentity 버전 1.12.638에서 1.12.681로 업데이트
- com.amazonaws.aws-java-sdk-cognitosync의 버전을 1.12.638에서 1.12.681로 업데이트합니다.
- com.amazonaws.aws-java-sdk-config 버전이 1.12.638에서 1.12.681로 업데이트되었습니다.
- com.amazonaws.aws-java-sdk-core 1.12.638에서 1.12.681로
- com.amazonaws.aws-java-sdk-sql-scriptdatapipeline from 1.12.638 to 1.12.681
- com.amazonaws.aws-java-sdk-directconnect를 1.12.638에서 1.12.681로 변경
- com.amazonaws.aws-java-sdk-directory 1.12.638에서 1.12.681로
- com.amazonaws.aws-java-sdk-dynamodb 버전이 1.12.638에서 1.12.681로 업데이트되었습니다.
- com.amazonaws.aws-java-sdk-ec2 버전을 1.12.638에서 1.12.681로
- com.amazonaws.aws-java-sdk-ecs 버전을 1.12.638에서 1.12.681로 변경
- com.amazonaws.aws-java-sdk-efs 버전 1.12.638에서 1.12.681로 업데이트됨
- com.amazonaws.aws-java-sdk-elasticache 1.12.638 ~ 1.12.681
- com.amazonaws.aws-java-sdk-elasticbeanstalk 버전 1.12.638에서 1.12.681로 업데이트
- com.amazonaws.aws-java-sdk-elasticloadbalancing을(를) 1.12.638에서 1.12.681로 업데이트
- com.amazonaws.aws-java-sdk-elastictranscoder 버전 1.12.638에서 1.12.681로 업데이트
- com.amazonaws.aws-java-sdk-emr 1.12.638에서 1.12.681로 업그레이드
- com.amazonaws.aws-java-sdk-glacier 1.12.638에서 1.12.681까지
- com.amazonaws.aws-java-sdk-glue 1.12.638에서 1.12.681까지
- com.amazonaws.aws-java-sdk-iam 1.12.638에서 1.12.681로
- com.amazonaws.aws-java-sdk-importexport 1.12.638에서 1.12.681로
- com.amazonaws.aws-java-sdk-kinesis 버전을 1.12.638에서 1.12.681로 변경합니다.
- com.amazonaws.aws-java-sdk-kms 버전 1.12.638에서 1.12.681로
- com.amazonaws.aws-java-sdk-lambda 1.12.638부터 1.12.681까지
- com.amazonaws.aws-java-sdk-logs의 버전을 1.12.638에서 1.12.681로 업그레이드했습니다.
- com.amazonaws.aws-java-sdk-machinelearning from 1.12.638 to 1.12.681
- com.amazonaws.aws-java-sdk-opsworks 버전을 1.12.638에서 1.12.681로 업데이트
- com.amazonaws.aws-java-sdk-rds from 1.12.638 to 1.12.681
- com.amazonaws.aws-java-sdk-redshift 1.12.638에서 1.12.681로
- com.amazonaws.aws-java-sdk-route53 1.12.638에서 1.12.681로
- com.amazonaws.aws-java-sdk-s3 1.12.638 버전에서 1.12.681 버전으로
- com.amazonaws.aws-java-sdk-ses를 버전 1.12.638에서 1.12.681로 업그레이드합니다.
- com.amazonaws.aws-java-sdk-simpledb 버전 1.12.638에서 1.12.681로 업데이트
- com.amazonaws.aws-java-sdk-simpleworkflow 1.12.638에서 1.12.681로
- com.amazonaws.aws-java-sdk-sns 1.12.638에서 1.12.681까지
- com.amazonaws.aws-java-sdk-sqs 버전을 1.12.638에서 1.12.681로 업그레이드
- com.amazonaws.aws-java-sdk-ssm 버전 1.12.638에서 1.12.681로 변경
- com.amazonaws.aws-java-sdk-storagegateway 1.12.638에서 1.12.681까지
- com.amazonaws.aws-java-sdk-sts 버전을 1.12.638에서 1.12.681로 업데이트
- 소프트웨어 버전 업데이트: com.amazonaws.aws-java-sdk-support 1.12.638에서 1.12.681로
- com.amazonaws.aws-java-sdk-workspaces 1.12.638에서 1.12.681로
- com.amazonaws.jmespath-java 버전을 1.12.638에서 1.12.681로
- com.databricks.databricks-sdk-java 0.27.0에서 0.53.0까지
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310을 2.18.2에서 2.18.3으로 업데이트합니다.
- com.github.luben.zstd-jni 1.5.6-10에서 1.5.7-6으로
- com.google.flatbuffers.flatbuffers-java 24.3.25 ~ 25.2.10
- com.google.guava.failureaccess 1.0.2에서 1.0.3으로
- com.google.guava.guava 33.4.0-jre에서 33.4.8-jre까지
- com.microsoft.sqlserver.mssql-jdbc 버전이 11.2.3.jre8에서 12.8.0.jre8로 업데이트되었습니다.
- commons-cli.commons-cli에서 1.9.0에서 1.10.0으로
- commons-codec.commons-codec: 1.17.2에서 1.19.0으로
- commons-fileupload.commons-fileupload 버전 1.5에서 1.6.0으로 변경
- commons-io.commons-io 버전 2.18.0에서 2.21.0으로 업데이트
- dev.ludovic.netlib.arpack 3.0.3에서 3.0.4로
- dev.ludovic.netlib.blas 3.0.3에서 3.0.4로
- dev.ludovic.netlib.lapack 3.0.3에서 3.0.4로
- io.delta.delta-sharing-client_2.13 버전 1.3.5에서 1.3.6으로
- io.dropwizard.metrics.metrics-annotation 버전 4.2.30에서 4.2.37로 업데이트
- io.dropwizard.metrics.metrics-core를 4.2.30에서 4.2.37로
- io.dropwizard.metrics.metrics-graphite를 4.2.30에서 4.2.37로
- io.dropwizard.metrics.metrics-healthchecks 버전 4.2.30에서 4.2.37로 업데이트
- io.dropwizard.metrics.metrics-jmx 4.2.30를 4.2.37로
- io.dropwizard.metrics.metrics-json 버전을 4.2.30에서 4.2.37로 업데이트
- io.dropwizard.metrics.metrics-jvm에서 4.2.30 버전에서 4.2.37 버전으로
- io.dropwizard.metrics.metrics-servlets 버전 4.2.30에서 4.2.37
- io.netty.netty-all을 4.1.118.Final에서 4.2.7.Final로
- io.netty.netty-buffer가 4.1.118.Final에서 4.2.7.Final로 업데이트됩니다.
- io.netty.netty-codec 4.1.118.Final에서 4.2.7.Final로
- 4.1.118.Final에서 4.2.7.Final까지 io.netty.netty-codec-http
- io.netty.netty-codec-http2를 4.1.118.Final에서 4.2.7.Final로 업데이트
- io.netty.netty-codec-socks 버전을 4.1.118.Final에서 4.2.7.Final로
- io.netty.netty-common 버전 4.1.118.Final에서 4.2.7.Final로 변경
- 4.1.118.Final에서 4.2.7.Final까지의 io.netty.netty-handler
- io.netty.netty-handler-proxy 4.1.118.Final에서 4.2.7.Final로
- io.netty.netty-resolver 4.1.118.Final에서 4.2.7.Final로
- io.netty.netty-tcnative-boringssl-static에서 2.0.70.Final-db-r0-windows-x86_64에서 2.0.74.Final-db-r0-windows-x86_64로
- io.netty.netty-tcnative-classes 2.0.70.Final에서 2.0.74.Final으로
- io.netty.netty-transport 4.1.118.Final에서 4.2.7.Final로
- io.netty.netty-transport-classes-epoll 4.1.118.Final에서 4.2.7.Final로
- io.netty.netty-transport-classes-kqueue 4.1.118.Final에서 4.2.7.Final로
- io.netty.netty-transport-native-epoll에서 4.1.118.Final-linux-x86_64에서 4.2.7.Final-linux-x86_64로 업데이트됩니다.
- io.netty.netty-transport-native-kqueue에서 4.1.118.Final-osx-x86_64부터 4.2.7.Final-osx-x86_64으로
- io.netty.netty-transport-native-unix-common에서 4.1.118.Final에서 4.2.7.Final로
- joda-time.joda-time 2.13.0부터 2.14.0까지
- org.apache.arrow.arrow-format 18.2.0에서 18.3.0으로 업그레이드
- org.apache.arrow.arrow-memory-core 버전을 18.2.0에서 18.3.0으로 업데이트
- org.apache.arrow.arrow-memory-netty 버전을 18.2.0에서 18.3.0으로 변경
- org.apache.arrow.arrow-memory-netty-buffer-patch이 18.2.0에서 18.3.0으로 업그레이드됨
- org.apache.arrow.arrow-vector 18.2.0에서 18.3.0으로
- org.apache.avro.avro 1.12.0에서 1.12.1로
- org.apache.avro.avro-ipc 버전 1.12.0에서 1.12.1로 업데이트
- org.apache.avro.avro-mapred 버전을 1.12.0에서 1.12.1로 변경
- org.apache.commons.commons-collections4 버전을 4.4에서 4.5.0으로
- org.apache.commons.commons-compress가 버전 1.27.1에서 1.28.0으로 업데이트되었습니다.
- org.apache.commons.commons-lang3 3.17.0에서 3.19.0으로
- org.apache.commons.commons-text 버전을 1.13.0에서 1.14.0으로 변경
- org.apache.curator.curator-client 버전 5.7.1에서 5.9.0로 업데이트
- org.apache.curator.curator-framework을 5.7.1에서 5.9.0으로 업데이트하십시오.
- org.apache.curator.curator-recipes 버전 5.7.1에서 5.9.0으로
- org.apache.datasketches.datasketches-java를 6.1.1에서 6.2.0으로
- org.apache.hadoop.hadoop-client-runtime from 3.4.1 to 3.4.2
- org.apache.orc.orc-core 2.1.1-shaded-protobuf에서 2.2.0-shaded-protobuf로
- org.apache.orc.orc-format 1.1.0-shaded-protobuf 버전에서 1.1.1-shaded-protobuf 버전으로 업데이트
- 버전 업데이트: org.apache.orc.orc-mapreduce를 2.1.1-shaded-protobuf에서 2.2.0-shaded-protobuf로 변경합니다.
- org.apache.orc.orc-shims의 버전이 2.1.1에서 2.2.0으로 변경됩니다.
- org.apache.xbean.xbean-asm9-shaded from 4.26 to 4.28
- org.apache.zookeeper.zookeeper 3.9.3에서 3.9.4로
- org.apache.zookeeper.zookeeper-jute 버전 3.9.3에서 3.9.4로 업데이트
- org.eclipse.jetty.jetty-client 버전이 9.4.53.v20231009에서 10.0.26으로 업그레이드됩니다.
- org.eclipse.jetty.jetty-http 버전이 9.4.53.v20231009에서 10.0.26으로 변경되었습니다.
- org.eclipse.jetty.jetty-io 버전을 9.4.53.v20231009에서 10.0.26으로 업데이트
- org.eclipse.jetty.jetty-jndi 버전 9.4.53.v20231009에서 10.0.26으로
- org.eclipse.jetty.jetty-plus 버전 9.4.53.v20231009에서 10.0.26으로 업데이트
- org.eclipse.jetty.jetty-proxy 버전이 9.4.53.v20231009에서 10.0.26으로 업데이트됩니다.
- org.eclipse.jetty.jetty-security 버전 9.4.53.v20231009에서 10.0.26으로 업데이트
- org.eclipse.jetty.jetty-server 버전 9.4.53.v20231009에서 10.0.26으로 업데이트합니다.
- org.eclipse.jetty.jetty-servlet 9.4.53.v20231009에서 10.0.26으로 변경
- org.eclipse.jetty.jetty-servlets 9.4.53.v20231009에서 10.0.26로 변경
- org.eclipse.jetty.jetty-util 버전을 9.4.53.v20231009에서 10.0.26으로 업데이트합니다.
- org.eclipse.jetty.jetty-webapp 버전 9.4.53.v20231009에서 10.0.26으로 업데이트됨
- org.eclipse.jetty.jetty-xml 버전을 9.4.53.v20231009에서 10.0.26으로 변경
- org.mlflow.mlflow-spark_2.13에서 2.9.1로 2.22.1로 업데이트
- org.objenesis.objenesis 3.3에서 3.4로
- org.scala-lang.modules.scala-xml_2.13부터 2.3.0에서 2.4.0까지
Apache Spark
Databricks Runtime 18.0(베타)에는 Apache Spark 4.0.0이 포함됩니다. 이 릴리스에는 이전 버전에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- SPARK-54536 Shuffle FetchWaitTime 누락으로 인해 수집 생성 대기 클라이언트 비용 발생
- SPARK-54534 Hive 관련 레거시 오류 코드를 적절한 오류 조건으로 마이그레이션
-
SPARK-54565 SparkBuildInfo는 자체 클래스 로더에서 로드
spark-version-info.properties해야 합니다. - SPARK-54533 올바른 값으로 메트릭 ExecutorSource.METRIC_RESULT_SIZE 설정
- SPARK-54478 연결 호환성 테스트 CI에 대한 스트리밍 테스트 다시 사용
-
SPARK-54552 다음을 사용하여 BINARY 데이터 형식을 처리하도록 수정
SparkConnectResultSet.getStringUTF_8 - SPARK-54501 Hive 메타스토어 파티션 필터 오류에 대한 오류 처리 개선
-
SPARK-54550 에서
ConnectException를 원활하게 처리SparkConnectStatement.close() -
SPARK-54020 Spark 선언적 파이프라인에 대한 쿼리 함수 내에서 Python API 지원
spark.sql(...) - SPARK-53127 CTE 정규화를 사용하여 무제한 재귀에 대한 ALL 수정 LIMIT
- SPARK-50072 큰 값을 포함한 간격 구문 분석 시 ArithmeticException 처리
-
SPARK-54299 에서 잘못된 예제 쿼리 수정
WindowGroupLimit - SPARK-54505 makeNegative에서 createMetrics 호출의 인수 순서 수정
-
SPARK-54462 에 대한 mixin 추가
SupportsV1OverwriteWithSaveAsTableTableProvider - SPARK-54540 Connect JDBC 드라이버에 대한 몇 가지 사소한 수정 사항
-
SPARK-54508 파일 경로를 보다 강력하게 해결
spark-pipelines하도록 수정spec - SPARK-54087 Spark 실행기 시작 작업이 실패하면 작업 종료 메시지를 반환해야 합니다.
-
SPARK-53797
FileStreamSource.takeFilesUntilMax대신zipWithIndex를 사용하여indices사용을 방지하는 수정 - SPARK-54418 오류 메시지 및 코드 서식 수정
- SPARK-54114 SparkConnectDatabaseMetaData에 대한 getColumns 지원
- SPARK-54209 SparkConnectResultSet에서 TIMESTAMP 형식 지원
- SPARK-54208 SparkConnectResultSet에서 TIME 형식 지원
- SPARK-54528 OOM을 방지하기 위해 URLClassLoader를 적극적으로 닫습니다.
-
SPARK-54464 에서 중복
output.reserve호출 제거assembleVariantBatch - SPARK-53635 Seq[Row] 형식의 입력 인수를 사용하여 Scala UDF 지원
- SPARK-54493 MapType에 대한 assertSchemaEqual 수정
- SPARK-52515 플래그를 켠 상태와 끈 상태에서 approx_top_k 테스트
- SPARK-54413 부트스트랩 v4.4.1을 v4.6.2로 업그레이드
-
SPARK-54497 변환기 캐싱에 적용
functools.lru_cache - SPARK-54306 Variant 논리 형식 주석을 사용하여 Variant 열에 주석 달기
- SPARK-54350 SparkGetColumnsOperation ORDINAL_POSITION 1부터 시작해야 합니다.
- SPARK-54130 카탈로그 어설션 실패에 대한 자세한 오류 메시지 추가
- SPARK-54220 Parquet의 NullType/VOID/UNKNOWN 형식 지원
- SPARK-54163 분할 및 순서 지정 정보에 대한 정식화 검사
- SPARK-54377 테이블 주석을 제대로 제거하도록 IS NULL 수정 COMMENT ONTABLE
- SPARK-52767 조인 및 유니온에 대해 maxRows 및 maxRowsPerPartition 최적화
- SPARK-54063 업로드 지연 시 다음 배치 스냅샷 트리거 실행
- SPARK-54384 BatchedSerializer에 대한 _batched 메서드 현대화
-
SPARK-54378 모듈에서
CreateXmlParser.scala제거catalyst - SPARK-53103 되돌리기 "[SC-204946][ss] 쿼리가 시작될 때 상태 디렉터리가 비어 있지 않으면 오류를 발생시킵니다"
- SPARK-53103 쿼리가 시작될 때 상태 디렉터리가 비어 있지 않으면 오류를 throw합니다.
-
SPARK-54397 해시 가능으로 만들기
UserDefinedType -
SPARK-54440 기본 파이프라인 사양 파일에 더 직관적인 이름을 지정합니다.
spark-pipeline.yml - SPARK-54324 클라이언트-사용자-컨텍스트 확장에 대한 테스트 추가
- SPARK-54456 교착 상태를 방지하기 위해 포크 후 작업자 모듈 가져오기
-
SPARK-54427 ColumnarRow가 변형 형식을 사용하여 호출
copy하도록 허용 -
SPARK-54136
MergeScalarSubqueries에서PlanMerger로 계획 병합 논리를 추출 - SPARK-54389 초기화 중에 작업이 실패로 표시될 때 RocksDB 상태 저장소 잘못된 스탬프 오류 수정
- SPARK-54346 상태 파티션 재분배 API 및 재분배 실행기를 도입합니다.
- SPARK-53809 DataSourceV2ScanRelation에 대한 정식화 추가
- SPARK-54280 파이프라인 검사점 스토리지 dir이 절대 경로여야 합니다.
- SPARK-54206 SparkConnectResultSet에서 BINARY 형식 데이터 지원
- SPARK-54319 BHJ LeftAnti의 numOutputRows 업데이트가 잘못되었습니다. 이 문제는 코드 생성을 비활성화했을 때 발생합니다.
-
SPARK-54355
spark.connect.session.planCompression.defaultAlgorithm가NONE를 지원하도록 만들기 - SPARK-54341 TableProvider를 통해 로드된 테이블의 TimeTravelSpec 기억
- SPARK-54280 복원 "[SC-212148][sdp] 파이프라인 검사점 저장 디렉토리가 절대 경로여야 한다"
- SPARK-54354 브로드캐스트된 해시 관계를 위해 JVM 힙 메모리가 충분하지 않을 때 Spark가 멈추는 문제 수정.
- SPARK-54439 KeyGroupedPartitioning 및 조인 키 크기 불일치
- SPARK-54280 파이프라인 검사점 스토리지 dir이 절대 경로여야 합니다.
- SPARK-54395 RemoteBlockPushResolver 클래스가 ObjectMapper를 반복적으로 초기화합니다.
- SPARK-54207 SparkConnectResultSet에서 날짜 형식 데이터 지원
-
SPARK-54182 의 비 화살표 변환 최적화
df.toPandas - SPARK-54312 독립 실행형 작업자에서 SendHeartbeat/WorkDirClean에 대한 작업을 반복적으로 예약하지 않습니다.
-
SPARK-54394
isJavaVersionAtMost17에서isJavaVersionAtLeast21와core를common/utils로 이동 - SPARK-53927 kinesis 클라이언트 업그레이드
- SPARK-54358 다른 스키마의 스트리밍 테이블 이름이 같을 때 검사점 DIR이 충돌합니다.
-
SPARK-54310 되돌리기 "[SC-212003][sql] "에 대한
numSourceRows메트릭 추가MergeIntoExec -
SPARK-54310 에 대한 메트릭 추가
numSourceRowsMergeIntoExec - SPARK-53322 조인 키 위치를 완전히 푸시다운할 수 있는 경우에만 KeyGroupedShuffleSpec을 선택합니다.
- SPARK-54270 SparkConnectResultSet get* 메서드는 checkOpen을 호출하고 인덱스 경계를 확인해야 합니다.
- SPARK-53849 netty 및 netty tc 네이티브 업데이트
- SPARK-54205 SparkConnectResultSet에서 10진수 형식 데이터 지원
- SPARK-54417 절에서 스칼라 하위 쿼리에 IDENTIFIER 대한 오류 메시지 수정
- SPARK-54113 SparkConnectDatabaseMetaData에 대한 getTables 지원
- SPARK-54303 오류 조건 MISSING_CATALOG_ABILITY 표준화
- SPARK-54153 프로파일링 반복기 기반 Python UDF 지원
- SPARK-54349 코드를 약간 리팩터링하여 faulthandler 통합 확장을 간소화합니다.
- SPARK-54317 Classic 및 Connect toPandas에 대한 Arrow 변환 논리 통합
- SPARK-54339 AttributeMap 비결정성 수정
- SPARK-54112 SparkConnectDatabaseMetaData에 대한 getSchemas 지원
- SPARK-54180 BinaryFileFormat의 toString 메서드 재정의
- SPARK-54213 Spark Connect에서 Python 3.9 제거
- SPARK-54215 FilePartition에 SessionStateHelper 특성 추가
- SPARK-54115 스레드 덤프 페이지에서 연결 서버 작업 스레드의 표시 순서 우선 순위 상승
- SPARK-54193 사용되지 않는 spark.shuffle.server.finalizeShuffleMergeThreadsPercent
- SPARK-54149 가능한 경우 비상 재귀 사용
- SPARK-54185 사용되지 않는 spark.shuffle.server.chunkFetchHandlerThreadsPercent
- SPARK-54056 카탈로그의 SQLConf 설정에서 치환 해결
- SPARK-54147 BaseScriptTransformationExec에서 기본적으로 OMP_NUM_THREADS spark.task.cpus로 설정합니다.
- SPARK-54229 UDF에서 PySparkLogger가 로그 함수 호출당 하나의 로그 항목을 저장하도록 설정
- SPARK-53337 XSS: 히스토리 페이지의 애플리케이션 이름이 이스케이프되도록 확인
- SPARK-54229 되돌리기 "[SC-211321][python] UDF에서 PySparkLogger가 로그 함수 호출당 하나의 로그 항목을 저장하도록 설정"
- SPARK-54373 작업 DAG 초기화의 SVG viewBox 특성 확대
- SPARK-54323 시스템 보기 대신 TVF에 로그에 액세스하는 방법 변경
- SPARK-54229 UDF에서 PySparkLogger가 로그 함수 호출당 하나의 로그 항목을 저장하도록 설정
- SPARK-53978 드라이버 쪽 작업자의 로깅 지원
- SPARK-54146 사용되지 않는 Jackson API의 사용 정리
- SPARK-54383 InternalRowComparableWrapper util에 대한 미리 계산된 스키마 변형 추가
- SPARK-54030 메타데이터 손상 보기에 대한 사용자 친화적인 어설션 메시지 추가
- SPARK-54144 단락 회로 평가 유형 추론
- SPARK-54030 "[SC-210301][sql] 보기 메타데이터 손상에 대한 사용자 친화적인 어설션 메시지 추가" 되돌리다
- SPARK-54028 Hive 호환되지 않는 보기를 변경할 때 빈 스키마 사용
- SPARK-54030 메타데이터 손상 보기에 대한 사용자 친화적인 어설션 메시지 추가
-
SPARK-54085
initialize에CREATE옵션을 추가하기 위해DriverRunner을 수정 - SPARK-53482MERGE INTO 원본에 대상보다 덜 중첩된 필드가 있는 경우 지원
- SPARK-53905 RelationResolution을 리팩터링하여 코드 재사용을 활성화
- SPARK-53732 DataSourceV2Relation에서 TimeTravelSpec 기억
- SPARK-54014 SparkConnectStatement에 대한 최대 행 지원
- SPARK-50906 재정렬된 구조체 필드에 대한 Avro의 null 허용성 검사 수정
- SPARK-54396 Dataframe.toArrow에서 Py4J 호출 최적화
- SPARK-54344 daemon.py 플러시가 실패하면 작업자를 종료합니다.
- SPARK-53977 UDF에서 로깅 지원
- SPARK-52515 다시 적용 "[SC-199815][sql] approx_top_k 함수 추가"
- SPARK-54340 pyspark 디먼/작업자에서 viztracer를 사용하는 기능 추가
-
SPARK-54379 람다 바인딩을 별도의
LambdaBinder개체로 이동 - SPARK-54029 디버깅을 용이하게 하기 위해 테이블 메타데이터 손상에 대한 자세한 오류 메시지 추가
- SPARK-54002 BeeLine과 Connect JDBC 드라이버 통합 지원
-
SPARK-54336 다음을 사용하여 입력 형식 검사 수정
BloomFilterMightContainScalarSubqueryReference - SPARK-53406 직접 패스스루 셔플 ID에서 불필요한 셔플 조인 방지
- SPARK-54347 클래식 데이터 프레임에서 Py4J 호출 최적화
- SPARK-54062 MergeScalarSubqueries 코드 정리
- SPARK-54054 SparkConnectResultSet에 대한 행 위치 지원
-
SPARK-54330 에서 Py4J 호출 최적화
spark.createDataFrame - SPARK-54332 Rollup/cube/groupingSets에서 열 이름을 그룹화할 때 PlanId를 연결할 필요가 없습니다.
- SPARK-53976 Pandas/Arrow UDF에서 로깅 지원
- SPARK-54123 타임스탬프를 절대 시간으로 만드는 표준 시간대 추가
- SPARK-54356 스토리지 루트 스키마 누락으로 인한 EndToEndAPISuite 수정
- SPARK-54292 집계 함수 및 GROUP BY |>SELECT 파이프 연산자(#180106)(#180368) 지원
- SPARK-54376 대부분의 파이프라인 구성 옵션을 내부로 표시
- SPARK-53975 기본 Python 작업자 로깅 지원 추가
- SPARK-54361 spark 버전을 spark.sql.parser.singleCharacterPipeOperator.enabled에 대해 의도한 값 4.2.0으로 수정
- SPARK-51518 지원 | SQL 파이프 연산자 토큰에 대한 |> 의 대안으로
- SPARK-53535 항상 null로 간주되는 누락된 구조체 수정
- SPARK-54294 Connect 서버 출력된 IP 주소 정규화
- SPARK-52439 null 값을 사용하여 check 제약 조건 지원
-
SPARK-54352 문자열 정규화의 중앙 집중화를 도입
SQLConf.canonicalize - SPARK-54183 되돌리기 "[SC-211824][python][CONNECT] spark connect toPandas()" 중에 중간 임시 데이터 프레임 하나를 사용하지 마세요.
- SPARK-53573IDENTIFIER 어디에나
- SPARK-53573 어디서나 문자열 리터럴 병합 허용
- SPARK-54240 배열 항목 촉매 식 가져오기를 커넥터 식으로 변환
-
SPARK-54334 하위 쿼리 식의 유효성 검사를 람다 아래 및 상위 순서 함수로 이동
SubqueryExpressionInLambdaOrHigherOrderFunctionValidator - SPARK-54183 되돌리기 "[SC-211824][python][CONNECT] spark connect toPandas()" 중에 중간 임시 데이터 프레임 하나를 사용하지 마세요.
- SPARK-54183 spark connect toPandas() 중에 하나의 중간 임시 데이터 프레임을 사용하지 마세요.
- SPARK-54264 DeDup 연산자는 RocksDB의 keyExists()를 사용할 수 있습니다.
-
SPARK-54269 Python 3.14의 경우 3.1.2로 업그레이드
cloudpickle -
SPARK-54300 에서 Py4J 호출 최적화
df.toPandas - SPARK-54307 만약 상태 저장 작업으로 스트리밍 쿼리를 다시 시작하려 하는데 빈 상태 디렉터리가 있다면 오류를 발생시킵니다.
- SPARK-54117 더 나은 오류를 던져 TWS가 RocksDB 상태 저장소 제공자에서만 지원됨을 나타내십시오.
- SPARK-53917 대규모 지역 관계 지원 - 후속 작업
-
SPARK-54275 모듈에서
pipeline사용하지 않는 코드 정리 -
SPARK-54287 Python 3.14 지원을
pyspark-client및pyspark-connect에 추가 -
SPARK-53614 에 지원 추가
Iterator[pandas.DataFrame]applyInPandas - SPARK-54191 Defineflow Proto에 한 번 추가
- SPARK-54234 df.groupBy에서 열 이름을 그룹화할 때 PlanId를 연결할 필요가 없습니다.
- SPARK-54231 SDP 문서의 간격 채우기
- SPARK-54199 새 KLL 분위수 스케치 함수에 대한 DataFrame API 지원 추가(#178526)
- SPARK-52463 다시 적용 "[SC-211221][sdp] Python 파이프라인 API에서 cluster_by 대한 지원 추가"
- SPARK-52463 되돌리기 "[SC-211221][sdp] Python 파이프라인 API에서 cluster_by 대한 지원 추가"
- SPARK-53786 특수 열 이름을 가진 기본값은 실제 열과 충돌해서는 안 됩니다.
- SPARK-54200 동시 실행 안전을 위해 groupIdPrefix를 사용하도록 KafkaConsumerPoolRealTimeModeSuite 업데이트
- SPARK-52463 Python Pipelines API에서 cluster_by 대한 지원 추가
- SPARK-52509 이벤트 발생 시 대체 스토리지에서 개별 셔플 정리
- SPARK-54187 다시 적용 "[SC-211150][python][CONNECT] toPandas에서 일괄 처리로 모든 구성 가져오기"
- SPARK-53942 스트리밍 쿼리를 다시 시작할 때 상태 비저장 셔플 파티션 변경 지원
- SPARK-52515 "[SC-199815][sql] approx_top_k 함수 추가" 변경 사항 취소
- SPARK-52515 approx_top_k 함수 추가
- SPARK-54078 새 테스트를 만들고 이전 테스트에서 인프라를 제거합니다.
- SPARK-54178 ResolveSQLOnFile 오류 개선
-
SPARK-53455 RPC 추가됨
CloneSession - SPARK-54178 Revert "[SC-211111][sql] ResolveSQLOnFile에 대한 오류 메시지 개선"
-
SPARK-53489
v2ColumnsToStructType에서ApplyDefaultCollationToStringType의 사용 제거 - SPARK-54178 ResolveSQLOnFile 오류 개선
- SPARK-54187 롤백 "[SC-211150][python][CONNECT] toPandas에서 일괄적으로 모든 설정 가져오기"
- SPARK-53942 되돌리기 "[SC-209873][ss] 스트리밍 쿼리를 다시 시작할 때 비상태 셔플 파티션 변경 지원"
- SPARK-54187 toPandas에서 일괄 처리로 모든 구성 가져오기
- SPARK-54145 숫자 집계에서 중첩 형식의 열 검사 수정
- SPARK-53942 스트리밍 쿼리를 다시 시작할 때 상태 비저장 셔플 파티션 변경 지원
- SPARK-53991 DataSketches(#178089)를 기반으로 KLL 분위수 함수에 대한 SQL 지원 추가(#178234)
- SPARK-53128 실행 메모리 OOM 전에 사용 로그에 비관리 메모리 바이트 포함하기
- SPARK-53731 반복기 API의 형식 힌트 업데이트
-
SPARK-53967 에서 pandas 데이터 프레임의 중간 생성 방지
df.toPandas -
SPARK-53455 원래대로 복원하기 "[SC-208758][connect] RPC 추가
CloneSession" - SPARK-54108 SparkConnectStatement의 execute* 메서드 수정
- SPARK-54052 Py4J의 제한을 해결하기 위해 브리지 객체 추가
- SPARK-54128 Spark Connect 서버에서 적절한 오류 클래스를 사용하여 IllegalArgumentException을 SparkException으로 변환
- SPARK-53880 SupportsPushDownVariants를 추가하여 PushVariantIntoScan에서 DSv2 수정
- SPARK-54111 SparkConnectDatabaseMetaData에 대한 getCatalogs 지원
-
SPARK-53455 RPC 추가됨
CloneSession - SPARK-54118 여러 값이 있는 경우 ListState에서 put/merge 작업 개선
- SPARK-54038 SparkConnectDatabaseMetaData에 대한 getSQLKeywords 지원
- SPARK-54013 SparkConnectDatabaseMetaData 단순 메서드 구현
- SPARK-53934 초기 구현 Connect JDBC 드라이버
- SPARK-53959 인덱스가 있지만 데이터가 없는 pandas 데이터 프레임에서 데이터 프레임을 만들 때 클라이언트 쪽 오류 발생
- SPARK-53573 되돌리기 "[SC-210255][sql] 어디서나 문자열 리터럴 병합 허용"
- SPARK-54094 KafkaOffsetReaderBase에 공통 메서드 추출
- SPARK-53573 어디서나 문자열 리터럴 병합 허용
- SPARK-54039 더 나은 디버깅을 위해 KafkaDataConsumer 릴리스() 로그에 TaskContext 정보 추가
- SPARK-54031 분석 에지 사례에 대한 새 골든 파일 테스트 추가
-
SPARK-54067
SparkSubmit를 호출할 때exitFn대신 근본 원인을 사용하는 것으로SparkUserAppException를 개선합니다. - SPARK-54047 유휴 시간 제한 시 프로세스 종료 오류 사용
-
SPARK-54078 Deflake StateStoreSuite
SPARK-40492: maintenance before unload - SPARK-54061 잘못된 날짜 및 시간 패턴을 적절한 오류 코드로 감싸 IllegalArgumentException을 처리합니다.
- SPARK-54031 롤백 "[SC-210084][sql] 분석 엣지 케이스에 대한 새 골든 파일 테스트 추가"
-
SPARK-54075 평가 가능하게 만들기
ResolvedCollation - SPARK-54001 ref-counted 캐시된 로컬 관계를 사용하여 세션 복제에서 메모리 사용 최적화
- SPARK-54031 분석 에지 사례에 대한 새 골든 파일 테스트 추가
-
SPARK-53923 이름 바꾸기
spark.executor.(log -> logs).redirectConsoleOutputs -
SPARK-54007 대신 Java
Set.of사용Collections.emptySet - SPARK-53755 BlockManager에서 로그 지원 추가
- SPARK-54041 ParameterizedQuery 인수 유효성 검사 리팩터링
- SPARK-53696 PySpark의 BinaryType에 대한 기본값은 바이트입니다.
- SPARK-53921 PySpark API에 GeometryType 및 GeographyType 소개
-
SPARK-53788 VersionUtils를 모듈로
common이동 - SPARK-53999 BSD/MacOS에서 네이티브 KQueue 전송 지원
- SPARK-54021 Catalyst에서 지리 및 기하 도형 접근자 구현
- SPARK-53921 "[SC-209482][geo][PYTHON] PySpark API에 추가된 GeometryType 및 GeographyType 변경 사항 되돌리기"
- SPARK-53920 Java API에 GeometryType 및 GeographyType 소개
- SPARK-53610 CoGrouped applyInPandas 및 applyInArrow의 화살표 일괄 처리 크기 제한
- SPARK-53659 Parquet에 데이터 쓰기 시 Variant 조각화 스키마 추론
- SPARK-53922 물리적 기하 도형 및 지리 형식 소개
- SPARK-54059 ZGC 또는 ShenandoahGC 및 ON_HEAP 사용되는 경우 기본 페이지 크기를 LONG_ARRAY_OFFSET 줄입니다.
- SPARK-53921 PySpark API에 GeometryType 및 GeographyType 소개
-
SPARK-54048을(를) Python 3.14에서
dev/requirements.txt을(를) 설치하도록torch(vision)를 업데이트하세요. - SPARK-53917 대규모 지역 관계 지원
- SPARK-53760 GeometryType 및 GeographyType 소개
-
SPARK-53530 관련된 쓸모없는 코드 정리
TransformWithStateInPySparkStateServer - SPARK-53636 SortShuffleManager.unregisterShuffle의 스레드 안전 문제 해결
- SPARK-52762 Spark Connect 쿼리 실행 중 파이프라인 분석을 지원하는 PipelineAnalysisContext 메시지 추가
- SPARK-53631 SHS 부트스트랩에서 메모리 및 성능 최적화
- SPARK-53857 SparkThrowable에 messageTemplate 전파 활성화
- SPARK-53891 모델 DSV2 커밋 쓰기 요약 API
- SPARK-53966 JVM GC를 검색하는 유틸리티 함수 추가
- SPARK-53149 BeeLine 프로세스가 백그라운드에서 실행되는지 테스트 수정
- SPARK-53738 쿼리 출력에 접을 수 있는 순서가 포함된 경우 계획된 쓰기 수정
-
SPARK-53949 대신 사용
Utils.getRootCauseThrowables.getRootCause - SPARK-53696 "[SC-209330][python][CONNECT][sql] 기본값을 PySpark의 BinaryType에 대한 바이트로 되돌리기"
- SPARK-53804 TIME radix 정렬 지원
- SPARK-54004 연쇄되지 않고 이름으로 테이블 캐시 해제 수정
-
SPARK-53261 Guava 대신 Java
String.join|StringJoiner사용Joiner - SPARK-53319 try_make_timestamp_ltz() 기준 시간 유형 지원
-
SPARK-53280 메서드 대신
instanceofJavaThrowables.throwIf*사용 - SPARK-53696 PySpark의 BinaryType에 대한 기본값은 바이트입니다.
-
SPARK-53258의
JavaUtils사용check(Argument|State) -
SPARK-53773 에서 규칙의 알파벳 순서 복구
RuleIdCollection -
SPARK-53256
check(Argument|State)JavaUtils로 증진시키다 - SPARK-54008 에 대한 QO 건너뛰기 DESCRIBE QUERY
- SPARK-53573 일반화된 매개 변수 표식 처리에 사전 프로세서 사용
-
SPARK-53980 API 추가
SparkConf.getAllWithPrefix(String, String => K) -
SPARK-54009 지원
spark.io.mode.default - SPARK-51903 CHECK 제약 조건 추가 시 데이터 유효성 검사
- SPARK-53573 되돌리기 "[SC-209126][sql] 일반화된 매개 변수 표식 처리에 사전 프로세서 사용"
- SPARK-53573 일반화된 매개 변수 표식 처리에 사전 프로세서 사용
- SPARK-53573 되돌리기 "[SC-209126][sql] 일반화된 매개 변수 표식 처리에 사전 프로세서 사용"
- SPARK-53956 PySpark의 try_make_timestamp 함수에서 TIME 지원
- SPARK-53930 PySpark의 make_timestamp 함수에서 TIME 지원
- SPARK-53573 일반화된 매개 변수 표식 처리에 사전 프로세서 사용
- SPARK-53564 DAGSchedulerEventProcessLoop의 blockManager RPC 시간 제한으로 인해 DAGScheduler 종료 방지
-
SPARK-53879 3.0.3으로 업그레이드
Ammonite - SPARK-53938 LocalDataToArrowConversion에서 10진수 다시 크기 조정 수정
- SPARK-53845 SDP 수신기
- SPARK-53908 계획 캐시를 사용하여 Spark Connect에 대한 관찰 수정
-
SPARK-53841 열 API에서 구현
transform() - SPARK-53929 Scala의 make_timestamp 및 try_make_timestamp 함수에서 TIME 지원
-
SPARK-53902 인수 목록에서 지원되는 식
ParameterizedQuery에 대한 트리 노드 패턴 비트 추가 - SPARK-53064 Java에서 MDC LogKey 다시 쓰기
- SPARK-53762 최적화 도구에 날짜 및 시간 변환 간소화자 규칙 추가
- SPARK-53916 PythonArrowInput에서 변수 중복 제거
- SPARK-53690 진행 중인 Kafka 소스 객체의 avgOffsetsBehindLatest와 estimatedTotalBytesBehindLatest의 지수 표기 형식 수정
- SPARK-53789 오류 조건 CANNOT_MODIFY_STATIC_CONFIG 표준화
- SPARK-53720 DataSourceV2Relation에서 테이블 추출 간소화(#52460)
-
SPARK-45530에서
java.lang.ref.Cleaner를 위해finalize대신NioBufferedFileInputStream을(를) 사용하세요. - SPARK-53789 "[SC-208902][sql][CONNECT] CANNOT_MODIFY_STATIC_CONFIG 오류 조건 정규화" 되돌리기
- SPARK-53789 오류 조건 CANNOT_MODIFY_STATIC_CONFIG 표준화
- SPARK-53111 PySpark에서 time_diff 함수 구현
-
SPARK-53896 기본적으로 사용
spark.io.compression.lzf.parallel.enabled -
SPARK-53856 대체 구성 이름 제거
denylist - SPARK-53611 창 agg UDF의 화살표 일괄 처리 크기 제한
- SPARK-53575 재시도된 셔플 맵 작업에서 체크섬 불일치가 감지되면 전체 컨슈머 단계를 다시 시도합니다.
- SPARK-53867 SQL_GROUPED_AGG_ARROW_UDF에서 Arrow 배치 크기 제한
- SPARK-53877 BITMAP_AND_AGG 함수 소개
- SPARK-51426 '빈 dict로 메타데이터 설정이 작동하지 않음' 수정
- SPARK-53868 V2ExpressionBuilder에서 직접 참조 확인 대신 배열 길이 확인 사용
- SPARK-53609 SQL_GROUPED_AGG_PANDAS_UDF에서 Arrow 배치 크기 제한
-
SPARK-53892 지원 중단된 API
DescribeTopicsResult.allTopicNames대신all사용 - SPARK-53878 ObservedMetrics와 관련된 경쟁 조건 문제 해결
-
SPARK-53796 앞으로 호환성을 지원하기 위해 몇 가지 파이프라인 프로토에 필드 추가
extension - SPARK-53850 싱크에 대한 프로토 정의 및 DefineDataset 이름을 DefineOutput으로 이름 바꾸기
- SPARK-53812 관련 속성을 그룹화하고 미래 대비를 위해 DefineDataset 및 DefineFlow 프로토를 리팩터링.
- SPARK-53870 TransformWithStateInPySparkStateServer에서 큰 proto 메시지에 대한 부분 읽기 버그 수정
- SPARK-53751 명시적 버전 검사점 위치
- SPARK-52407 Theta Sketch에 대한 지원 추가(#171135)
-
SPARK-53779 열 API에서 구현
transform() -
SPARK-49547 에 API 반복기
RecordBatch추가applyInArrow - SPARK-53802 SDP 테이블에서 사용자 지정 스키마에 대한 문자열 값 지원
- SPARK-53865 ResolveGenerate 규칙에서 공통 논리 추출
- SPARK-53113 try_make_timestamp() 기준 시간 형식 지원
-
SPARK-53868 V2ExpressionSQBuilder의 Expression[]
visitAggregateFunction에 서명만 사용 - SPARK-53792 바인딩된 메모리를 사용할 때 rocksdbPinnedBlocksMemoryUsage 수정...
-
SPARK-53248
checkedCast에 대한 지원JavaUtils에서 - SPARK-52640 Python 소스 코드 위치 전파
- SPARK-52924 ZSTD_strategy 압축 방법의 지원
- SPARK-53562 다시 적용 "[SC-207233][python] applyInArrow 및 applyInPandas의 화살표 일괄 처리 크기 제한"
- SPARK-51272 ResubmitFailedStages에서 부분적으로 완료된 불확정 결과 단계를 계속하는 대신 중단
- SPARK-53795 LiteralValueProtoConverter에서 사용되지 않는 매개 변수 제거
-
SPARK-53808 선택적 JVM 인수를 다음으로 전달할 수 있습니다.
spark-connect-scala-client - SPARK-52614 제품 인코더 내에서 RowEncoder 지원
-
SPARK-53833 Python 3.14에서
dev/requirements.txt를 건너뛰도록torch/torchvision를 업데이트하세요. - SPARK-53715 MergeIntoTable의 getWritePrivileges 리팩터링
-
SPARK-53516 SparkPipelines에서 인수 프로세스 수정
spark.api.mode - SPARK-53507 BreakingChangeInfo에 사례 클래스를 사용하지 마세요.
-
SPARK-53645 ps에 대한 매개 변수를 구현
skipna합니다. DataFrameany() -
SPARK-53717
MapType.valueContainsNull매개 변수 주석을 더 올바르게 수정 -
SPARK-53700 에서 중복성 제거
DataSourceV2RelationBase.simpleString - SPARK-53667 다음을 사용하여 CALL에 대한 수정 EXPLAINIDENTIFIER
-
SPARK-53562 "[SC-207233][python] 화살표 배치 크기 제한
applyInArrow및applyInPandas되돌리기" - SPARK-51169 Spark 클래식에서 Python 3.14 지원 추가
SPARK-53562 및applyInArrow에서 화살표 배치 크기를 제한합니다.- SPARK-53806 AES 암호 해독의 빈 입력에 오류 클래스가 있도록 허용
- SPARK-51756 ShuffleWriters에서 RowBasedChecksum을 계산합니다.
- SPARK-52807 선언적 파이프라인 쿼리 함수 내에서 분석을 지원하기 위한 Proto 변경 내용
- SPARK-53728 테스트 중 오류가 있는 PipelineEvent 메시지 인쇄
- SPARK-53207 비동기적으로 클라이언트에 파이프라인 이벤트 보내기
-
SPARK-53829 열 연산자 지원
datetime.time - SPARK-53638 OOM을 방지하기 위해 TWS에 대한 화살표 일괄 처리의 바이트 크기 제한
- SPARK-53593 수정: 응답 필드에 따옴표 없는 사용
- SPARK-53734 배열 인덱스 확인 시 LCA보다 테이블 열 선호
- SPARK-53593 DefineDataset 및 DefineFlow RPC에 대한 응답 필드 추가
- SPARK-53734 되돌리기 "[SC-207697][sql] 배열 인덱스 확인 시 LCA보다 테이블 열 선호"
- SPARK-53621 CONTINUE 핸들러 실행 지원 추가
- SPARK-53734 배열 인덱스 확인 시 LCA보다 테이블 열 선호
- SPARK-53507 오류에 호환성이 손상되는 변경 정보 추가
- SPARK-53707 특성 메타데이터 처리를 개선합니다.
- SPARK-53629MERGE INTO 및 SCHEMA 진화에 대한 형식 확장 구현
-
SPARK-53719 형식 체크 인
_to_col함수 향상 - SPARK-53735 spark-pipelines 출력에서 기본적으로 서버 쪽 JVM 스택 추적 숨기기
- SPARK-53651 파이프라인에서 영구 보기에 대한 지원 추가
- SPARK-53678 Null DataType을 사용하여 ColumnVector의 서브클래스를 만들 때 NPE 수정
- SPARK-46679 Parameterized 클래스를 사용하는 경우 SparkUnsupportedOperationException에 대한 수정 사항 T 형식의 인코더를 찾을 수 없습니다.
- SPARK-53444 재작업 실행 즉시 다시 작업 실행 즉시 실행
- SPARK-53578 LiteralValueProtoConverter에서 데이터 형식 처리 간소화
- SPARK-53438 LiteralExpressionProtoConverter에서 CatalystConverter 사용
- SPARK-53444 되돌리기 "[SC-206535][sql][CORE] 즉시 재작업 실행 즉시 실행"
- SPARK-53444 재작업 실행 즉시 다시 작업 실행 즉시 실행
- SPARK-53112 PySpark의 make_timestamp_ntz 및 try_make_timestamp_ntz 함수에서 TIME 지원
- SPARK-53492 이미 완료된 작업 ID를 가진 두 번째 ExecutePlan을 거부하기
- SPARK-52772 골드 파일 정방향 수정
- SPARK-53591 파이프라인 사양 패턴 글롭(Glob) 일치 간소화
- SPARK-53553 LiteralValueProtoConverter에서 null 값 처리 수정
- SPARK-52772 업데이트 중 일관되지 않은 테이블 특성 처리
- SPARK-53544 관찰에서 복합 형식 지원
-
SPARK-53357 2.3.2로 업데이트
pandas - SPARK-53402 Scala의 Spark Connect에서 직접 통과 분할 데이터 세트 API 지원
- SPARK-53372 SDP 엔드-엔드 테스트 제품군
- SPARK-53402 변경 취소 "[SC-206163][connect] Scala의 Spark Connect에서 직접 사용 가능한 분할 데이터셋 API 지원"
- SPARK-53402 Scala의 Spark Connect에서 직접 통과 분할 데이터 세트 API 지원
-
SPARK-53233 올바른 패키지 이름을 사용하는 데
streaming관련된 코드 만들기 -
SPARK-53233 되돌리기 "[SC-203716][sql][SS][mllib][CONNECT] 올바른 패키지 이름을 사용하는 것과
streaming관련된 코드 만들기" -
SPARK-53233 올바른 패키지 이름을 사용하는 데
streaming관련된 코드 만들기 - SPARK-53561 작업자가 충돌하지 않도록 outputStream.flush 중 TransformWithStateInPySparkStateServer에서 인터럽트 예외를 포착하여 처리하십시오.
-
SPARK-53486 토치 모델을 로드할 때
weights_only=False설정을 피하기 - SPARK-53391 사용되지 않는 PrimitiveKeyOpenHashMap 제거
- SPARK-52431 선언적 파이프라인 실행기 마무리 작업 완료
- SPARK-52980 Arrow Python UDTF 지원
- SPARK-53453 'torch<2.6.0' 차단 해제
- SPARK-52582 Remerge "[SC-199314][sc-204581][SQL] XML 파서의 메모리 사용량 향상"
- SPARK-52582 되돌리기 "[SC-199314][sc-204581][SQL] XML 파서의 메모리 사용 개선"
- SPARK-52582 XML 파서의 메모리 사용량 향상
- SPARK-51906 테이블 변경(Dsv2 표현식)에서 열 추가
-
SPARK-53150 존재하지 않는 디렉터리가 아닌 symlink 입력을 처리하도록 개선
list(File|Path)s -
SPARK-53091 금지하다
org.apache.commons.lang3.Strings - SPARK-52844 numpy를 1.22로 업데이트
-
SPARK-52912
SparkStringUtils를 개선하여is(Not)?(Blank|Empty)를 지원하다 - SPARK-52877 Python UDF Arrow Serializer 성능 향상
- SPARK-52877 "[SC-201914][python] Python UDF Arrow Serializer 성능 향상" 되돌리기
- SPARK-52238 선언적 파이프라인용 Python 클라이언트
- SPARK-52877 Python UDF Arrow Serializer 성능 향상
- SPARK-53287 ANSI 마이그레이션 가이드 추가
- SPARK-52110 파이프라인에 대한 SQL 구문 지원 구현
-
SPARK-52897 2.3.1로 업데이트
pandas - SPARK-52451 되돌리기 "[SC-202894][connect][SQL] SparkConnectPlanner에서 WriteOperation을 부작용 없이 만듦"
- SPARK-52976 Python UDF가 데이터 정렬된 문자열을 입력 매개 변수/반환 형식으로 허용하지 않는 문제를 해결합니다.
- SPARK-52904 기본적으로 convertToArrowArraySafely 사용
- SPARK-52821 add int-DecimalType> pyspark udf return type 강제 변환
- SPARK-52971 유휴 Python 작업자 큐 크기 제한
- SPARK-53013 횡적 조인에서 행을 반환하지 않는 화살표 최적화 Python UDTF 수정
- SPARK-51834 동기화 OSS: 엔드투엔드 테이블 제약 조건 alter add/drop 제약 조건 지원
- SPARK-52675 테스트에서 ML 처리기 중단 중단
- SPARK-52959 화살표 최적화 Python UDTF에서 UDT 지원
- SPARK-52961 lateral 조인에서 0-arg eval을 사용하여 Python UDTF의 Arrow 최적화 수정
- SPARK-52949 Arrow 최적화된 파이썬 UDTF에서 RecordBatch와 Table 간의 왕복 방지
- SPARK-52946 큰 var 형식을 지원하도록 화살표 최적화 Python UDTF 수정
- SPARK-52934 화살표 최적화 Python UDTF를 사용하여 스칼라 값 생성 허용
- SPARK-52861 Arrow 최적화 UDTF 실행에서 행 객체 생성 생략하기
- SPARK-51834 OSS 지원 엔드투엔드 만들기/테이블을 제약 조건으로 바꾸기 동기화
- SPARK-44856 Python UDTF 화살표 직렬 변환기 성능 향상
- SPARK-51834 되돌리기 "[SQL] 생성자를 추가하여 TableSpec 수정"
- SPARK-51834 생성자를 추가하여 TableSpec 수정
- SPARK-51834 "[SQL] OSS 동기화(일부): create/replace 테이블에서 전체 테이블 제약 조건을 지원"으로 되돌리기
- SPARK-51834 동기화 OSS(부분): 테이블 만들기/바꾸기에서 엔드투엔드 테이블 제약 조건 지원
- SPARK-52885 TIME 형식에 대한 Scala에서 시간, 분 및 두 번째 함수 구현
- SPARK-51834 동기화 OSS 업데이트 ResolvedIdentifier unapply 호출
- SPARK-44856 "[SC-195808][python] Python UDTF 화살표 직렬화기 성능 향상" 되돌림
- SPARK-51834 복귀 "[SQL] OSS 업데이트 ResolvedIdentifier unapply 호출 동기화"
- SPARK-44856 Python UDTF 화살표 직렬 변환기 성능 향상
- SPARK-51834 동기화 OSS 업데이트 ResolvedIdentifier unapply 호출
- SPARK-52787 런타임 및 검사점 영역을 중심으로 스트리밍 실행 디르 다시 구성
- SPARK-51695 DSv2를 통해 고유한 제약 조건에 대한 OSS 만들기/바꾸기/변경 테이블 동기화
- SPARK-51695 DSv2를 통해 OSS 삭제 제약 조건 동기화
- SPARK-51695 테이블 제약 조건에 대한 파서 변경 사항 소개(CHECK, PK, FK)
- SPARK-51695 되돌리기 "[SQL] 테이블 제약 조건에 대한 파서 변경 사항 도입(CHECK, PK, FK)"
- SPARK-51695 테이블 제약 조건에 대한 파서 변경 사항 소개(CHECK, PK, FK)
- SPARK-49428 커넥터에서 SQL로 Scala 클라이언트 연결 이동
-
SPARK-52422 2.3.0으로 업데이트
pandas - SPARK-52228 TCP(Quicksilver)에 상태 상호 작용 마이크로벤치마크 통합
- SPARK-52300 SQL UDTVF 해상도가 보기 확인과 함께 일관된 구성을 사용하도록 설정
- SPARK-52228 메모리 내 상태 임프와 python의 벤치마크 코드를 사용하여 벤치마크 용도의 TWS 상태 서버를 생성합니다.
-
SPARK-52174 기본적으로 사용
spark.checkpoint.compress - SPARK-52224 Python 클라이언트에 대한 종속성으로 pyyaml 소개
- SPARK-52122 DefaultParamsReader RCE 취약성 수정
- SPARK-51147 스트리밍 관련 클래스를 전용 스트리밍 디렉터리로 리팩터링
- SPARK-51789 Spark 제출에서 인수를 구문 분석할 때 spark.api.mode 및 spark.remote을 올바르게 존중합니다.
- SPARK-51212 기본적으로 Spark Connect에 대해 분리된 PySpark 패키지 추가
- SPARK-50762 SQL 스칼라 UDF를 확인하기 위한 분석기 규칙 추가
-
SPARK-49748에서
getCondition을(를) 추가하고getErrorClass에서SparkThrowable을(를) 사용 중단합니다. - SPARK-50605 Spark Connect로 쉽게 마이그레이션할 수 있도록 SQL API 모드 지원
- SPARK-50458 파일을 읽을 때 지원되지 않는 파일 시스템에 대한 적절한 오류 처리
- SPARK-49700 연결과 클래식을 위한 Scala 통합 인터페이스
- SPARK-51779 스트림-스트림 조인에 가상 컬럼 패밀리를 사용
-
SPARK-51820 서수를 기준으로 그룹화 문제를 방지하기 위해 분석 전에 생성 과정을 이동
UnresolvedOrdinal -
SPARK-51814 PySpark에서 새 API
transformWithState소개 - SPARK-51635 PushProjectionThroughLimit 및 PushProjectionThroughOffset 병합
-
SPARK-51165 기본적으로 사용
spark.master.rest.enabled - SPARK-51688 Python과 JVM 통신 간에 Unix 도메인 소켓 사용
- SPARK-51503 XML 검사에서 Variant 형식 지원
-
SPARK-50564 Python 패키지를 5.29.1로 업그레이드
protobuf - SPARK-50359 PyArrow를 18.0으로 업그레이드
- SPARK-51340 모델 크기 예측
-
SPARK-50657 최소 버전을
pyarrow11.0.0으로 업그레이드 - SPARK-49282 공유 SparkSessionBuilder 인터페이스를 만듭니다.
- SPARK-51371 ResolveAggregateFunctions에서 별칭을 빌드할 때 toPrettySQL로 toString 변경
- SPARK-50694 하위 쿼리에서 이름 바꾸기 지원
- SPARK-50601 "[SC-186342][sql] 하위 쿼리에서 지원했던 withColumns / withColumnsRenamed 되돌리기"
- SPARK-50601 하위 쿼리에서 withColumns / withColumnsRenamed 기능 지원
Azure Databricks ODBC/JDBC 드라이버 지원
Azure Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).
유지 관리 업데이트
Databricks 런타임 유지 관리 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 24.04.3 LTS
- Java: Zulu21.42+19-CA
- Scala: 2.13.16
- Python: 3.12.3
- R: 4.5.1
- 델타 레이크: 4.0.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| 주석이 추가된 문서 | 0.0.3 | 주석이 달린 유형 | 0.7.0 | 애니오 | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings (아르곤2-CFFI 바인딩) | 21.2.0 | arro3-core | 0.6.5 |
| 화살표 | 1.3.0 | 에이에스티토큰 | 3.0.0 | astunparse (파이썬 코드 분석 라이브러리) | 1.6.3 |
| async-lru | 2.0.4 | 속성들 | 24.3.0 | 자동 명령어 | 2.2.2 |
| azure-common | 1.1.28 | 애저 코어 | 1.36.0 | azure-identity (아주어 아이덴티티) | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web | 8.0.0 | azure-storage-blob (애저 스토리지 블롭) | 12.27.1 |
| azure-storage-file-datalake (아주르 스토리지 파일 데이터레이크) | 12.22.0 | Babel | 2.16.0 | backports.tarfile | 1.2.0 |
| beautifulsoup4 | 4.12.3 | 검정색 | 24.10.0 | 표백제 | 6.2.0 |
| 깜빡이 | 1.7.0 | boto3 | 1.40.45 | 보토코어 | 1.40.45 |
| 캐시툴즈 (cachetools) | 5.5.1 | 서티피 | 2025.4.26 | cffi | 1.17.1 |
| 챠데트 | 4.0.0 | 문자셋 정규화기 | 3.3.2 | 클릭하세요 | 8.1.8 |
| cloudpickle (클라우드피클) | 3.0.0 | 통신 | 0.2.1 | contourpy (컨투어파이) | 1.3.1 |
| 암호화 | 44.0.1 | 자전거 타는 사람 | 0.11.0 | 사이톤 (Cython) | 3.1.5 |
| databricks-agents | 1.4.0 | databricks-connect | 17.3.1 | 데이터브릭스 SDK (소프트웨어 개발 키트) | 0.67.0 |
| 데이터클래스-제이슨 (dataclasses-json) | 0.6.7 | dbus-python | 1.3.2 | debugpy | 1.8.11 |
| 장식자 | 5.1.1 | defusedxml (디퓨즈드 XML) | 0.7.1 | deltalake | 1.1.4 |
| Deprecated | 1.2.18 | distlib (디스트립 라이브러리) | 0.3.9 | docstring을 Markdown으로 변환하기 | 0.11 |
| 실행 중 | 1.2.0 | 구성 요소 개요 | 1.1.1 | fastapi (파스트API) | 0.121.0 |
| fastjsonschema (파스트제이슨스키마) | 2.21.1 | 파일 잠금 | 3.18.0 | 폰트툴즈 (fonttools) | 4.55.3 |
| fqdn | 1.5.1 | fsspec | 2023.5.0 | GitDB (기트 데이터베이스) | 4.0.11 |
| GitPython | 3.1.43 | google-api-core (구글 API 핵심) | 2.28.1 | 구글 인증 (google-auth) | 2.43.0 |
| google-cloud-core (구글 클라우드 코어) | 2.5.0 | 구글 클라우드 스토리지 (Google Cloud Storage) | 3.5.0 | google-crc32c (구글의 CRC32C 알고리즘) | 1.7.1 |
| google-resumable-media (구글 재개 가능한 미디어) | 2.7.2 | googleapis-common-protos | 1.65.0 | grpcio (Python용 gRPC 패키지) | 1.67.0 |
| grpcio-status | 1.67.0 | h11 | 0.16.0 | httpcore | 1.0.9 |
| httplib2 | 0.20.4 | httpx | 0.28.1 | 아이드나 | 3.7 |
| importlib-metadata | 6.6.0 | 굴절하다 | 7.3.1 | iniconfig | 1.1.1 |
| ipyflow-core | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
| ipython-genutils (아이파이썬 젠유틸스) | 0.2.0 | ipywidgets (아이파이위젯) | 7.8.1 | 아이소데이트 (isodate) | 0.7.2 |
| isoduration | 20.11.0 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.펑크툴즈 | 4.0.1 | jaraco.text | 3.12.1 | Jedi | 0.19.2 |
| Jinja2 | 3.1.6 | 지터 | 0.11.1 | jmespath | 1.0.1 |
| joblib (잡리브) | 1.4.2 | json5 | 0.9.25 | jsonpatch (JSON 패치) | 1.33 |
| jsonpointer (JSON 포인터) | 3.0.0 | JSON 스키마 | 4.23.0 | jsonschema-명세사항 | 2023년 7월 1일 |
| 주피터-이벤트 (Jupyter Events) | 0.12.0 | jupyter-lsp | 2.2.5 | 주피터 클라이언트 (jupyter_client) | 8.6.3 |
| 주피터 코어 (jupyter_core) | 5.7.2 | 주피터_서버 | 2.15.0 | 주피터_서버_터미널 | 0.5.3 |
| 주피터랩 (JupyterLab) | 4.3.4 | jupyterlab_pygments | 0.3.0 | jupyterlab 서버 | 2.27.3 |
| jupyterlab_widgets | 1.1.11 | 키위솔버 (kiwisolver) | 1.4.8 | langchain-core | 1.0.3 |
| langchain-openai | 1.0.2 | langsmith | 0.4.41 | launchpadlib (런치패드 라이브러리) | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | 마크다운-it-py | 2.2.0 |
| MarkupSafe (마크업세이프) | 3.0.2 | 마시멜로 | 3.26.1 | matplotlib (매트플롯립) | 3.10.0 |
| matplotlib-inline (매트플롯립-인라인) | 0.1.7 | 맥케이브 | 0.7.0 | mdurl | 0.1.0 |
| 미스튠 (Mistune) | 3.1.2 | mlflow-skinny | 3.5.1 | mmh3 | 5.2.0 |
| more-itertools (모어 이터툴즈) | 10.3.0 | MSAL (Microsoft 인증 라이브러리) | 1.34.0 | msal-extensions | 1.3.1 |
| mypy-extensions (마이파이-익스텐션) | 1.0.0 | nb클라이언트 | 0.10.2 | nbconvert | 7.16.6 |
| nb포맷 (nbformat) | 5.10.4 | nest-asyncio (파이썬 비동기 I/O 라이브러리) | 1.6.0 | nodeenv | 1.9.1 |
| notebook | 7.3.2 | 노트북_쉼 | 0.2.4 | numpy (파이썬의 수치 계산용 라이브러리) | 2.1.3 |
| oauthlib | 3.2.2 | 오픈AI | 2.7.1 | opentelemetry-api | 1.38.0 |
| opentelemetry-proto | 1.38.0 | opentelemetry-sdk (소프트웨어 개발 키트) | 1.38.0 | opentelemetry-semantic-conventions (오픈텔레메트리-시맨틱-컨벤션) | 0.59b0 |
| orjson | 3.11.4 | 오버라이드 | 7.4.0 | 패키징 | 24.2 |
| 팬더 | 2.2.3 | pandocfilters | 1.5.0 | 파르소 | 0.8.4 |
| 패스스펙 (pathspec) | 0.10.3 | 바보 | 1.0.1 | pexpect (피엑스펙트) | 4.8.0 |
| 베개 | 11.1.0 | 파이썬 패키지 설치 도구 pip | 25.0.1 | 플랫폼 디렉토리 | 4.3.7 |
| plotly (데이터 시각화 라이브러리) | 5.24.1 | 플러기 | 1.5.0 | prometheus_client | 0.21.1 |
| prompt-toolkit (프롬프트 도구 키트) | 3.0.43 | proto-plus | 1.26.1 | 프로토버프 (protobuf) | 5.29.4 |
| psutil (시스템 및 프로세스 유틸리티용 Python 라이브러리) | 5.9.0 | psycopg2 | 2.9.11 | PtyProcess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.9 | pyarrow | 21.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | 피콜로 | 0.0.71 |
| pycparser | 2.21 | pydantic (파이썬 데이터 검증 및 설정 관리 라이브러리) | 2.10.6 | pydantic_core | 2.27.2 |
| pyflakes (파이플레이크스) | 3.2.0 | 파이그먼츠 | 2.19.1 | PyGObject | 3.48.2 |
| pyiceberg | 0.10.0 | PyJWT | 2.10.1 | pyodbc | 5.2.0 |
| pyparsing (파이썬 파싱 라이브러리) | 3.2.0 | 피라이트(Pyright) | 1.1.394 | 파이로어링 | 1.0.3 |
| pytest | 8.3.5 | python-dateutil (파이썬 날짜 유틸) | 2.9.0.post0 | python-dotenv | 1.2.1 |
| python-json-logger (파이썬에서 JSON을 사용하는 로깅 라이브러리) | 3.2.1 | 파이썬-LSP-JSON-RPC | 1.1.2 | python-lsp-server (파이썬 LSP 서버) | 1.12.2 |
| 파이툴콘피그 (pytoolconfig) | 1.2.6 | pytz (파이썬의 타임존 계산을 위한 라이브러리) | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | 참조하기 | 0.30.2 | 정규식 | 2024.11.6 |
| 요청사항 | 2.32.3 | requests-toolbelt | 1.0.0 | RFC3339-검증기 (rfc3339-validator) | 0.1.4 |
| rfc3986-검증기 | 0.1.1 | 부유한 | 13.9.4 | 로프 | 1.13.0 |
| rpds-py | 0.22.3 | RSA (암호화 알고리즘) | 4.9.1 | s3transfer | 0.14.0 |
| scikit-learn (파이썬 머신러닝 라이브러리) | 1.6.1 | scipy (과학 컴퓨팅 라이브러리) | 1.15.3 | 바다에서 태어난 | 0.13.2 |
| Send2Trash | 1.8.2 | setuptools (셋업툴즈) | 78.1.1 | 6 | 1.17.0 |
| 스맵 | 5.0.0 | 스니피오 | 1.3.0 | 정렬된 컨테이너 | 2.4.0 |
| 수프시브 | 2.5 | sqlparse | 0.5.3 | ssh-import-id 명령어 | 5.11 |
| 스택 데이터 | 0.6.3 | 스타렛 | 0.49.3 | strictyaml | 1.7.3 |
| 끈기 | 9.0.0 | 끝났다 | 0.17.1 | threadpoolctl | 3.5.0 |
| tiktoken (틱토큰) | 0.12.0 | tinycss2 | 1.4.0 | tokenize_rt | 6.1.0 |
| tomli | 2.0.1 | 토네이도 | 6.5.1 | tqdm | 4.67.1 |
| 트레잇렛츠 | 5.14.3 | 타입가드 (typeguard) | 4.3.0 | types-python-dateutil | 2.9.0.20251008 |
| 타이핑 검사 | 0.9.0 | 타이핑_익스텐션 | 4.12.2 | tzdata | 2024.1 |
| ujson (파이썬에서 JSON 직렬화를 위한 라이브러리) | 5.10.0 | 사용자 개입 없는 자동 업데이트 | 0.1 | uri 템플릿 | 1.3.0 |
| urllib3 | 2.3.0 | uvicorn | 0.38.0 | virtualenv | 20.29.3 |
| wadllib | 1.3.6 | wcwidth(문자의 너비를 계산하는 함수) | 0.2.5 | webcolors | 25.10.0 |
| 웹인코딩 | 0.5.1 | 웹소켓 클라이언트 (websocket-client) | 1.8.0 | 왓더패치 | 1.0.2 |
| 바퀴 | 0.45.1 | 언제든지 | 0.7.3 | widgetsnbextension (위젯 확장 프로그램) | 3.6.6 |
| 감싼 | 1.17.0 | yapf | 0.40.2 | 지프 | 3.21.0 |
| zstandard | 0.23.0 |
설치된 R 라이브러리
R 라이브러리는 2025-03-20년 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| 화살표 | 22.0.0 | askpass (비밀번호 입력 요청) | 1.2.1 | assertthat (어설트댓) | 0.2.1 |
| 백포트 (기존 소프트웨어에 새로운 기능이나 수정을 추가하는 것) | 1.5.0 | 기반 | 4.5.1 | base64enc | 0.1-3 |
| 빅디 | 0.3.1 | 조각 | 4.6.0 | 비트64 | 4.6.0-1 |
| bitops | 1.0-9 | 덩어리 | 1.2.4 | 부츠 | 1.3-30 |
| 양조하다 | 1.0-10 | 활기 | 1.1.5 | 빗자루 | 1.0.10 |
| bslib | 0.9.0 | 캐시미어 | 1.1.0 | 콜러 | 3.7.6 |
| 캐럿 | 7.0-1 | 셀레인저 (cellranger) | 1.1.0 | 크론 | 2.3-62 |
| class | 7.3-22 | 커맨드 라인 인터페이스 (CLI) | 3.6.5 | 클리퍼 | 0.8.0 |
| 시계 | 0.7.3 | 클러스터 | 2.1.6 | 코드 도구 | 0.2-20 |
| 코먼마크 | 2.0.0 | 컴파일러 | 4.5.1 | config | 0.3.2 |
| 갈등을 느끼다 | 1.2.0 | cpp11 | 0.5.2 | 크레용 | 1.5.3 |
| credentials | 2.0.3 | curl | 7.0.0 | 데이터 테이블(data.table) | 1.17.8 |
| 데이터세트 | 4.5.1 | DBI | 1.2.3 | dbplyr | 2.5.1 |
| 설명 | 1.4.3 | 개발자 도구 | 2.4.6 | 다이어그램 | 1.6.5 |
| 디포브젝트 | 0.3.6 | 소화하다 | 0.6.39 | 아래로 비추는 조명 | 0.4.5 |
| dplyr (데이터 조작을 위한 R 패키지) | 1.1.4 | dtplyr | 1.3.2 | e1071 | 1.7-16 |
| 줄임표 | 0.3.2 | 평가하다 | 1.0.5 | 팬시 | 1.0.7 |
| 색상 | 2.1.2 | 패스트맵 | 1.2.0 | 폰트어썸 (fontawesome) | 0.5.3 |
| 포캣츠 | 1.0.1 | 포이치 (foreach) | 1.5.2 | 외국의 | 0.8-86 |
| fs | 1.6.6 | 미래 | 1.68.0 | 퓨처.어플라이 | 1.20.0 |
| 가글하다 | 1.6.0 | 일반 의약품 | 0.1.4 | 거트 | 2.2.0 |
| ggplot2 | 4.0.1 | gh | 1.5.0 | git2r (Git 관련 소프트웨어 패키지) | 0.36.2 |
| gitcreds | 0.1.2 | glmnet (통계 및 기계 학습 소프트웨어 패키지) | 4.1-10 | 글로벌 | 0.18.0 |
| 접착제 | 1.8.0 | 구글 드라이브 | 2.1.2 | 구글시트4 | 1.1.2 |
| 고워 (Gower) | 1.0.2 | 그래픽스 | 4.5.1 | grDevices | 4.5.1 |
| 그리드 | 4.5.1 | gridExtra | 2.3 | gsubfn | 0.7 |
| gt | 1.1.0 | 지테이블 | 0.3.6 | 안전모 | 1.4.2 |
| 안식처 | 2.5.5 | 더 높다 | 0.11 | 에이치엠에스 (HMS) | 1.1.4 |
| HTML 도구 | 0.5.8.1 | HTML 위젯 | 1.6.4 | httpuv | 1.6.16 |
| httr | 1.4.7 | httr2 | 1.2.1 | 아이디 | 1.0.1 |
| 이것 | 0.3.1 | 아이프레드 | 0.9-15 | 아이소밴드 | 0.2.7 |
| 이터레이터 (반복자) | 1.0.14 | jquerylib | 0.1.4 | jsonlite | 2.0.0 |
| 쥬시쥬스 | 0.1.0 | KernSmooth | 2.23-22 | 크니터 | 1.50 |
| 라벨링 | 0.4.3 | 나중에 | 1.4.4 | 격자 | 0.22-5 |
| 용암 | 1.8.2 | 생명주기 | 1.0.4 | listenv (리슨브) | 0.10.0 |
| litedown | 0.8 | 루브리데이트 | 1.9.4 | magrittr | 2.0.4 |
| 마크다운 | 2.0 | 질량 | 7.3-60.0.1 | 매트릭스 | 1.6-5 |
| 메모하다 | 2.0.1 | 메서드 | 4.5.1 | mgcv | 1.9-1 |
| mime | 0.13 | 미니 사용자 인터페이스 (Mini UI) | 0.1.2 | mlflow | 3.6.0 |
| ModelMetrics | 1.2.2.2 | 모델러 | 0.1.11 | nlme | 3.1-164 |
| 엔넷 | 7.3-19 | numDeriv (넘데리브) | 2016년 8월부터 1월 1일까지 | 오픈SSL (OpenSSL은 암호화 라이브러리입니다) | 2.3.4 |
| otel | 0.2.0 | 평행 | 4.5.1 | 평행하게 | 1.45.1 |
| 기둥 | 1.11.1 | pkgbuild(팩키지 빌드) | 1.4.8 | pkgconfig | 2.0.3 |
| pkgdown | 2.2.0 | pkgload | 1.4.1 | 플로거 | 0.2.0 |
| plyr (플레이어) | 1.8.9 | 칭찬 | 1.0.0 | 프리티유닛 | 1.2.0 |
| pROC 패키지 | 1.19.0.1 | 프로세스엑스 | 3.8.6 | 프로드림 (prodlim) | 2025.04.28 |
| profvis | 0.4.0 | 발전 | 1.2.3 | 프로그레스알 | 0.18.0 |
| 약속들 | 1.5.0 | 프로토 | 1.0.0 | 프록시 | 0.4-27 |
| Ps | 1.9.1 | 고양이의 그르렁거림 | 1.2.0 | R6 | 2.6.1 |
| 라그 | 1.5.0 | 랜덤 포레스트 (randomForest) | 4.7-1.2 | rappdirs (랩디르) | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.1.0 |
| RcppEigen | 0.3.4.0.2 | 반응 가능 | 0.4.4 | 리액트R | 0.6.1 |
| 리더(Reader) | 2.1.6 | readxl (엑셀 파일 읽기 기능) | 1.4.5 | 레시피 | 1.3.1 |
| 재대결 | 2.0.0 | 리매치2 | 2.1.2 | 리모컨/원격 | 2.5.0 |
| 레프렉스(문제의 재현 가능한 예시) | 2.1.1 | reshape2 | 1.4.5 | rlang | 1.1.6 |
| r마크다운 | 2.30 | RODBC | 1.3-26 | roxygen2 | 7.3.3 |
| rpart (의사결정트리 구축을 위한 R 패키지) | 4.1.23 | rprojroot | 2.1.1 | Rserve (R서브) | 1.8-15 |
| RSQLite | 2.4.4 | rstudioapi | 0.17.1 | 알버전즈 | 3.0.0 |
| rvest (웹 스크래핑을 위한 R 패키지) | 1.0.5 | S7 | 0.2.1 | sass | 0.4.10 |
| 저울 | 1.4.0 | 선택기 | 0.4-2 | 세션정보 | 1.2.3 |
| 형태 | 1.4.6.1 | 반짝이는 | 1.11.1 | 소스툴스 (sourcetools) | 0.1.7-1 |
| sparklyr | 1.9.3 | SparkR | 4.1.0 | 스파스벡터스 | 0.3.4 |
| 공간적 | 7.3-17 | 스플라인 | 4.5.1 | sqldf (SQL 데이터프레임 패키지) | 0.4–11 |
| 스퀘어엠 | 2021년 1월 | 통계 | 4.5.1 | 통계4 | 4.5.1 |
| 문자열 처리 소프트웨어 "stringi" | 1.8.7 | stringr | 1.6.0 | 생존 | 3.5-8 |
| 자신만만한 태도 | 5.17.14.1 | 시스템 | 3.4.3 | 시스템 글꼴 | 1.3.1 |
| 티클티케이 (tcltk) | 4.5.1 | testthat (테스트댓) | 3.3.0 | 텍스트 형태화 | 1.0.4 |
| tibble (티블) | 3.3.0 | tidyr | 1.3.1 | tidyselect (티디셀렉트) | 1.2.1 |
| tidyverse (타이디버스) | 2.0.0 | 시간 변경 | 0.3.0 | 시간과 날짜 | 4051.111 |
| tinytex | 0.58 | 도구들 | 4.5.1 | tzdb | 0.5.0 |
| URL체커 | 1.0.1 | 사용해보세요 | 3.2.1 | utf8 | 1.2.6 |
| 유틸리티 | 4.5.1 | UUID (범용 고유 식별자) | 1.2-1 | V8 | 8.0.1 |
| vctrs | 0.6.5 | 비리디스라이트 | 0.4.2 | 부르릉 | 1.6.6 |
| waldo | 0.6.2 | 수염 | 0.4.1 | 위드알 | 3.0.2 |
| xfun | 0.54 | xml2 | 1.5.0 | 엑스오픈 | 1.0.1 |
| 엑스테이블 | 1.8-4 | YAML (야믈) | 2.3.10 | 지얼럿 | 0.2.0 |
| zip | 2.3.3 |
설치된 Java 및 Scala 라이브러리(Scala 2.13 클러스터 버전)
| 그룹 아이디 | 아티팩트 ID | 버전 |
|---|---|---|
| antlr (구문 분석 도구) | antlr (구문 분석 도구) | 2.7.7 |
| com.amazonaws | 아마존 키네시스 클라이언트 (amazon-kinesis-client) | 1.15.3 |
| com.amazonaws | aws-java-sdk-autoscaling (AWS 자바 SDK 자동 확장) | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudfront (AWS Java SDK 클라우드프론트) | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudhsm (AWS 자바 SDK 클라우드HSM) | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudsearch (AWS Java SDK 클라우드서치) | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.681 |
| com.amazonaws | aws-java-sdk-codedeploy (AWS Java SDK 코드디플로이) | 1.12.681 |
| com.amazonaws | aws-java-sdk-cognitoidentity (AWS 자바 SDK - Cognito 아이덴티티) | 1.12.681 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.681 |
| com.amazonaws | AWS Java SDK 구성 | 1.12.681 |
| com.amazonaws | aws-java-sdk-core (AWS 자바 SDK 코어) | 1.12.681 |
| com.amazonaws | aws-java-sdk-datapipeline (데이터 파이프라인을 위한 AWS Java SDK) | 1.12.681 |
| com.amazonaws | aws-java-sdk-directconnect (AWS Java SDK 다이렉트커넥트) | 1.12.681 |
| com.amazonaws | aws-java-sdk-directory | 1.12.681 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.681 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.681 |
| com.amazonaws | aws-java-sdk-ecs (AWS Java 소프트웨어 개발 키트 - ECS) | 1.12.681 |
| com.amazonaws | aws-java-sdk-efs (AWS와 EFS 관련 소프트웨어 개발 키트) | 1.12.681 |
| com.amazonaws | aws-java-sdk-elasticache (AWS Java SDK 엘라스티캐시) | 1.12.681 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk (AWS용 Java SDK - Elastic Beanstalk) | 1.12.681 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (AWS Java SDK - 엘라스틱로드밸런싱) | 1.12.681 |
| com.amazonaws | aws-java-sdk-elastictranscoder (AWS Java SDK 엘라스틱 트랜스코더) | 1.12.681 |
| com.amazonaws | aws-java-sdk-emr (아우스-자바-sdk-emr) | 1.12.681 |
| com.amazonaws | AWS 자바 SDK 글래시어 (aws-java-sdk-glacier) | 1.12.681 |
| com.amazonaws | aws-java-sdk-glue (AWS 자바 SDK 글루) | 1.12.681 |
| com.amazonaws | AWS 자바 SDK IAM | 1.12.681 |
| com.amazonaws | aws-java-sdk-importexport (AWS Java SDK 내보내기 기능) | 1.12.681 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.681 |
| com.amazonaws | aws-java-sdk-kms (AWS 자바 SDK KMS) | 1.12.681 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.681 |
| com.amazonaws | aws-java-sdk-logs (AWS 자바 SDK 로그) | 1.12.681 |
| com.amazonaws | AWS-Java-SDK-머신러닝 | 1.12.681 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.681 |
| com.amazonaws | aws-java-sdk-rds (AWS Java 개발자용 SDK - RDS) | 1.12.681 |
| com.amazonaws | aws-java-sdk-redshift (AWS 자바 SDK 레드시프트) | 1.12.681 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.681 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.681 |
| com.amazonaws | aws-java-sdk-ses | 1.12.681 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.681 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.681 |
| com.amazonaws | AWS Java SDK SNS (AWS의 자바 개발자 키트 - SNS) | 1.12.681 |
| com.amazonaws | aws-java-sdk-sqs (AWS Java SDK의 SQS 모듈) | 1.12.681 |
| com.amazonaws | aws-java-sdk-ssm (AWS Java SDK의 SSM 모듈) | 1.12.681 |
| com.amazonaws | aws-java-sdk-storagegateway (AWS Java SDK 스토리지 게이트웨이) | 1.12.681 |
| com.amazonaws | aws-java-sdk-sts | 1.12.681 |
| com.amazonaws | AWS-Java-SDK-지원 | 1.12.681 |
| com.amazonaws | aws-java-sdk-workspaces (AWS Java SDK 작업 공간) | 1.12.681 |
| com.amazonaws | jmespath-java | 1.12.681 |
| com.clearspring.analytics | 스트림 | 2.9.8 |
| com.databricks | Rserve (R서브) | 1.8-3 |
| com.databricks | databricks-sdk-java (데이터브릭스 SDK 자바) | 0.53.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.13 | 0.4.15-11 |
| com.esotericsoftware | kryo-shaded (크리오 쉐이디드) | 4.0.3 |
| com.esotericsoftware | 민로그 | 1.3.0 |
| com.fasterxml | 동급생 | 1.5.1 |
| com.fasterxml.jackson.core | 잭슨 애노테이션즈 | 2.18.2 |
| com.fasterxml.jackson.core | 잭슨-코어 | 2.18.2 |
| com.fasterxml.jackson.core | 잭슨 데이터바인드 (jackson-databind) | 2.18.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor (잭슨 데이터 포맷 CBOR) | 2.18.2 |
| com.fasterxml.jackson.dataformat | 잭슨-데이터포맷-야믈 (jackson-dataformat-yaml) | 2.15.2 |
| com.fasterxml.jackson.datatype | 잭슨 데이터타입 조다 (jackson-datatype-joda) | 2.18.2 |
| com.fasterxml.jackson.datatype | 잭슨 데이터 타입 JSR310 (jackson-datatype-jsr310) | 2.18.3 |
| com.fasterxml.jackson.module | 잭슨 모듈 - 파라네이머 (jackson-module-paranamer) | 2.18.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.13 | 2.18.2 |
| com.github.ben-manes.caffeine | 카페인 | 2.9.3 |
| com.github.blemale | scaffeine_2.13 | 4.1.0 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 네이티브_레퍼런스-자바 | 1.1 |
| com.github.fommil.netlib | 네이티브_레퍼런스-자바 | 1.1-원주민 |
| com.github.fommil.netlib | native_system-java (네이티브 시스템 자바) | 1.1 |
| com.github.fommil.netlib | native_system-java (네이티브 시스템 자바) | 1.1-원주민 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-원주민 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 (넷리브 네이티브 시스템 리눅스-x86_64) | 1.1-원주민 |
| com.github.luben | zstd-jni | 1.5.7-6 |
| com.github.virtuald | 커브스API | 1.08 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.api.grpc | 프로토-구글-커먼-프로토스 | 2.5.1 |
| com.google.auth | google-auth-library-credentials | 1.20.0 |
| com.google.auth | google-auth-library-oauth2-http | 1.20.0 |
| com.google.auto.value | 자동 값 주석 | 1.10.4 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson (JSON 처리를 위한 자바 라이브러리) | 2.11.0 |
| com.google.crypto.tink | 팅크 | 1.16.0 |
| com.google.errorprone | 오류_발생_가능성_있는_주석 | 2.36.0 |
| com.google.flatbuffers | flatbuffers-java | 25.2.10 |
| com.google.guava | 실패 접근 | 1.0.3 |
| com.google.guava | 구아바 | 33.4.8-jre |
| com.google.http-client | google-http-client | 1.43.3 |
| com.google.http-client | google-http-client-gson | 1.43.3 |
| com.google.j2objc | j2objc-annotations (자바 코드 주석 변환 라이브러리 j2objc) | 3.0.0 |
| com.google.protobuf | protobuf-java | 3.25.5 |
| com.google.protobuf | protobuf-java-util (프로토버프 자바 유틸 라이브러리) | 3.25.5 |
| com.helger | 프로파일러 | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.lihaoyi | sourcecode_2.13 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk (애저 데이터 레이크 저장소 SDK) | 2.3.10 |
| com.microsoft.sqlserver (마이크로소프트 SQL 서버) | mssql-jdbc | 12.8.0.jre11 |
| com.microsoft.sqlserver (마이크로소프트 SQL 서버) | mssql-jdbc | 12.8.0.jre8 |
| com.ning | compress-lzf (압축 알고리즘 LZF) | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core (JAXB 코어) | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | JSON | 1.8 |
| com.thoughtworks.paranamer | 파라네이머 | 2.8 |
| com.trueaccord.lenses | lenses_2.13 | 0.4.13 |
| com.twitter (도메인 이름) | chill-java (칠자바) | 0.10.0 |
| com.twitter (도메인 이름) | chill_2.13 | 0.10.0 |
| com.twitter (도메인 이름) | util-app_2.13 | 19.8.1 |
| com.twitter (도메인 이름) | util-core_2.13 | 19.8.1 |
| com.twitter (도메인 이름) | util-function_2.13 | 19.8.1 |
| com.twitter (도메인 이름) | util-jvm_2.13 | 19.8.1 |
| com.twitter (도메인 이름) | util-lint_2.13 | 19.8.1 |
| com.twitter (도메인 이름) | util-registry_2.13 | 19.8.1 |
| com.twitter (도메인 이름) | util-stats_2.13 | 19.8.1 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.13 | 3.9.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers (유니보시티-파서스) | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| com.zaxxer | 스파스비트셋 | 1.3 |
| commons-cli | commons-cli | 1.10.0 |
| commons-codec (커먼즈 코덱) | commons-codec (커먼즈 코덱) | 1.19.0 |
| 코먼스-컬렉션즈 | 코먼스-컬렉션즈 | 3.2.2 |
| 커먼즈-DBCP | 커먼즈-DBCP | 1.4 |
| 커먼즈-파일업로드 | 커먼즈-파일업로드 | 1.6.0 |
| 커먼즈-HTTP 클라이언트 | 커먼즈-HTTP 클라이언트 | 3.1 |
| commons-io | commons-io | 2.21.0 |
| 커먼즈-랭 | 커먼즈-랭 | 2.6 |
| commons-logging (커먼즈 로깅) | commons-logging (커먼즈 로깅) | 1.1.3 |
| commons-pool (커먼즈 풀) | commons-pool (커먼즈 풀) | 1.5.4 |
| dev.ludovic.netlib | 아르팩 (ARPACK) | 3.0.4 |
| dev.ludovic.netlib | 블라스 | 3.0.4 |
| dev.ludovic.netlib | 래팩 (LAPACK) | 3.0.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift (아이오.에어리프트) | 에어컴프레서 | 2.0.2 |
| io.delta | delta-sharing-client_2.13 | 1.3.6 |
| io.dropwizard.metrics | 지표 주석 | 4.2.37 |
| io.dropwizard.metrics | metrics-core (메트릭스 코어) | 4.2.37 |
| io.dropwizard.metrics | 메트릭스-그래파이트 (metrics-graphite) | 4.2.37 |
| io.dropwizard.metrics | 메트릭스-헬스체크 | 4.2.37 |
| io.dropwizard.metrics | 메트릭스-제티10 | 4.2.37 |
| io.dropwizard.metrics | 메트릭스-JMX | 4.2.37 |
| io.dropwizard.metrics | 메트릭스-JSON | 4.2.37 |
| io.dropwizard.metrics | metrics-jvm (메트릭스-JVM) | 4.2.37 |
| io.dropwizard.metrics | 메트릭스-서블릿 | 4.2.37 |
| io.github.java-diff-utils | java-diff-utils | 4.15 |
| io.netty | netty-all | 4.2.7.Final |
| io.netty | 네티-버퍼 (Netty-Buffer) | 4.2.7.Final |
| io.netty | netty-codec (넷티 코덱) | 4.2.7.Final |
| io.netty | netty-codec-base | 4.2.7.Final |
| io.netty | netty-codec-classes-quic | 4.2.7.Final |
| io.netty | netty-codec-compression | 4.2.7.Final |
| io.netty | netty-codec-http (넷티 코덱 HTTP) | 4.2.7.Final |
| io.netty | netty-codec-http2 (넷티 코덱 HTTP2) | 4.2.7.Final |
| io.netty | netty-codec-http3 | 4.2.7.Final |
| io.netty | netty-codec-marshalling | 4.2.7.Final |
| io.netty | netty-codec-native-quic | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-codec-native-quic | 4.2.7.최종-linux-x86_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-osx-aarch_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-osx-x86_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-windows-x86_64 |
| io.netty | netty-codec-protobuf | 4.2.7.Final |
| io.netty | netty-codec-socks (네티 코덱 양말) | 4.2.7.Final |
| io.netty | 넷티-커먼 | 4.2.7.Final |
| io.netty | 넷티 핸들러 | 4.2.7.Final |
| io.netty | netty-handler-proxy (네티 핸들러 프록시) | 4.2.7.Final |
| io.netty | netty-resolver (네티 리졸버) | 4.2.7.Final |
| io.netty | netty-tcnative-boringssl-static (소프트웨어 라이브러리) | 2.0.74.Final-db-r0-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static (소프트웨어 라이브러리) | 2.0.74.Final-db-r0-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static (소프트웨어 라이브러리) | 2.0.74.Final-db-r0-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static (소프트웨어 라이브러리) | 2.0.74.Final-db-r0-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static (소프트웨어 라이브러리) | 2.0.74.Final-db-r0-windows-x86_64 |
| io.netty | netty-tcnative-클래스 | 2.0.74.Final |
| io.netty | 넷티-트랜스포트 | 4.2.7.Final |
| io.netty | netty-transport-classes-epoll (넷티 트랜스포트 클래스 에폴) | 4.2.7.Final |
| io.netty | netty-transport-classes-io_uring | 4.2.7.Final |
| io.netty | netty-transport-classes-kqueue | 4.2.7.Final |
| io.netty | netty-transport-native-epoll (네티-트랜스포트-네이티브-에폴) | 4.2.7.Final |
| io.netty | netty-transport-native-epoll (네티-트랜스포트-네이티브-에폴) | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll (네티-트랜스포트-네이티브-에폴) | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll (네티-트랜스포트-네이티브-에폴) | 4.2.7.최종-linux-x86_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.최종-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.2.7.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.2.7.Final-osx-x86_64 |
| io.netty | 네티-트랜스포트-네이티브-유닉스-커먼 (netty-transport-native-unix-common) | 4.2.7.Final |
| io.opencensus | opencensus-api | 0.31.1 |
| io.opencensus | opencensus-contrib-http-util | 0.31.1 |
| io.prometheus | 심플클라이언트 | 0.16.1-databricks |
| io.prometheus | 심플클라이언트_커먼 | 0.16.1-databricks |
| io.prometheus | simpleclient_dropwizard | 0.16.1-databricks |
| io.prometheus | 심플클라이언트_푸시게이트웨이 | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet_common | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_common | 0.16.1-databricks |
| io.prometheus | 심플클라이언트_트레이서_오텔 | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_otel_agent | 0.16.1-databricks |
| io.prometheus.jmx | 수집기 | 0.18.0 |
| 자카르타.annotation | 자카르타 애노테이션-API (jakarta.annotation-api) | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api (자카르타 서블릿 API) | 4.0.3 |
| jakarta.validation | jakarta.validation-api (자카르타 검증 API) | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 활성화 | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api (자바 API) | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.media | jai_core | jai_core_dummy |
| javax.transaction | jta (자바 트랜잭션 API) | 1.1 |
| javax.transaction | 트랜잭션-API | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| 자볼루션 | 자볼루션 | 5.5.1 |
| 제이라인 | 제이라인 | 2.14.6 |
| joda-time | joda-time | 2.14.0 |
| net.java.dev.jna (넷.자바.데브.제이엔에이) | 제이엔에이 | 5.8.0 |
| net.razorvine | 피 클 | 1.5 |
| net.sf.jpam | 제이팜 | 1.1 |
| net.sf.opencsv | opencsv (오픈CSV 라이브러리) | 2.3 |
| net.sf.supercsv | 슈퍼-CSV | 2.2.0 |
| 네트.스노우플레이크 | snowflake-ingest SDK (소프트웨어 개발 키트) | 0.9.6 |
| net.sourceforge.f2j | arpack_전체_결합 | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc (리모트티-온씨알피씨) | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | ANTLR 런타임 | 3.5.2 |
| org.antlr | antlr4-runtime | 4.13.1 |
| org.antlr | 문자열템플릿 | 3.2.1 |
| org.apache.ant | 개미 | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | 안트-런처 | 1.10.11 |
| org.apache.arrow | 화살표 형식 | 18.3.0 |
| org.apache.arrow | arrow-memory-core (애로우-메모리-코어) | 18.3.0 |
| org.apache.arrow | 애로우-메모리-네티 | 18.3.0 |
| org.apache.arrow | 애로-메모리-네티-버퍼-패치 | 18.3.0 |
| org.apache.arrow | 화살표 벡터 | 18.3.0 |
| org.apache.avro | 아브로 | 1.12.1 |
| org.apache.avro | avro-ipc (아브로 IPC) | 1.12.1 |
| org.apache.avro | avro-mapred (아브로-맵레드) | 1.12.1 |
| org.apache.commons (오픈 소스 자바 라이브러리) | commons-collections4 (공용 컬렉션4) | 4.5.0 |
| org.apache.commons (오픈 소스 자바 라이브러리) | 커먼즈-컴프레스 | 1.28.0 |
| org.apache.commons (오픈 소스 자바 라이브러리) | commons-configuration2 | 2.11.0 |
| org.apache.commons (오픈 소스 자바 라이브러리) | 커먼즈-크립토 | 1.1.0 |
| org.apache.commons (오픈 소스 자바 라이브러리) | 커먼즈-랭3 (commons-lang3) | 3.19.0 |
| org.apache.commons (오픈 소스 자바 라이브러리) | 커먼즈-매쓰3 | 3.6.1 |
| org.apache.commons (오픈 소스 자바 라이브러리) | commons-text (커먼즈 텍스트) | 1.14.0 |
| org.apache.curator | 큐레이터-의뢰인 관계 | 5.9.0 |
| org.apache.curator | curator-framework (큐레이터 프레임워크) | 5.9.0 |
| org.apache.curator | 큐레이터의 레시피 | 5.9.0 |
| org.apache.datasketches | datasketches-java | 6.2.0 |
| org.apache.datasketches | 데이터스케치 메모리 | 3.0.2 |
| org.apache.derby | 더비 | 10.14.2.0 |
| org.apache.hadoop | 하둡 클라이언트 런타임 (hadoop-client-runtime) | 3.4.2 |
| org.apache.hive | hive-beeline (하이브 비라인, 하둡에서 SQL 쿼리를 실행하고 관리하는 명령어) | 2.3.10 |
| org.apache.hive | hive-CLI | 2.3.10 |
| org.apache.hive | hive-jdbc (하이브 JDBC) | 2.3.10 |
| org.apache.hive | hive-llap-client (하이브 LLAP 클라이언트) | 2.3.10 |
| org.apache.hive | hive-llap-common | 2.3.10 |
| org.apache.hive | 하이브-세르데 | 2.3.10 |
| org.apache.hive | 하이브-심스 | 2.3.10 |
| org.apache.hive | 하이브-스토리지-API | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.10 |
| org.apache.hive.shims | 하이브-쉼스-커먼 | 2.3.10 |
| org.apache.hive.shims | 하이브-심스-스케줄러 | 2.3.10 |
| org.apache.httpcomponents | HTTP 클라이언트 (httpclient) | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | 아이비 | 2.5.3 |
| org.apache.logging.log4j | log4j-1.2-api | 2.24.3 |
| org.apache.logging.log4j | log4j-api | 2.24.3 |
| org.apache.logging.log4j | log4j-core (로그4j-코어) | 2.24.3 |
| org.apache.logging.log4j | log4j-layout-template-json (로그4j 레이아웃 템플릿 JSON) | 2.24.3 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.24.3 |
| org.apache.orc | orc-core (오크 코어) | 2.2.0-shaded-protobuf |
| org.apache.orc | orc-포맷 | 1.1.1 음영 처리된 프로토부프 |
| org.apache.orc | orc-mapreduce (오크-맵리듀스) | 2.2.0-shaded-protobuf |
| org.apache.orc | orc-shims (오크-심스) | 2.2.0 |
| org.apache.poi | 포이 | 5.4.1 |
| org.apache.poi | poi-ooxml | 5.4.1 |
| org.apache.poi | poi-ooxml-full | 5.4.1 |
| org.apache.poi | poi-ooxml-lite | 5.4.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.16.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.1 |
| org.apache.xbean | xbean-asm9 음영 처리 | 4.28 |
| org.apache.xmlbeans | xmlbeans | 5.3.0 |
| org.apache.yetus | 관객 주석 | 0.13.0 |
| org.apache.zookeeper | 동물 사육사 | 3.9.4 |
| org.apache.zookeeper | 동물원 관리자-쥬트 | 3.9.4 |
| org.checkerframework | 체커-퀄 | 3.43.0 |
| org.codehaus.janino | 커먼스-컴파일러 | 3.0.16 |
| org.codehaus.janino | 자니노 | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | 데이터뉴클리어스-코어 | 4.1.17 |
| org.datanucleus | datanucleus-rdbms (데이터누클리어스-알디비엠에스) | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-alpn-client | 10.0.26 |
| org.eclipse.jetty | jetty-client (제티 클라이언트) | 10.0.26 |
| org.eclipse.jetty | 제티-HTTP (Jetty-HTTP) | 10.0.26 |
| org.eclipse.jetty | jetty-io | 10.0.26 |
| org.eclipse.jetty | jetty-jndi (제티-JNDI) | 10.0.26 |
| org.eclipse.jetty | 제티-플러스 (jetty-plus) | 10.0.26 |
| org.eclipse.jetty | jetty-proxy (제티 프록시) | 10.0.26 |
| org.eclipse.jetty | 제티-시큐리티 (jetty-security) | 10.0.26 |
| org.eclipse.jetty | 제티 서버 (Jetty Server) | 10.0.26 |
| org.eclipse.jetty | jetty-servlet | 10.0.26 |
| org.eclipse.jetty | 제티 서블릿(jetty-servlets) | 10.0.26 |
| org.eclipse.jetty | 제티 유틸 (jetty-util) | 10.0.26 |
| org.eclipse.jetty | 제티 웹앱 (jetty-webapp) | 10.0.26 |
| org.eclipse.jetty | jetty-xml | 10.0.26 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2 위치 탐색기 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | OSGi 자원 탐색기 | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-재패키지 | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | Jersey 컨테이너 서블릿 (jersey-container-servlet) | 2.41 |
| org.glassfish.jersey.containers | 저지-컨테이너-서블릿-코어 | 2.41 |
| org.glassfish.jersey.core | 제르시 클라이언트 | 2.41 |
| org.glassfish.jersey.core | 저지-커먼 | 2.41 |
| org.glassfish.jersey.core | 저지 서버 (jersey-server) | 2.41 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.41 |
| org.hibernate.validator | 하이버네이트 검증기 (hibernate-validator) | 6.2.5.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging(로그 관리 시스템) | 3.4.1.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jline | 제이라인 | 3.27.1-jdk8 |
| org.joda | joda-convert (조다 변환 라이브러리) | 1.7 |
| org.json4s | json4s-ast_2.13 | 4.0.7 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| org.json4s | json4s-scalap_2.13 | 4.0.7 |
| org.locationtech.jts | jts-core | 1.20.0 |
| org.lz4 | lz4-java | 1.8.0-databricks-1 |
| org.mlflow | mlflow-spark_2.13 | 2.22.1 |
| org.objenesis | 옵제네시스 (objenesis) | 3.4 |
| org.postgresql | PostgreSQL (포스트그레에스큐엘) | 42.6.1 |
| org.roaringbitmap | 로어링비트맵 (RoaringBitmap) | 1.2.1 |
| org.rocksdb | rocksdbjni | 9.8.4 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.13 | 2.13.16 |
| org.scala-lang | scala-library_2.13 | 2.13.16 |
| org.scala-lang | scala-reflect_2.13 | 2.13.16 |
| org.scala-lang.modules | scala-collection-compat_2.13 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.13 | 0.9.1 |
| org.scala-lang.modules | scala-parallel-collections_2.13 | 1.2.0 |
| org.scala-lang.modules | scala-parser-combinators_2.13 (스칼라 구문 분석 결합기_2.13) | 2.4.0 |
| org.scala-lang.modules | scala-xml_2.13 | 2.4.0 |
| org.scala-sbt | 테스트 인터페이스 | 1.0 |
| org.scalacheck | scalacheck_2.13 | 1.18.0 |
| org.scalactic | scalactic_2.13 | 3.2.19 |
| org.scalanlp | breeze-macros_2.13 | 2.1.0 |
| org.scalanlp | breeze_2.13 | 2.1.0 |
| org.scalatest | scalatest와 호환 가능 | 3.2.19 |
| org.scalatest | scalatest-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-diagrams_2.13 | 3.2.19 |
| org.scalatest | scalatest-featurespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-flatspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-freespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funsuite_2.13 | 3.2.19 |
| org.scalatest | scalatest-matchers-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-mustmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-propspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-refspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-shouldmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-wordspec_2.13 | 3.2.19 |
| org.scalatest | scalatest_2.13 | 3.2.19 |
| org.slf4j | jcl-over-slf4j | 2.0.16 |
| org.slf4j | jul-to-slf4j | 2.0.16 |
| org.slf4j | slf4j-api | 2.0.16 |
| org.slf4j | 슬프4j-심플 | 1.7.25 |
| org.threeten | threeten-extra (쓰리텐-엑스트라) | 1.8.0 |
| org.tukaani | xz | 1.10 |
| org.typelevel | algebra_2.13 | 2.8.0 |
| org.typelevel | cats-kernel_2.13 | 2.8.0 |
| org.typelevel | spire-macros_2.13 | 0.18.0 |
| org.typelevel | spire-platform_2.13 | 0.18.0 |
| org.typelevel | 스파이어 유틸_2.13 | 0.18.0 |
| org.typelevel | spire_2.13 | 0.18.0 |
| org.wildfly.openssl | 와일드플라이-OpenSSL | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | 스네이크야AML (snakeyaml) | 2.0 |
| 금 | 금 | 2.0.8 |
| pl.edu.icm | 제이 라지 어레이스 | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider (아마존 코레토 크립토 프로바이더) | 2.5.0-linux-x86_64 |
| 스택스 (Stax) | stax-api | 1.0.1 |
팁 (조언)
지원 종료(EoS)에 도달한 Databricks Runtime 버전에 대한 릴리스 정보를 확인하려면 지원 종료 Databricks Runtime 릴리스 정보를 참조하세요. EoS Databricks Runtime 버전은 폐기되었으며 업데이트되지 않을 수 있습니다.