다음을 통해 공유

Databricks Runtime 11.3 LTS(EoS)

비고

이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.

다음 릴리스 정보는 Apache Spark 3.3.0에서 제공하는 Databricks Runtime 11.3 LTS에 대한 정보를 제공합니다. Databricks는 2022년 10월에 이 버전을 릴리스했습니다.

비고

LTS 는 이 버전이 장기적인 지원을 받고 있다는 것을 의미합니다. Databricks Runtime LTS 버전 수명 주기를 참조하세요.

동작 변경

[호환성에 영향을 주는 변경 내용] 새 Python 버전을 사용하려면 Databricks Connect V1 Python 클라이언트를 반드시 업데이트해야 합니다.

비고

후속 업데이트는 Databricks Runtime 11.3 LTS의 Python 버전을 3.9.21로 이동합니다. 3.9.21 버전은 동작 변경을 도입하지 않습니다.

필요한 보안 패치를 적용하기 위해 Databricks Runtime 11.3 LTS의 Python 버전이 3.9.5에서 3.9.19로 업데이트됩니다. 이러한 변경으로 인해 특정 PySpark 함수를 사용하는 클라이언트에서 오류가 발생할 수 있으므로 Databricks Runtime 11.3 LTS와 함께 Python용 Databricks Connect V1을 사용하는 모든 클라이언트는 Python 3.9.7 이상으로 업데이트해야 합니다.

새로운 기능 및 개선 사항

Python이 3.9.19에서 3.9.21로 업그레이드됨

Databricks Runtime 11.3 LTS의 Python 버전은 3.9.19에서 3.9.21로 업데이트됩니다.

구조적 스트리밍의 "Trigger Once" 기능은 더 이상 사용되지 않습니다.

이 Trigger.Once 설정은 더 이상 사용되지 않습니다. Databricks는 Trigger.AvailableNow를 사용하는 것을 권장합니다. 구조적 스트리밍 트리거 간격 구성을 참조하세요.

자동 로더의 원본 경로 변경

이제 새 검사점 디렉터리를 선택하지 않고도 디렉터리 목록 모드로 구성된 자동 로더의 디렉터리 입력 경로를 변경할 수 있습니다. 자동 로더의 원본 경로 변경을 참조하세요.

Databricks Kinesis 커넥터는 이제 EFO 모드에서 Kinesis 데이터 스트림에서 읽기를 지원합니다.

이제 Databricks Runtime 11.3 LTS에서 Databricks Kinesis 구조적 스트리밍 원본을 사용하여 확장된 팬아웃 모드에서 Kinesis 데이터 스트림에서 읽은 쿼리를 실행할 수 있습니다. 이렇게 하면 샤드당, 소비자당 단독 처리량과 푸시 모드를 통한 레코드 전달이 가능해집니다.

새로운 H3 지리 공간적 함수 및 모든 H3 함수에 대한 Photon 지원 추가

4개의 새로운 H3 함수, h3_maxchild, h3_minchildh3_pointash3및 h3_pointash3string. 이러한 함수는 SQL, Scala 및 Python에서 사용할 수 있습니다. 이제 Photon에서 모든 H3 식이 지원됩니다. H3 지리 공간적 함수을 참조하세요.

예측 I/O의 새로운 기능

Photon은 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW를 사용하여 프레임을 실행하기 위한 범위 모드를 지원합니다. Photon은 프레임 증가에 대한 범위 모드도 지원합니다 RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

선택적 쿼리를 검색하기 위해 초기 파티션 늘리기

Photon 사용 클러스터와 Databricks SQL에서의 선택적 쿼리에 대해 take/tail/limit 및 LIMIT 스캔할 초기 파티션의 값이 10으로 증가했습니다. 10개의 파티션을 사용하면 여러 개의 작은 작업을 시작하고 확장 속도가 느려지는 오버헤드를 방지할 수 있습니다. spark.sql.limit.selectiveInitialNumPartitions을 통해 구성할 수 있습니다.

새 AQE 계획 버전 시각화

AQE(적응 쿼리 실행)에서 런타임 계획 업데이트를 시각화할 수 있는 AQE 계획 버전을 소개합니다.

새로운 비동기 진행률 추적 및 로그 제거 모드

비동기 진행률 추적 및 비동기 로그 제거라는 구조적 스트리밍 모드를 소개합니다. 비동기 로그 제거 모드는 백그라운드에서 진행률 추적에 사용되는 로그를 제거하여 스트리밍 쿼리의 대기 시간을 낮춥니다.

이제 Unity 카탈로그의 구조적 스트리밍이 지원됩니다. display()

이제 구조적 스트리밍을 사용하여 Unity 카탈로그에 등록된 테이블로 작업할 때 사용할 display() 수 있습니다.

이제 파이프라인 이벤트가 JSON 형식으로 기록됩니다.

이제 Azure Databricks는 JSON 형식으로 드라이버 로그에 파이프라인 이벤트를 씁니다. 각 이벤트는 JSON 구문 분석이 가능하지만 큰 이벤트에는 모든 필드가 포함되지 않거나 필드가 잘릴 수 있습니다. 각 이벤트는 접두사를 사용하여 한 줄로 기록됩니다 Event received: . 다음은 예제 이벤트입니다.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Python을 사용한 구조적 스트리밍의 임의 상태 저장 처리

PySpark에서 임의 applyInPandasWithState 상태 저장 처리를 수행하는 데 사용할 수 있는 함수를 소개합니다. 이는 Java API의 flatMapGroupsWithState 함수와 동일합니다.

CSV 파일의 날짜 유추

CSV 파일에서 날짜 형식 열의 향상된 유추를 소개합니다. 열의 레코드에서 날짜 형식이 일관되면 해당 열을 .로 DateType유추할 수 있습니다. 여러 열에 날짜 형식을 조합하여 사용할 수도 있습니다. Azure Databricks는 각 열의 날짜 형식을 자동으로 유추할 수 있습니다. Databricks Runtime 11.3 LTS 이전의 CSV 파일의 날짜 열은 다음과 같이 StringType남아 있습니다.

Apache Parquet 및 Apache Iceberg 테이블에 대한 복제 지원(공개 미리 보기)

이제 복제본을 사용하여 Apache Parquet 및 Apache Iceberg 테이블을 미러링하는 델타 테이블을 만들고 증분 방식으로 업데이트할 수 있습니다. 원본 Parquet 테이블을 업데이트하고 복제 명령을 사용하여 복제된 델타 테이블에 변경 내용을 증분 방식으로 적용할 수 있습니다. Delta Lake에 Parquet 및 Apache Iceberg 테이블을 증분적으로 복제하는 방법을 참조하세요.

SQL을 사용하여 Unity 카탈로그 관리 테이블에 대한 스키마 및 카탈로그 수준 스토리지 위치 지정

이제 SQL 명령을 사용하여 MANAGED LOCATION 카탈로그 및 스키마 수준에서 관리되는 테이블에 대한 클라우드 스토리지 위치를 지정할 수 있습니다. CREATE CATALOG 및 CREATE SCHEMA참조하세요.

동작 변경

Databricks Connect 11.3.2

이제 Databricks Connect 클라이언트 업데이트 11.3.2가 지원됩니다. Databricks Connect 및 Databricks Connect 릴리스 정보를 참조하세요.

Azure Databricks Snowflake 커넥터 업데이트됨

Azure Databricks Snowflake 커넥터는 오픈 소스 리포지토리인 Snowflake Data Source for Apache Spark에서 최신 버전의 코드로 업데이트되었습니다. 이제 오픈 소스 버전의 모든 기능을 유지하면서 조건자 푸시다운 및 내부 쿼리 계획 푸시다운을 포함하여 Databricks Runtime 11.3 LTS와 완벽하게 호환됩니다.

이제 S3A용 Hadoop 캐시를 사용할 수 없습니다.

이제 S3A용 Hadoop 캐시(FileSystem Apache Hadoop Main 3.3.4 API)를 사용할 수 없습니다. 이는 다른 클라우드 스토리지 커넥터와 일치하기 위한 것입니다. 파일 시스템 캐싱을 사용하는 워크로드의 경우 새로 만든 파일 시스템에 자격 증명 공급자를 비롯한 올바른 Hadoop 구성이 제공되었는지 확인합니다.

이제 Delta Lake stats 컬렉션 스키마가 테이블 스키마 정의의 열 순서와 일치합니다.

이 변경은 DataFrame 및 테이블 열 순서가 일치하지 않아 열에 대한 통계가 수집되지 않은 Delta Lake 프로토콜의 버그를 해결합니다. 경우에 따라 이전에 추적되지 않은 필드의 통계 수집으로 인해 쓰기 성능이 저하될 수 있습니다. Delta Lake에 대한 데이터 건너뛰기를 참조하세요.

applyInPandasWithState는 쿼리의 연산자 뒤에 셔플이 있는 경우 오류를 발생시킵니다.

연산자 applyInPandasWithState 뒤에 쿼리 shuffle가 있으면, 연산자가 오류를 발생시킵니다. 이 현상은 작업 후에 사용자가 shuffle을 추가하거나, 최적화 도구 또는 싱크가 암시적으로 shuffle을 추가할 때 발생합니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • distlib 버전 0.3.5에서 0.3.6으로 업데이트
  • 업그레이드된 R 라이브러리:
    • broom 1.0.0에서 1.0.1로 업데이트
    • 3.7.1에서 3.7.2까지의 호출자
    • dplyr 1.0.9에서 1.0.10으로
    • dtplyr 버전 1.2.1에서 1.2.2로
    • forcats 버전 0.5.1에서 0.5.2로 업데이트
    • future 1.27.0에서 1.28.0으로
    • future.apply 버전 1.9.0에서 1.9.1로 업데이트
    • gert 1.7.0에서 1.8.0으로 업데이트
    • globals 버전을 0.16.0에서 0.16.1로 업데이트
    • gtable 0.3.0에서 0.3.1까지
    • 2.5.0에서 2.5.1로
    • hms 버전 1.1.1에서 1.1.2로 변경
    • httr 1.4.3에서 1.4.4로
    • knitr 1.39 버전에서 1.40 버전으로
    • modelr 0.1.8에서 0.1.9로 업데이트
    • 1.8.0에서 1.8.1로의 기둥
    • progressr 버전을 0.10.1에서 0.11.0으로 업데이트하기
    • "readxl 1.4.0에서 1.4.1로"
    • reprex 2.0.1에서 2.0.2로
    • 1.0.4에서 1.0.5로의 rlang
    • rmarkdown 버전 2.14에서 2.16으로
    • RSQLite 2.2.15에서 2.2.16으로
    • rstudioapi 0.13에서 0.14로
    • r버전들 2.1.1에서 2.1.2까지
    • rvest 1.0.2 버전에서 1.0.3 버전으로
    • 크기가 1.2.0에서 1.2.1로 조정됩니다.
    • sparklyr 1.7.7에서 1.7.8로
    • stringr 1.4.0에서 1.4.1로
    • 3.2-13에서 3.4-0까지의 생존
    • tinytex 0.40에서 0.41로
    • viridisLite 버전 0.4.0에서 0.4.1로
  • 업그레이드된 Java 라이브러리:
    • com.fasterxml.jackson.core.jackson-annotations 2.13.3에서 2.13.4로
    • com.fasterxml.jackson.core.jackson-core 2.13.3에서 2.13.4로
    • com.fasterxml.jackson.core.jackson-databind 2.13.3에서 2.13.4로
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor가 버전 2.13.3에서 2.13.4로 변화했습니다.
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 2.13.3에서 2.13.4로
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310의 버전을 2.13.3에서 2.13.4로 업데이트.
    • com.fasterxml.jackson.module.jackson-module-paranamer from 2.13.3 to 2.13.4
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 2.13.3에서 2.13.4로
    • org.apache.hadoop.hadoop-client-api 버전을 3.3.2-databricks에서 3.3.4-databricks로 업그레이드.
    • org.apache.hadoop.hadoop-client-runtime 3.3.2에서 3.3.4로
    • org.apache.orc.orc-core 1.7.5에서 1.7.6까지
    • org.apache.orc.orc-mapreduce 버전이 1.7.5에서 1.7.6으로 업그레이드됨
    • org.apache.orc.orc-shims from 1.7.5 to 1.7.6
    • org.apache.parquet.parquet-column 버전이 1.12.0-databricks-0004에서 1.12.0-databricks-0007로 업데이트됩니다.
    • org.apache.parquet.parquet-common from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
    • org.apache.parquet.parquet-encoding from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
    • org.apache.parquet.parquet-format-structures 1.12.0-databricks-0004에서 1.12.0-databricks-0007로
    • org.apache.parquet.parquet-hadoop에서 버전 1.12.0-databricks-0004를 1.12.0-databricks-0007로 업데이트
    • org.apache.parquet.parquet-jackson 1.12.0-databricks-0004에서 1.12.0-databricks-0007로
    • org.glassfish.jersey.containers.jersey-container-servlet 2.34에서 2.36으로
    • org.glassfish.jersey.containers.jersey-container-servlet-core 2.34에서 2.36까지
    • org.glassfish.jersey.core.jersey-client 버전 2.34에서 2.36까지
    • org.glassfish.jersey.core.jersey-common 2.34 버전에서 2.36 버전으로 변경됨
    • org.glassfish.jersey.core.jersey-server 버전을 2.34에서 2.36으로
    • org.glassfish.jersey.inject.jersey-hk2 버전을 2.34에서 2.36으로 업데이트합니다.

Apache Spark

Databricks Runtime 11.3 LTS에는 Apache Spark 3.3.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 11.2(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-39957] [WARMFIX][sc-111425][CORE] Driver가 ExecutorExitCode를 수신할 수 있도록 하는 onDisconnected 지연.
  • [SPARK-39955] [WARMFIX][sc-111424][CORE] LaunchTask 프로세스를 개선하여 보내기 실패 LaunchTask 메시지로 인한 스테이지 오류를 방지합니다.
  • [SPARK-40474] [SC-106248][cherry-pick] datetime 열에 대한 CSV 스키마 유추 동작 수정 및 날짜 필드에 대한 자동 검색 도입
  • [SPARK-40535] [SC-111243][sql] 입력 행이 비어 있으면 AggregatingAccumulator의 버퍼가 만들어지지 않는 버그 수정
  • [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] PySpark에서 applyInPandasWithState 구현
  • [SPARK-40460] [SC-110832][ss] 선택할 때 스트리밍 메트릭 수정 _metadata
  • [SPARK-40324] [SC-109943][sql] 다음의 쿼리 컨텍스트를 제공합니다. ParseException
  • [SPARK-40466] [SC-110899][ss] DSv1을 사용할 수 없는 동안 DSv2를 사용하지 않도록 설정하면 오류 메시지 개선
  • [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext는 반복적으로 호출하는 것이 저렴해야 합니다.
  • [SPARK-40169] [SC-110772][sql] 데이터 스키마에 대한 참조 없이 Parquet 필터를 푸시다운하지 마세요.
  • [SPARK-40467] [SC-110759][ss] FlatMapGroupsWithState를 여러 테스트 도구 모음으로 분할
  • [SPARK-40468] [SC-110813][sql] _corrupt_record 선택한 경우 CSV에서 열 정리 수정
  • [SPARK-40291] [SC-110085][sql] 절 오류로 인해 그룹화되지 않은 열에 대한 메시지 개선
  • [SPARK-40398] [SC-110762][core][SQL] Arrays.stream api 대신 루프 사용
  • [SPARK-40433] [SC-110684][ss][PYTHON] PythonSQLUtils에 toJVMRow를 추가하여 절인 PySpark 행을 JVM 행으로 변환
  • [SPARK-40414] [SC-110568][sql][PYTHON] PythonArrowInput 및 PythonArrowOutput의 일반 형식
  • [SPARK-40352] [SC-109945][sql] 함수 별칭 추가: len, datepart, dateadd, date_diff 및 curdate
  • [SPARK-40470] [SC-110761][sql] "arrays_zip" 함수에서 GetArrayStructFields 및 GetMapValue 처리
  • [SPARK-40387] [SC-110685][sql] Spark Decimal 구현 개선
  • [SPARK-40429] [SC-110675][sql] 참조된 열이 출력에 있을 때만 KeyGroupedPartitioning을 설정합니다.
  • [SPARK-40432] [SC-110716][ss][PYTHON] PySpark에서 GroupStateImpl 및 GroupStateTimeout 소개
  • [SPARK-39915] [SC-110496][sql] 출력 분할이 AQE에서 사용자 지정되었는지 확인
  • [SPARK-29260] [SQL] HMS가 지원하는 경우 지원 ALTER DATABASE SET LOCATION
  • [SPARK-40185] [SC-110056][sql] 후보 목록이 비어 있을 때 열 제안 제거
  • [SPARK-40362] [SC-110401][sql] BinaryComparison 정식화 수정
  • [SPARK-40411] [SC-110381][ss] 부모 특성을 갖도록 FlatMapGroupsWithStateExec 리팩터링
  • [SPARK-40293] [SC-110084][sql] V2 테이블 오류 메시지를 더 의미 있게 만들기
  • [SPARK-38734] [SC-110383][sql] 오류 클래스 제거 INDEX_OUT_OF_BOUNDS
  • [SPARK-40292] [SC-110300][sql] 배열이 중첩된 구조체에서 참조될 때 "arrays_zip" 함수의 열 이름 수정
  • [SPARK-40276] [SC-109674][core] RDD.takeOrdered의 결과 크기 줄이기
  • [SPARK-40197] [SC-109176][sql] 쿼리 계획을 MULTI_VALUE_SUBQUERY_ERROR 대한 컨텍스트로 바꾸기
  • [SPARK-40300] [SC-109942][sql] 오류 클래스로 DATATYPE_MISMATCH 마이그레이션
  • [SPARK-40149] [SC-110055][sql] Project를 통해 메타데이터 열 전파
  • [SPARK-40280] [SC-110146][sql] 주석이 달린 int 및 long에 대한 parquet 푸시다운 기능 지원 추가
  • [SPARK-40220] [SC-110143][sc-109175][SQL] 오류 메시지 매개 변수의 빈 맵을 출력하지 않음
  • [SPARK-40295] [SC-110070][sql] 쓰기 배포/순서 지정에서 리터럴 인수가 있는 v2 함수 허용
  • [SPARK-40156] [SC-109264][sql] url_decode() 오류 클래스를 반환해야 합니다.
  • [SPARK-39195] [SQL] 커밋된 파일이 작업 상태와 일치하지 않는 경우 Spark OutputCommitCoordinator가 단계를 중단해야 합니다.
  • [SPARK-40260] [SC-109424][sql] 위치의 GROUP BY 컴파일 오류에 오류 클래스 사용
  • [SPARK-40205] [SC-110144][sc-109082][SQL] ELEMENT_AT_BY_INDEX_ZERO 쿼리 컨텍스트 제공
  • [SPARK-40112] [SC-109676][sql] TO_BINARY() 함수 개선
  • [SPARK-40209] [SC-109081][sql] 오류 발생 시 10진 changePrecision() 수의 간격 값을 변경하지 마세요.
  • [SPARK-40319] [SC-109873][sql] PARSE_DATETIME_BY_NEW_PARSER 대한 중복 쿼리 실행 오류 메서드 제거
  • [SPARK-40222] [SC-109209][sql] 숫자 try_add/try_divide/try_subtract/try_multiply 자녀의 오류를 throw해야 합니다.
  • [SPARK-40183] [SC-108907][sql] 10진수 변환에서 오버플로에 오류 클래스 NUMERIC_VALUE_OUT_OF_RANGE 사용
  • [SPARK-40180] [SC-109069][sql] 다음으로 오류 메시지 서식 지정 spark-sql
  • [SPARK-40153] [SC-109165][sql] 확인 함수 및 테이블 반환 함수 통합
  • [SPARK-40308] [SC-109880][sql] 접을 수 없는 구분 기호 인수가 작동하도록 str_to_map 허용
  • [SPARK-40219] [SC-110052][sc-109663][SQL] 해결된 뷰의 논리 계획은 중복 조회를 방지하기 위해 스키마를 유지해야 합니다.
  • [SPARK-40098] [SC-109939][sc-108693][SQL] Thrift Server의 형식 오류 메시지
  • [SPARK-39917] [SC-109038][sql] 숫자/간격 산술 오버플로에 다른 오류 클래스 사용
  • [SPARK-40033] [SC-109875][sql] element_at 통해 중첩된 스키마 정리 지원
  • [SPARK-40194] [SC-109660][sql] 빈 정규식의 SPLIT 함수는 후행 빈 문자열을 잘라야 합니다.
  • [SPARK-40228] [SC-109835][sql] 자식 표현이 저렴한 식이 아닌 경우 multiLike를 단순화하지 않습니다.
  • [SPARK-40039] [SC-109896][sc-109260][SS] Hadoop의 중단 가능 인터페이스를 기반으로 한 스트리밍 체크포인트 파일 매니저 도입
  • [SPARK-40285] [SC-109679][sql] Spark용 간소화 roundTo[Numeric]Decimal
  • [SPARK-39896] [SC-109658][sql] In/InSet 다운캐스트의 리터럴이 실패할 때 UnwrapCastInBinaryComparison이 작동해야 합니다.
  • [SPARK-40040] [SC-109662][sql] 조인 조건이 비어 있는 경우 양쪽에 로컬 제한 푸시
  • [SPARK-40055] [SC-109075][sql] listCatalogs는 spark_catalog 구현이 defaultSessionCatalog인 경우에도 spark_catalog 반환해야 합니다.
  • [SPARK-39915] [SC-109391][sql] Dataset.repartition(N)은 AQE가 아닌 N 파티션을 만들 수 없습니다.
  • [SPARK-40207] [SC-109401][sql] 데이터 원본에서 데이터 형식이 지원되지 않는 경우 열 이름을 지정합니다.
  • [SPARK-40245] [SC-109295][sql] 파티션 또는 데이터 필터 열을 읽지 않을 때 FileScan 같음 검사 수정
  • [SPARK-40113] [SC-109405][sql] Reactor ParquetScanBuilder DataSourceV2 인터페이스 구현
  • [SPARK-40211] [SC-109226][core][SQL] take() 동작에서 초기 파티션 번호 사용자 지정 허용
  • [SPARK-40252] [SC-109379][sql] Api로 바꾸기 Stream.collect(Collectors.joining)StringJoiner
  • [SPARK-40247] [SC-109272][sql] BitSet 같음 검사 수정
  • [SPARK-40067] [SQL] Scan#name() 대신 Table#name()을 사용하여 SparkUI의 BatchScan 노드에서 테이블 이름을 채웁니다.
  • [SPARK-39966] [SQL] SupportsDelete에서 V2 필터 사용
  • [SPARK-39607] [SC-109268][sql][DSV2] 배포 및 순서 지정 지원 V2 함수를 서면으로 작성
  • [SPARK-40224] [SC-109271][sql] ObjectHashAggregateExec가 정렬 기반 방식으로 대체될 때 메모리를 즉시 해제하도록 구현하기
  • [SPARK-40013] [SQL] DS V2 식에 기본값이 있어야 합니다. toString
  • [SPARK-40214] [SC-109079][python][SQL] 함수에 'get' 추가
  • [SPARK-40192] [SC-109089][sql][ML] 중복 그룹화 제거
  • [SPARK-40146] [SC-108694][sql] 맵 값 가져오기 코드 생성 간소화
  • [SPARK-40109] [SQL] 새 SQL 함수: get()
  • [SPARK-39929] [SQL] DS V2는 문자열 함수(ANSI가 아닌) 푸시다운을 지원합니다.
  • [SPARK-39819] [SQL] DS V2 집계 푸시 다운이 상위 N 또는 페이징과 함께 (표현식을 사용하여 정렬) 작동할 수 있습니다.
  • [SPARK-40213] [SC-109077][sql] Latin-1 문자에 대한 ASCII 값 변환 지원
  • [SPARK-39887] [SQL] RemoveRedundantAliases는 프로젝션 노드의 출력을 고유하게 만드는 별칭을 유지해야 합니다.
  • [SPARK-39764] [SQL] PhysicalOperation을 ScanOperation과 동일하게 만듭니다.
  • [SPARK-39964] [SQL] DS V2 푸시다운은 변환 경로를 통합해야 합니다.
  • [SPARK-39528] [SQL] SupportsRuntimeFiltering에서 V2 필터 사용
  • [SPARK-40066] [SQL] ANSI 모드: 항상 매핑 열에 대한 잘못된 액세스에 대해 null을 반환합니다.
  • [SPARK-39912] [SPARK-39828][sql] CatalogImpl 구체화
  • [SPARK-39833] [SC-108736][sql] DSv1에서 Parquet 열 인덱스를 사용하지 않도록 설정하여 겹치는 파티션 및 데이터 열의 경우 정확성 문제를 해결합니다.
  • [SPARK-39880] [SQL] V2 SHOW FUNCTIONS 명령은 v1과 같은 정규화된 함수 이름을 인쇄해야 합니다.
  • [SPARK-39767] [SQL] UnresolvedDBObjectName 제거 및 UnresolvedIdentifier 추가
  • [SPARK-40163] [SC-108740][sql] feat: SparkSession.config(Map)
  • [SPARK-40136] [SQL] SQL 쿼리 컨텍스트 조각 수정
  • [SPARK-40107] [SC-108689][sql] FileFormatWriter에서 empty2null 변환 꺼내기
  • [SPARK-40121] [PYTHON][sql] Python UDF에 사용되는 프로젝션 초기화
  • [SPARK-40128] [SQL] VectorizedColumnReader가 DELTA_LENGTH_BYTE_ARRAY 독립 실행형 열 인코딩으로 인식하게 합니다.
  • [SPARK-40132] [ML] rawPredictionCol을 MultilayerPerceptronClassifier.setParams로 복원
  • [SPARK-40050] [SC-108696][sql] EliminateSorts를 통해 정렬 제거를 지원하도록 LocalLimit를 개선합니다
  • [SPARK-39629] [SQL] 지원 v2 SHOW FUNCTIONS
  • [SPARK-39925] [SC-108734][sql] DataFrame 작업에 array_sort(열, 비교자) 오버로드 추가
  • [SPARK-40117] [PYTHON][sql] DataFrameWriterV2.overwrite에서 조건을 java로 변환
  • [SPARK-40105] [SQL] ReplaceCTERefWithRepartition에서 Repartition 기능 개선
  • [SPARK-39503] [SQL] v1 데이터베이스 테이블 및 함수에 대한 세션 카탈로그 이름 추가
  • [SPARK-39889] [SQL] 숫자/간격을 0으로 나눈 다른 오류 클래스 사용
  • [SPARK-39741] [SQL] URL 인코딩/디코딩을 기본 제공 함수로 지원하고 URL 관련 함수를 정리합니다.
  • [SPARK-40102] [SQL] SparkPlan에서 IllegalStateException 대신 SparkException 사용
  • [SPARK-40014] [SQL] ANSI 간격으로 소수점 캐스팅 지원
  • [SPARK-39776] [SQL][팔로우] ANSI 모드에서 PlanStabilitySuite의 UT 업데이트
  • [SPARK-39963] [SQL] 간소화 SimplifyCasts.isWiderCast

유지 관리 업데이트

Databricks Runtime 11.3 유지 관리 업데이트를 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 20.04.5 LTS
    • 참고: Databricks 런타임 컨테이너에서 사용하는 Ubuntu 버전입니다. DBR 컨테이너는 다른 Ubuntu 버전 또는 Linux 배포를 사용할 수 있는 클라우드 공급자의 가상 머신에서 실행됩니다.
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.21
  • R: 4.1.3
  • 델타 레이크: 2.1.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
argon2-cffi 20.1.0 비동기 제너레이터 (async-generator) 1.10 속성들 21.2.0
역호출 0.2.0 backports.entry-points-selectable 1.1.1 검정색 22.3.0
표백제 4.0.0 boto3 1.21.18 보토코어 1.24.18
서티피 2021.10.8 cffi 1.14.6 챠데트 4.0.0
문자셋 정규화기 2.0.4 클릭하세요 8.0.3 암호화 3.4.8
자전거 타는 사람 0.10.0 사이톤 (Cython) 0.29.24 dbus-python 1.2.16
debugpy 1.4.1 장식자 5.1.0 defusedxml (디퓨즈드 XML) 0.7.1
distlib (디스트립 라이브러리) 0.3.6 진입 지점 0.3 구성 요소 개요 1.0.0
파일 잠금 3.8.0 아이드나 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils (아이파이썬 젠유틸스) 0.2.0 ipywidgets (아이파이위젯) 7.7.0
Jedi 0.18.0 Jinja2 2.11.3 jmespath 0.10.0
joblib (잡리브) 1.0.1 JSON 스키마 3.2.0 주피터-클라이언트 (jupyter-client) 6.1.12
jupyter-core (주피터 핵심) 4.8.1 jupyterlab-pygments 0.1.2 주피터랩 위젯 1.0.0
키위솔버 (kiwisolver) 1.3.1 MarkupSafe (마크업세이프) 2.0.1 matplotlib (매트플롯립) 3.4.3
matplotlib-inline (매트플롯립-인라인) 0.1.2 미스튠 (Mistune) 0.8.4 mypy-extensions (마이파이-익스텐션) 0.4.3
nb클라이언트 0.5.3 nbconvert 6.1.0 nb포맷 (nbformat) 5.1.3
nest-asyncio (파이썬 비동기 I/O 라이브러리) 1.5.1 notebook 6.4.5 numpy (파이썬의 수치 계산용 라이브러리) 1.20.3
패키징 21.0 팬더 1.3.4 pandocfilters 1.4.3
파르소 0.8.2 패스스펙 (pathspec) 0.9.0 바보 0.5.2
pexpect (피엑스펙트) 4.8.0 픽클쉐어 0.7.5 베개 8.4.0
파이썬 패키지 설치 도구 pip 21.2.4 플랫폼 디렉토리 2.5.2 plotly (데이터 시각화 라이브러리) 5.9.0
prometheus-client 0.11.0 prompt-toolkit (프롬프트 도구 키트) 3.0.20 프로토버프 (protobuf) 4.21.5
psutil (시스템 및 프로세스 유틸리티용 Python 라이브러리) 5.8.0 psycopg2 2.9.3 PtyProcess 0.7.0
pyarrow 7.0.0 pycparser 2.20 파이그먼츠 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing (파이썬 파싱 라이브러리) 3.0.4
pyrsistent 0.18.0 python-dateutil (파이썬 날짜 유틸) 2.8.2 pytz (파이썬의 타임존 계산을 위한 라이브러리) 2021.3
pyzmq 22.2.1 요청사항 2.26.0 requests-unixsocket (요청-유닉스소켓) 0.2.0
s3transfer 0.5.2 scikit-learn (파이썬 머신러닝 라이브러리) 0.24.2 scipy (과학 컴퓨팅 라이브러리) 1.7.1
바다에서 태어난 0.11.2 Send2Trash 1.8.0 setuptools (셋업툴즈) 58.0.4
6 1.16.0 ssh-import-id 명령어 5.10 statsmodels (파이썬 통계 모형 라이브러리) 0.12.2
끈기 8.0.1 끝났다 0.9.4 테스트 경로 0.5.0
threadpoolctl 2.2.0 토크나이즈-RT 4.2.1 tomli 2.0.1
토네이도 6.1 트레잇렛츠 5.1.0 타이핑 확장 모듈 (typing-extensions) 3.10.0.2
사용자 개입 없는 자동 업데이트 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth(문자의 너비를 계산하는 함수) 0.2.5 웹인코딩 0.5.1 바퀴 0.37.0
widgetsnbextension (위젯 확장 프로그램) 3.6.0

설치된 R 라이브러리

R 라이브러리는 2022-09-08의 Microsoft CRAN 스냅샷에서 설치됩니다. 스냅샷을 더 이상 사용할 수 없습니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
askpass (비밀번호 입력 요청) 1.1 assertthat (어설트댓) 0.2.1 백포트 (기존 소프트웨어에 새로운 기능이나 수정을 추가하는 것) 1.4.1
기반 4.1.3 base64enc 0.1-3 조각 4.0.4
비트64 4.0.5 덩어리 1.2.3 부츠 1.3-28
양조하다 1.0-7 활기 1.1.3 빗자루 1.0.1
bslib 0.4.0 캐시미어 1.0.6 콜러 3.7.2
캐럿 6.0-93 셀레인저 (cellranger) 1.1.0 크론 2.3-57
class 7.3-20 커맨드 라인 인터페이스 (CLI) 3.3.0 클리퍼 0.8.0
클러스터 2.1.3 코드 도구 0.2-18 색 공간 2.0-3
코먼마크 1.8.0 컴파일러 4.1.3 config 0.3.1
cpp11 0.4.2 크레용 1.5.1 credentials 1.3.2
curl 4.3.2 데이터 테이블(data.table) 1.14.2 데이터세트 4.1.3
DBI 1.1.3 dbplyr 2.2.1 설명 1.4.1
개발자 도구 2.4.4 디포브젝트 0.3.5 소화하다 0.6.29
아래로 비추는 조명 0.4.2 dplyr (데이터 조작을 위한 R 패키지) 1.0.10 dtplyr 1.2.2
e1071 1.7-11 줄임표 0.3.2 평가하다 0.16
팬시 1.0.3 색상 2.1.1 패스트맵 1.1.0
폰트어썸 (fontawesome) 0.3.0 포캣츠 0.5.2 포이치 (foreach) 1.5.2
외국의 0.8-82 구축하다 0.2.0 fs 1.5.2
미래 1.28.0 퓨처.어플라이 1.9.1 가글하다 1.2.0
일반 의약품 0.1.3 거트 1.8.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet (통계 및 기계 학습 소프트웨어 패키지) 4.1-4
글로벌 0.16.1 접착제 1.6.2 구글 드라이브 2.0.0
구글시트4 1.0.1 고워 (Gower) 1.0.0 그래픽스 4.1.3
grDevices 4.1.3 그리드 4.1.3 gridExtra 2.3
gsubfn 0.7 지테이블 0.3.1 안전모 1.2.0
안식처 2.5.1 더 높다 0.9 에이치엠에스 (HMS) 1.1.2
HTML 도구 0.5.3 HTML 위젯 1.5.4 httpuv 1.6.5
httr 1.4.4 아이디 1.0.1 이것 0.3.1
아이프레드 0.9-13 아이소밴드 0.2.5 이터레이터 (반복자) 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
크니터 1.40 라벨링 0.4.2 나중에 1.3.0
격자 0.20-45 용암 1.6.10 생명주기 1.0.1
listenv (리슨브) 0.8.0 루브리데이트 1.8.0 magrittr 2.0.3
마크다운 1.1 질량 7.3-56 매트릭스 1.4-1
메모하다 2.0.1 메서드 4.1.3 mgcv 1.8-40
mime 0.12 미니 사용자 인터페이스 (Mini UI) 0.1.1.1 ModelMetrics 1.2.2.2
모델러 0.1.9 먼셀 (Munsell) 0.5.0 nlme 3.1-157
엔넷 7.3-17 numDeriv (넘데리브) 2016년 8월부터 1월 1일까지 오픈SSL (OpenSSL은 암호화 라이브러리입니다) 2.0.2
평행 4.1.3 평행하게 1.32.1 기둥 1.8.1
pkgbuild(팩키지 빌드) 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 플로거 0.2.0 plyr (플레이어) 1.8.7
칭찬 1.0.0 프리티유닛 1.1.1 pROC 패키지 1.18.0
프로세스엑스 3.7.0 프로드림 (prodlim) 2019.11.13 profvis 0.3.7
발전 1.2.2 프로그레스알 0.11.0 약속들 1.2.0.1
프로토 1.0.0 프록시 0.4-27 Ps 1.7.1
고양이의 그르렁거림 0.3.4 r2d3 0.2.6 R6 2.5.1
라그 1.2.2 랜덤 포레스트 (randomForest) 4.7-1.1 rappdirs (랩디르) 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 리더(Reader) 2.1.2 readxl (엑셀 파일 읽기 기능) 1.4.1
레시피 1.0.1 재대결 1.0.1 리매치2 2.1.2
리모컨/원격 2.4.2 레프렉스(문제의 재현 가능한 예시) 2.0.2 reshape2 1.4.4
rlang 1.0.5 r마크다운 2.16 RODBC 1.3-19
roxygen2 7.2.1 rpart (의사결정트리 구축을 위한 R 패키지) 4.1.16 rprojroot 2.0.3
Rserve (R서브) 1.8-11 RSQLite 2.2.16 rstudioapi 0.14
알버전즈 2.1.2 rvest (웹 스크래핑을 위한 R 패키지) 1.0.3 sass 0.4.2
저울 1.2.1 선택기 0.4-2 세션정보 1.2.2
형태 1.4.6 반짝이는 1.7.2 소스툴스 (sourcetools) 0.1.7
sparklyr 1.7.8 SparkR 3.3.0 공간적 7.3-11
스플라인 4.1.3 sqldf (SQL 데이터프레임 패키지) 0.4–11 스퀘어엠 2021년 1월
통계 4.1.3 통계4 4.1.3 문자열 처리 소프트웨어 "stringi" 1.7.8
stringr 1.4.1 생존 3.4-0 시스템 3.4
시스템 글꼴 1.0.4 티클티케이 (tcltk) 4.1.3 testthat (테스트댓) 3.1.4
텍스트 형태화 0.3.6 tibble (티블) 3.1.8 tidyr 1.2.0
tidyselect (티디셀렉트) 1.1.2 tidyverse (타이디버스) 1.3.2 시간과 날짜 4021.104
tinytex 0.41 도구들 4.1.3 tzdb 0.3.0
URL체커 1.0.1 사용해보세요 2.1.6 utf8 1.2.2
유틸리티 4.1.3 UUID (범용 고유 식별자) 1.1-0 vctrs 0.4.1
비리디스라이트 0.4.1 부르릉 1.5.7 waldo 0.4.0
수염 0.4 위드알 2.5.0 xfun 0.32
xml2 1.3.3 엑스오픈 1.0.0 엑스테이블 1.8-4
YAML (야믈) 2.3.5 지퍼 2.2.0

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 아이디 아티팩트 ID 버전
antlr (구문 분석 도구) antlr (구문 분석 도구) 2.7.7
com.amazonaws 아마존 키네시스 클라이언트 (amazon-kinesis-client) 1.12.0
com.amazonaws aws-java-sdk-autoscaling (AWS 자바 SDK 자동 확장) 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront (AWS Java SDK 클라우드프론트) 1.12.189
com.amazonaws aws-java-sdk-cloudhsm (AWS 자바 SDK 클라우드HSM) 1.12.189
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK 클라우드서치) 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK 코드디플로이) 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity (AWS 자바 SDK - Cognito 아이덴티티) 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws AWS Java SDK 구성 1.12.189
com.amazonaws aws-java-sdk-core (AWS 자바 SDK 코어) 1.12.189
com.amazonaws aws-java-sdk-datapipeline (데이터 파이프라인을 위한 AWS Java SDK) 1.12.189
com.amazonaws aws-java-sdk-directconnect (AWS Java SDK 다이렉트커넥트) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs (AWS Java 소프트웨어 개발 키트 - ECS) 1.12.189
com.amazonaws aws-java-sdk-efs (AWS와 EFS 관련 소프트웨어 개발 키트) 1.12.189
com.amazonaws aws-java-sdk-elasticache (AWS Java SDK 엘라스티캐시) 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk (AWS용 Java SDK - Elastic Beanstalk) 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (AWS Java SDK - 엘라스틱로드밸런싱) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder (AWS Java SDK 엘라스틱 트랜스코더) 1.12.189
com.amazonaws aws-java-sdk-emr (아우스-자바-sdk-emr) 1.12.189
com.amazonaws AWS 자바 SDK 글래시어 (aws-java-sdk-glacier) 1.12.189
com.amazonaws aws-java-sdk-glue (AWS 자바 SDK 글루) 1.12.189
com.amazonaws AWS 자바 SDK IAM 1.12.189
com.amazonaws aws-java-sdk-importexport (AWS Java SDK 내보내기 기능) 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms (AWS 자바 SDK KMS) 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs (AWS 자바 SDK 로그) 1.12.189
com.amazonaws AWS-Java-SDK-머신러닝 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds (AWS Java 개발자용 SDK - RDS) 1.12.189
com.amazonaws aws-java-sdk-redshift (AWS 자바 SDK 레드시프트) 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws AWS Java SDK SNS (AWS의 자바 개발자 키트 - SNS) 1.12.189
com.amazonaws aws-java-sdk-sqs (AWS Java SDK의 SQS 모듈) 1.12.189
com.amazonaws aws-java-sdk-ssm (AWS Java SDK의 SSM 모듈) 1.12.189
com.amazonaws aws-java-sdk-storagegateway (AWS Java SDK 스토리지 게이트웨이) 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws AWS-Java-SDK-지원 1.12.189
com.amazonaws AWS Java SDK SWF 라이브러리 1.11.22
com.amazonaws aws-java-sdk-workspaces (AWS Java SDK 작업 공간) 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 스트림 2.9.6
com.databricks Rserve (R서브) 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded (크리오 쉐이디드) 4.0.2
com.esotericsoftware 민로그 1.3.0
com.fasterxml 동급생 1.3.4
com.fasterxml.jackson.core 잭슨 애노테이션즈 2.13.4
com.fasterxml.jackson.core 잭슨-코어 2.13.4
com.fasterxml.jackson.core 잭슨 데이터바인드 (jackson-databind) 2.13.4
com.fasterxml.jackson.dataformat jackson-dataformat-cbor (잭슨 데이터 포맷 CBOR) 2.13.4
com.fasterxml.jackson.datatype 잭슨 데이터타입 조다 (jackson-datatype-joda) 2.13.4
com.fasterxml.jackson.datatype 잭슨 데이터 타입 JSR310 (jackson-datatype-jsr310) 2.13.4
com.fasterxml.jackson.module 잭슨 모듈 - 파라네이머 (jackson-module-paranamer) 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 (자바 스칼라 모듈) 2.13.4
com.github.ben-manes.caffeine 카페인 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib 네이티브_레퍼런스-자바 1.1
com.github.fommil.netlib 네이티브_레퍼런스-자바-네이티브스 1.1
com.github.fommil.netlib native_system-java (네이티브 시스템 자바) 1.1
com.github.fommil.netlib 네이티브 시스템-자바-네이티브스 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson (JSON 처리를 위한 자바 라이브러리) 2.8.6
com.google.crypto.tink 팅크 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava 구아바 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.릴리스
com.lihaoyi 소스코드_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (애저 데이터 레이크 저장소 SDK) 2.3.9
com.microsoft.sqlserver (마이크로소프트 SQL 서버) mssql-jdbc 9.2.1.jre8
com.ning compress-lzf (압축 알고리즘 LZF) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer 파라네이머 2.8
com.trueaccord.lenses 렌즈_2.12 0.4.12
com.twitter (도메인 이름) chill-java (칠자바) 0.10.0
com.twitter (도메인 이름) chill_2.12 0.10.0
com.twitter (도메인 이름) util-app_2.12 7.1.0
com.twitter (도메인 이름) util-core_2.12 7.1.0
com.twitter (도메인 이름) util-function_2.12 7.1.0
com.twitter (도메인 이름) util-jvm_2.12 7.1.0
com.twitter (도메인 이름) util-lint_2.12 7.1.0
com.twitter (도메인 이름) util-registry_2.12 7.1.0
com.twitter (도메인 이름) util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers (유니보시티-파서스) 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec (커먼즈 코덱) commons-codec (커먼즈 코덱) 1.15
코먼스-컬렉션즈 코먼스-컬렉션즈 3.2.2
커먼즈-DBCP 커먼즈-DBCP 1.4
커먼즈-파일업로드 커먼즈-파일업로드 1.3.3
커먼즈-HTTP 클라이언트 커먼즈-HTTP 클라이언트 3.1
commons-io commons-io 2.11.0
커먼즈-랭 커먼즈-랭 2.6
commons-logging (커먼즈 로깅) commons-logging (커먼즈 로깅) 1.1.3
commons-pool (커먼즈 풀) commons-pool (커먼즈 풀) 1.5.4
dev.ludovic.netlib 아르팩 (ARPACK) 2.2.1
dev.ludovic.netlib 블라스 2.2.1
dev.ludovic.netlib 래팩 (LAPACK) 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift (아이오.에어리프트) 에어컴프레서 0.21
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics metrics-core (메트릭스 코어) 4.1.1
io.dropwizard.metrics 메트릭스-그래파이트 (metrics-graphite) 4.1.1
io.dropwizard.metrics 메트릭스-헬스체크 4.1.1
io.dropwizard.metrics 메트릭스-젯티9 4.1.1
io.dropwizard.metrics 메트릭스-JMX 4.1.1
io.dropwizard.metrics 메트릭스-JSON 4.1.1
io.dropwizard.metrics metrics-jvm (메트릭스-JVM) 4.1.1
io.dropwizard.metrics 메트릭스-서블릿 4.1.1
io.netty netty-all 4.1.74.Final
io.netty 네티-버퍼 (Netty-Buffer) 4.1.74.Final
io.netty netty-codec (넷티 코덱) 4.1.74.Final
io.netty 넷티-커먼 4.1.74.Final
io.netty 넷티 핸들러 4.1.74.Final
io.netty netty-resolver (네티 리졸버) 4.1.74.Final
io.netty netty-tcnative-클래스 2.0.48.Final
io.netty 넷티-트랜스포트 4.1.74.Final
io.netty netty-transport-classes-epoll (넷티 트랜스포트 클래스 에폴) 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty 네티-트랜스포트-네이티브-유닉스-커먼 (netty-transport-native-unix-common) 4.1.74.Final
io.prometheus 심플클라이언트 0.7.0
io.prometheus 심플클라이언트_커먼 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus 심플클라이언트_푸시게이트웨이 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
자카르타.annotation 자카르타 애노테이션-API (jakarta.annotation-api) 1.3.5
jakarta.servlet jakarta.servlet-api (자카르타 서블릿 API) 4.0.3
jakarta.validation jakarta.validation-api (자카르타 검증 API) 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 활성화 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api (자바 API) 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta (자바 트랜잭션 API) 1.1
javax.transaction 트랜잭션-API 1.1
javax.xml.bind jaxb-api 2.2.11
자볼루션 자볼루션 5.5.1
제이라인 제이라인 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna (넷.자바.데브.제이엔에이) 제이엔에이 5.8.0
net.razorvine 피 클 1.2
net.sf.jpam 제이팜 1.1
net.sf.opencsv opencsv (오픈CSV 라이브러리) 2.3
net.sf.supercsv 슈퍼-CSV 2.2.0
네트.스노우플레이크 snowflake-ingest SDK (소프트웨어 개발 키트) 0.9.6
네트.스노우플레이크 snowflake-jdbc (스노우플레이크 JDBC) 3.13.14
net.sourceforge.f2j arpack_전체_결합 0.1
org.acplt.remotetea remotetea-oncrpc (리모트티-온씨알피씨) 1.1.2
org.antlr ST4 4.0.4
org.antlr ANTLR 런타임 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr 문자열템플릿 3.2.1
org.apache.ant 개미 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant 안트-런처 1.9.2
org.apache.arrow 화살표 형식 7.0.0
org.apache.arrow arrow-memory-core (애로우-메모리-코어) 7.0.0
org.apache.arrow 애로우-메모리-네티 7.0.0
org.apache.arrow 화살표 벡터 7.0.0
org.apache.avro 아브로 1.11.0
org.apache.avro avro-ipc (아브로 IPC) 1.11.0
org.apache.avro avro-mapred (아브로-맵레드) 1.11.0
org.apache.commons (오픈 소스 자바 라이브러리) commons-collections4 (공용 컬렉션4) 4.4
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-컴프레스 1.21
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-크립토 1.1.0
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-랭3 (commons-lang3) 3.12.0
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-매쓰3 3.6.1
org.apache.commons (오픈 소스 자바 라이브러리) commons-text (커먼즈 텍스트) 1.9
org.apache.curator 큐레이터-의뢰인 관계 2.13.0
org.apache.curator curator-framework (큐레이터 프레임워크) 2.13.0
org.apache.curator 큐레이터의 레시피 2.13.0
org.apache.derby 더비 10.14.2.0
org.apache.hadoop 하둡 클라이언트 API (hadoop-client-api) 3.3.4-databricks
org.apache.hadoop 하둡 클라이언트 런타임 (hadoop-client-runtime) 3.3.4
org.apache.hive hive-beeline (하이브 비라인, 하둡에서 SQL 쿼리를 실행하고 관리하는 명령어) 2.3.9
org.apache.hive hive-CLI 2.3.9
org.apache.hive hive-jdbc (하이브 JDBC) 2.3.9
org.apache.hive hive-llap-client (하이브 LLAP 클라이언트) 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive 하이브-세르데 2.3.9
org.apache.hive 하이브-심스 2.3.9
org.apache.hive 하이브-스토리지-API 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims 하이브-쉼스-커먼 2.3.9
org.apache.hive.shims 하이브-심스-스케줄러 2.3.9
org.apache.httpcomponents HTTP 클라이언트 (httpclient) 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy 아이비 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core (로그4j-코어) 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core (오크 코어) 1.7.6
org.apache.orc orc-mapreduce (오크-맵리듀스) 1.7.6
org.apache.orc orc-shims (오크-심스) 1.7.6
org.apache.parquet parquet-column 1.12.0-databricks-0007
org.apache.parquet parquet-common 1.12.0-databricks-0007
org.apache.parquet parquet-encoding 1.12.0-databricks-0007
org.apache.parquet parquet-format-structures 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9 음영 처리 4.20
org.apache.yetus 관객 주석 0.5.0
org.apache.zookeeper 동물 사육사 3.6.2
org.apache.zookeeper 동물원 관리자-쥬트 3.6.2
org.checkerframework 체커-퀄 3.5.0
org.codehaus.jackson jackson-core-asl (자바 라이브러리) 1.9.13
org.codehaus.jackson jackson-mapper-asl (잭슨-매퍼-ASL) 1.9.13
org.codehaus.janino 커먼스-컴파일러 3.0.16
org.codehaus.janino 자니노 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus 데이터뉴클리어스-코어 4.1.17
org.datanucleus datanucleus-rdbms (데이터누클리어스-알디비엠에스) 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client (제티 클라이언트) 9.4.46.v20220331
org.eclipse.jetty 제티-컨티뉴에이션 (Jetty-Continuation) 9.4.46.v20220331
org.eclipse.jetty 제티-HTTP (Jetty-HTTP) 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi (제티-JNDI) 9.4.46.v20220331
org.eclipse.jetty 제티-플러스 (jetty-plus) 9.4.46.v20220331
org.eclipse.jetty jetty-proxy (제티 프록시) 9.4.46.v20220331
org.eclipse.jetty 제티-시큐리티 (jetty-security) 9.4.46.v20220331
org.eclipse.jetty 제티 서버 (Jetty Server) 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty 제티 서블릿(jetty-servlets) 9.4.46.v20220331
org.eclipse.jetty 제티 유틸 (jetty-util) 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty 제티 웹앱 (jetty-webapp) 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket 웹소켓 API 9.4.46.v20220331
org.eclipse.jetty.websocket 웹소켓 클라이언트 (websocket-client) 9.4.46.v20220331
org.eclipse.jetty.websocket 웹소켓-커먼 9.4.46.v20220331
org.eclipse.jetty.websocket 웹소켓-서버 9.4.46.v20220331
org.eclipse.jetty.websocket 웹소켓-서블릿 (websocket-servlet) 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2 위치 탐색기 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi 자원 탐색기 1.0.3
org.glassfish.hk2.external aopalliance-재패키지 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey 컨테이너 서블릿 (jersey-container-servlet) 2.36
org.glassfish.jersey.containers 저지-컨테이너-서블릿-코어 2.36
org.glassfish.jersey.core 제르시 클라이언트 2.36
org.glassfish.jersey.core 저지-커먼 2.36
org.glassfish.jersey.core 저지 서버 (jersey-server) 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator 하이버네이트 검증기 (hibernate-validator) 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging(로그 관리 시스템) 3.3.2.최종
org.jdbi jdbi 2.63.1
org.jetbrains 주석 17.0.0
org.joda joda-convert (조다 변환 라이브러리) 1.7
org.jodd jodd-core (조드 코어 라이브러리) 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc MariaDB 자바 클라이언트 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis 옵제네시스 (objenesis) 2.5.1
org.postgresql PostgreSQL (포스트그레에스큐엘) 42.3.3
org.roaringbitmap 로어링비트맵 (RoaringBitmap) 0.9.25
org.roaringbitmap 간격 조정용 판 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 테스트 인터페이스 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 사용하지 않음 1.0.0
org.threeten threeten-extra (쓰리텐-엑스트라) 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel 스파이어-유틸_2.12 0.17.0
org.typelevel 스파이어_2.12 (spire_2.12) 0.17.0
org.wildfly.openssl 와일드플라이-OpenSSL 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml 스네이크야AML (snakeyaml) 1.24
금 금 2.0.8
pl.edu.icm 제이 라지 어레이스 1.5
software.amazon.ion ion-java (아이온-자바) 1.0.2
스택스 (Stax) stax-api 1.0.1
  • Last updated on