다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 15.4 LTS에 대한 정보를 제공합니다.
Databricks는 2024년 8월에 이 버전을 릴리스했습니다.
참고
LTS는 이 버전이 장기 지원 중이라는 의미입니다. Databricks Runtime LTS 버전 수명 주기를 참조하세요.
팁
지원 종료(EoS)에 도달한 Databricks Runtime 버전에 대한 릴리스 정보를 확인하려면 지원 종료 Databricks Runtime 릴리스 정보를 참조하세요. EoS Databricks Runtime 버전은 폐기되었으며 업데이트되지 않을 수 있습니다.
동작 변경 내용
-
VARIANTPython UDF, UDAF 또는 UDTF에서 입력 또는 출력 형식으로 사용하면 예외가 발생합니다. - spark.sql.legacy.jdbc.useNullCalendar는 기본적으로 사용하도록 설정됩니다.
- 뷰 대한 기본 스키마 바인딩 모드로 변경
-
부울 식 외부에서
!대신 문서화되지 않은NOT구문을 사용할 수 없도록 합니다. - 뷰에서 문서화되지 않은 열 정의 구문을 허용하지
- Spark 및 Photon에서 Base64 디코딩에 대한 일관된 오류 처리
-
잘못된 열에
CHECK제약 조건을 추가할 경우, 이제 UNRESOLVED_COLUMN.WITH_SUGGESTION 오류 클래스가 반환됩니다. - spark.sql.legacy.jdbc.useNullCalendar는 기본적으로 사용하도록 설정됩니다.
- pyodbc는 4.0.38에서 4.0.39로 업데이트되었습니다.
VARIANT Python UDF, UDAF 또는 UDTF에서 입력 또는 출력 형식으로 사용하면 예외가 발생합니다.
[호환성이 손상되는 변경] Databricks Runtime 15.3 이상에서는 VARIANT 형식을 인수 또는 반환 값으로 사용하는 Python UDF(사용자 정의 함수), UDAF(사용자 정의 집계 함수) 또는 UDTF(사용자 정의 테이블 함수)를 호출하면 예외가 throw됩니다. 이 변경은 이러한 함수 중 하나에서 반환된 잘못된 값으로 인해 발생할 수 있는 문제를 방지하기 위해 수행됩니다.
VARIANT 유형에 대해 자세히 알아보려면 VARIANT를 사용하여 반구조화된 데이터 저장을 참조하세요.
spark.sql.legacy.jdbc.useNullCalendar는 기본적으로 사용하도록 설정됩니다.
spark.sql.legacy.jdbc.useNullCalendar는 이제 기본값으로 true로 설정됩니다. 이 변경으로 인해 쿼리(예: 값을 반환 TIMESTAMP 하는 쿼리)가 중단되는 경우 코드에 설정합니다 false .
뷰에 대한 기본 스키마 바인딩 모드로 변경
이제 뷰는 일반 캐스팅 규칙과 함께 스키마 보정을 사용하여 기본 쿼리의 스키마 변경 내용에 맞게 조정됩니다. 이는 뷰를 참조할 때 안전한 캐스트를 수행할 수 없을 때 오류가 발생하는 이전 BINDING 모드의 기본값과는 다른 변경 사항입니다.
CREATE VIEW 및 cast 함수참조하세요.
문서화되지 않은 ! 구문을 부울 식 외부에서 NOT 대신 사용할 수 없습니다.
이 릴리스에서는 불리언 표현 외부에서 !를 NOT의 동의어로 더 이상 사용할 수 없습니다. 예를 들어, 다음과 같은 문장: CREATE ... IF ! EXISTS, IS ! NULL, ! NULL 열 또는 필드 속성, ! IN 및 ! BETWEEN은 CREATE ... IF NOT EXISTS, IS NOT NULL, NOT NULL 열 또는 필드 속성, NOT IN 및 NOT BETWEEN로 바꿔야 합니다.
이렇게 변경하면 일관성이 보장되고 SQL 표준과 일치하며 SQL 이식성이 높아집니다.
부울 접두사 연산자! (예: !is_mgr 또는 !(true AND false))는 이 변경의 영향을 받지 않습니다.
뷰에서 문서화되지 않은 열 정의 구문 허용 불가
Databricks는 명명된 열 및 열 주석이 있는 CREATE VIEW 지원합니다. 이전에는 열 형식, NOT NULL 제약 조건 또는 DEFAULT 사양이 허용되었습니다. 이 릴리스에서는 더 이상 이 구문을 사용할 수 없습니다.
이 변경은 일관성을 보장하고, SQL 표준에 부합하며, 향후 향상된 기능을 지원합니다.
Spark 및 Photon에서 Base64 디코딩에 대한 일관된 오류 처리
이 릴리스에서는 Photon이 이러한 오류의 Spark 처리와 일치하도록 Base64 디코딩 오류를 처리하는 방법을 변경합니다. 이러한 변경 전에 Photon 및 Spark 코드 생성 경로는 종종 구문 분석 예외를 적절하게 발생시키지 못한 반면, Spark 해석 실행은 IllegalArgumentException 또는 ConversionInvalidInputError를 올바르게 발생시키고 있었습니다. 이 업데이트를 통해 Photon은 Base64 디코딩 오류 중에 Spark와 동일한 예외를 일관되게 발생시켜 보다 예측 가능하고 신뢰할 수 있는 오류 처리를 제공합니다.
잘못된 열에 CHECK 제약 조건을 추가하면 이제 UNRESOLVED_COLUMN.WITH_SUGGESTION 오류 클래스를 반환합니다.
더 유용한 오류 메시지를 제공하기 위해 Databricks Runtime 15.3 이상에서는 잘못된 열 이름을 참조하는 ALTER TABLE ADD CONSTRAINT 제약 조건을 포함한 CHECK 문이 UNRESOLVED_COLUMN.WITH_SUGGESTION 오류 클래스를 반환합니다. 이전에는 INTERNAL_ERROR(을)를 반환했습니다.
spark.sql.legacy.jdbc.useNullCalendar는 기본적으로 사용하도록 설정됩니다.
### spark.sql.legacy.jdbc.useNullCalendar가 이제 기본 설정으로 true로 설정됩니다. 이 변경으로 인해 쿼리(예: 값을 반환 TIMESTAMP 하는 쿼리)가 중단되는 경우 코드에 설정합니다 false .
pyodbc가 4.0.38에서 4.0.39로 업데이트됨
pyodbc 패키지는 버전 4.0.38에서 버전 4.0.39로 업데이트됩니다. 이 변경은 버전 4.0.38에서 버그가 발견되었고 해당 버전이 PyPI에서 제거되었기 때문에 필요합니다.
새로운 기능 및 향상 기능
- UTF-8 유효성 검사 함수
- Scala UDF를 사용하는 형식화된 데이터 세트 API
- ALTER TABLE 를 사용하여 UniForm Iceberg를 활성화하세요.
- try_url_decode 함수
- 필요에 따라 최적화 프로그램이 강제 적용되지 않은 외래 키 제약 조건에 의존하도록 허용
- 선택적 덮어쓰기를 위한 병렬 처리된 작업 실행
- 선택적 덮어쓰기 기능을 통한 데이터 변경 피드의 성능 향상
-
명령에 대한
COPY INTO쿼리 대기 시간이 향상되었습니다. - check 제약 조건 테이블 기능 삭제에 대한 지원
- 전용 컴퓨팅(이전의 단일 사용자 컴퓨팅)은 세분화된 액세스 제어, 구체화된 뷰 및 스트리밍 테이블을 지원합니다 (공개 미리 보기).
- Java 및 Scala 라이브러리에 대한 지원 확장
- Scala 데이터 세트 작업에 대한 지원 확장
- Scala는 Unity 카탈로그 표준 컴퓨팅에서 일반 사용 가능합니다.
- 서비스 자격 증명(공개 미리 보기)을 사용하여 외부 클라우드 서비스에 대한 Unity 카탈로그에 의해 관리되는 액세스
UTF-8 유효성 검사 함수
이 릴리스에서는 UTF-8 문자열의 유효성을 검사하기 위한 다음 함수를 소개합니다.
- is_valid_utf8은 문자열이 유효한 UTF-8 문자열인지 확인했습니다.
- make_valid_utf8은 대체 문자를 사용하여 잠재적으로 잘못된 UTF-8 문자열을 유효한 UTF-8 문자열로 변환합니다.
- validate_utf8은 입력이 유효한 UTF-8 문자열이 아닌 경우 오류가 발생시킵니다.
-
try_validate_utf8은 입력이 유효한 UTF-8 문자열이 아닌 경우
NULL(을)를 반환합니다.
Scala UDF를 사용하는 형식화된 데이터 세트 API
이 릴리스에는 표준 액세스 모드(이전의 공유 액세스 모드)를 사용하는 Unity 카탈로그 지원 컴퓨팅에서 Scala 사용자 정의 함수(사용자 정의 집계 함수 제외)를 사용하는 형식화된 데이터 세트 API에 대한 지원이 추가되었습니다. 형식화된 데이터 세트 API를 참조 하세요.
ALTER TABLE을 사용하여 UniForm Iceberg를 활성화하십시오.
이제 데이터 파일을 다시 작성하지 않고 기존 테이블에서 UniForm Iceberg를 사용하도록 설정할 수 있습니다. 기존 테이블에 대해 Iceberg 읽기 사용 설정을 확인하려면
try_url_decode 함수
이 릴리스에서는 URL로 인코딩된 문자열을 디코딩하는 try_url_decode 함수를 소개합니다. 문자열이 올바른 형식이 아닌 경우 함수는 오류를 발생시키는 대신 NULL(을)를 반환합니다.
필요에 따라 최적화 프로그램이 강제 적용되지 않은 외래 키 제약 조건에 의존하도록 허용
쿼리 성능을 향상시키려면 테이블을 RELY하거나 FOREIGN KEY할 때 제약 조건에 키워드를 지정할 수 있습니다.
선택적 덮어쓰기를 위한 병렬 처리된 작업 실행
replaceWhere 사용하는 선택적 덮어쓰기는 이제 데이터를 삭제하고 새 데이터를 병렬로 삽입하는 작업을 실행하여 쿼리 성능 및 클러스터 사용률을 향상합니다.
선택적 덮어쓰기를 사용한 변경 데이터 피드의 성능 향상
변경 데이터 피드가 있는 테이블에서 replaceWhere 사용하는 선택적 덮어쓰기는 더 이상 삽입된 데이터에 대해 별도의 변경 데이터 파일을 작성하지 않습니다. 이러한 작업은 기본 Parquet 데이터 파일에 있는 숨겨진 _change_type 열을 사용하여 쓰기 증폭 없이 변경 내용을 기록합니다.
명령에 대한 COPY INTO 쿼리 대기 시간이 향상되었습니다.
이 릴리스에는 COPY INTO 명령에 대한 쿼리 대기 시간을 개선하는 변경 내용이 포함되어 있습니다. 이러한 개선은 RocksDB 상태 저장소에서 상태를 비동기식으로 로드하여 구현됩니다. 이 변경으로 이미 수집된 파일이 많은 쿼리와 같이 상태가 큰 쿼리의 시작 시간이 향상됩니다.
체크 제약 조건 테이블 기능 제거 지원
이제 checkConstraints사용하여 델타 테이블에서 ALTER TABLE table_name DROP FEATURE checkConstraints 테이블 기능을 삭제할 수 있습니다.
CHECK 제약 조건 비활성화를 참조하세요.
전용 컴퓨팅(이전의 단일 사용자 컴퓨팅)은 세분화된 액세스 제어, 구체화된 뷰 및 스트리밍 테이블(공개 미리 보기)을 지원합니다.
서버리스 컴퓨팅에 대해 작업 영역을 사용하도록 설정하면 Databricks Runtime 15.4 LTS는 전용 컴퓨팅에서 세분화된 액세스 제어에 대한 지원을 추가합니다. 쿼리가 다음 개체에 액세스하면 Databricks Runtime 15.4 LTS의 전용 컴퓨팅 리소스가 데이터 필터링을 실행하기 위해 서버리스 컴퓨팅에 쿼리를 전달합니다.
- 사용자에게
SELECT권한이 없는 테이블에 대해 정의된 뷰입니다. - 동적 보기.
- 행 필터 또는 열 마스크가 적용된 테이블입니다.
- 구체화된 뷰 및 스트리밍 테이블.
이러한 쿼리는 Databricks Runtime 15.3 이하를 실행하는 전용 컴퓨팅에서 지원되지 않습니다.
자세한 내용은 전용 컴퓨팅에 대한 세분화된 액세스 제어를 참조하세요.
Java 및 Scala 라이브러리에 대한 지원 확장
Databricks Runtime 15.4 LTS부터는 Unity 카탈로그를 사용할 때 Databricks 런타임과 함께 번들로 제공되는 모든 Java 및 Scala 라이브러리를 모든 컴퓨팅 액세스 모드에서 사용할 수 있습니다. Unity 카탈로그 지원 컴퓨팅의 언어 지원에 대한 자세한 내용은 표준 컴퓨팅 요구 사항 및 제한 사항을 참조하세요.
Scala 데이터 세트 작업에 대한 지원 확장
이 릴리스에서 표준 액세스 모드를 사용하는 Unity 카탈로그 지원 컴퓨팅 리소스는 Dataset, map, mapPartitions, foreachPartition, flatMap 및 reduceScala filter 작업을 지원합니다.
Scala는 Unity 카탈로그 표준 컴퓨팅의 GA입니다.
이 릴리스에서 Scala는 UDF(스칼라 사용자 정의 함수) 지원을 포함하여 표준 액세스 모드 Unity 카탈로그 사용 컴퓨팅에서 일반적으로 사용할 수 있습니다. 구조적 스트리밍, Hive UDF 및 Hive 사용자 정의 집계 함수는 지원되지 않습니다. 제한 사항의 전체 목록은 표준 컴퓨팅 요구 사항 및 제한 사항을 참조하세요.
서비스 자격 증명을 사용하여 외부 클라우드 서비스에 대한 Unity 카탈로그 관리 액세스(공개 미리 보기)
서비스 자격 증명을 사용하면 AZURE MI(관리 ID) 및 Unity 카탈로그를 사용하여 클라우드 테넌트의 서비스에서 간단하고 안전한 인증을 수행할 수 있습니다. 서비스 자격 증명 만들기를 참조하세요.
버그 수정
라이브러리 업그레이드
- 업그레이드된 Python 라이브러리:
- azure-core 1.30.1에서 1.30.2로
- google-auth 2.29.0에서 2.31.0으로
- google-cloud-storage 2.16.0에서 2.17.0으로
- google-resumable-media 2.7.0에서 2.7.1로
- googleapis-common-protos 1.63.0에서 1.63.2로
- mlflow-skinny 2.11.3에서 2.11.4로
- proto-plus from 1.23.0 to 1.24.0
- s3transfer 버전 0.10.1에서 0.10.2로
- 업그레이드된 R 라이브러리:
- 업그레이드된 Java 라이브러리
- com.databricks.databricks-sdk-java 버전 0.17.1에서 0.27.0으로 업데이트
- 72.1에서 75.1까지 com.ibm.icu.icu4j
- software.amazon.cryptools.AmazonCorrettoCryptoProvider에서 1.6.1-linux-x86_64에서 1.6.2-linux-x86_64로
Apache Spark
Databricks Runtime 15.4 LTS에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 15.3(EoS)포함된 모든 Spark 수정 및 개선 사항과 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-48503] [DBRRM-1150][sc-172196][SQL] 외부 행에 바인딩된 경우 스칼라 하위 쿼리의 식에 대한 그룹화 허용
- [SPARK-48834] [BEHAVE-79][sc-170972][SQL] 쿼리 컴파일 중에 Python 스칼라 UDF, UDTF, UDAF에 변형 입력/출력을 비활성화
- [SPARK-48441] [SC-170980][sql][WARMFIX] UTF8_BINARY 이외의 데이터 정렬에 대한 StringTrim 동작 수정
- [SPARK-48440] [SC-170895][sql][WARMFIX] UTF8_BINARY 이외의 데이터 정렬에 대한 StringTranslate 동작 수정
- [SPARK-48872] [SC-170866][python] _capture_call_site 오버헤드 줄이기
-
[SPARK-48862] [SC-170845][python][CONNECT] INFO 수준을 사용하도록 설정하지 않은 경우 호출
_proto_to_string하지 않습니다. - [SPARK-48852] [SC-170837][connect] 연결에서 문자열 트리밍 함수 수정
- [SPARK-48791] [SC-170658][core] CopyOnWriteArrayList를 사용하여 누적기 등록 오버헤드로 인한 성능 회귀 수정
-
[SPARK-48118] [SQL] env 변수 지원
SPARK_SQL_LEGACY_CREATE_HIVE_TABLE - [SPARK-48241] [SC-165811][sql] char/varchar 형식 열이 있는 CSV 구문 분석 실패
- [SPARK-48168] [SC-166900][sql] 비트 시프트 연산자 지원 추가
- [SPARK-48148] [SC-165630][core] STRING으로 읽을 때 JSON 개체를 수정하면 안 됩니다.
- [SPARK-46625] [SC-170561] Identifier 절을 참조로 하는 CTE
-
[SPARK-48771] [SC-170546][sql] 대규모 쿼리 계획의 속도 향상
LogicalPlanIntegrity.validateExprIdUniqueness -
[SPARK-48831] [BEHAVE-76][sc-170554][CONNECT] Spark 클래식과 호환되는 기본 열 이름
cast만들기 - [SPARK-48623] [SC-170544][core] 구조적 로깅 마이그레이션 [2부]
-
[SPARK-48296] [SC-166138][sql]
to_xml에 대한 코드 생성 지원 - [SPARK-48027] [SC-165154][sql] 다단계 조인에 대한 InjectRuntimeFilter는 자식 조인 유형을 확인해야 합니다.
- [SPARK-48686] [SC-170365][sql] ParserUtils.unescapeSQLString의 성능 향상
-
[SPARK-48798] [SC-170588][python] SparkSession 기반 프로파일링 소개
spark.profile.render - [SPARK-48048] [SC-169099] 되돌리기 "[SC-164846][connect][SS] Scala에 대한 클라이언트 쪽 수신기 지원 추가됨"
- [SPARK-47910] [SC-168929][core] DiskBlockObjectWriter의 closeResources가 메모리 누수를 방지하기 위해 스트림을 닫을 때.
- [SPARK-48816] [SC-170547][sql] UnivocityParser의 간격 변환기 약식
- [SPARK-48589] [SC-170132][sql][SS] 상태 데이터 원본에 옵션 snapshotStartBatchId 및 snapshotPartitionId 추가
- [SPARK-48280] [SC-170293][sql] 표현식 탐색을 사용하여 정렬 테스트 범위 개선
- [SPARK-48837] [SC-170540][ml] CountVectorizer에서 행당 한 번이 아니라 변환당 한 번만 이진 매개 변수를 읽습니다.
- [SPARK-48803] [SC-170541][sql] Orc(De)serializer에서 내부 오류를 발생시켜 ParquetWriteSupport과의 일관성을 유지합니다.
- [SPARK-48764] [SC-170129][python] 사용자 스택에서 IPython 관련 프레임 필터링
-
[SPARK-48818] [SC-170414][python] 함수 간소화
percentile - [SPARK-48479] [SC-169079][sql] 파서에서 스칼라 및 테이블 SQL UDF 만들기 지원
- [SPARK-48697] [SC-170122][lc-4703][SQL] 데이터 정렬 인식 문자열 필터 추가
- [SPARK-48800] [SC-170409][connect][SS] Deflake ClientStreamingQuerySuite
-
[SPARK-48738] [SC-169814][sql] 기본 제공 함수 별칭
random,position,mod,cardinality,current_schema,user,session_user,char_length,character_length의 버전을 수정함. - [SPARK-48638] [SC-169575][connect] DataFrame에 대한 ExecutionInfo 지원 추가
- [SPARK-48064] [SC-164697][sql] 일상적인 관련 오류 클래스에 대한 오류 메시지 업데이트
- [SPARK-48810] [CONNECT] 세션 중지() API는 idempotent여야 하며 서버에서 세션을 이미 닫은 경우 실패하지 않아야 합니다.
- [SPARK-48650] [15.x][python] IPython Notebook에서 올바른 통화 사이트 표시
- [SPARK-48271] [SC-166076][sql] RowEncoder의 일치 오류를 UNSUPPORTED_DATA_TYPE_FOR_ENCODER로 변경하기
- [SPARK-48709] [SC-169603][sql] DataSourceV2 CTAS에 대한 varchar 형식 확인 불일치 수정
- [SPARK-48792] [SC-170335][sql] char/varchar가 있는 테이블에 부분 열 목록의 회귀 INSERT 수정
-
[SPARK-48767] [SC-170330][sql] 형식 데이터가 잘못된 경우
variant일부 오류 프롬프트 수정 -
[SPARK-48719] [SC-170339][sql] 첫 번째 매개 변수가 null인 경우 &
RegrSlope의RegrIntercept계산 버그 수정 - [SPARK-48815] [SC-170334][연결] 연결 세션을 중지할 때 환경 업데이트
- [SPARK-48646] [SC-169020][python] Python 데이터 원본 API 문서 및 형식 힌트 구체화
- [SPARK-48806] [SC-170310][sql] url_decode 실패할 때 실제 예외 전달
- [SPARK-47777] [SC-168818] Python 스트리밍 데이터 원본 연결 테스트 수정
-
[SPARK-48732] [SC-169793][sql] 관련된 더 이상 사용되지 않는 API 사용량 정리
JdbcDialect.compileAggregate - [SPARK-48675] [SC-169538][sql] 정렬된 열을 사용하여 캐시 테이블 수정
- [SPARK-48623] [SC-169034][core] 구조화된 로깅 마이그레이션
- [SPARK-48655] [SC-169542][sql] SPJ: 집계 쿼리에 대한 셔플 건너뛰기 테스트 추가
- [SPARK-48586] [SC-169808][ss] load()에서 RocksDBFileManager의 파일 매핑을 깊은 복사본으로 만들어 doMaintenance()에서의 잠금 획득을 제거합니다.
- [SPARK-48799] [Backport][15.x][SC-170283][ss] 오퍼레이터 메타데이터 읽기/쓰기 및 호출자에 대한 버전 관리 리팩터링
- [SPARK-48808] [SC-170309][sql] Hive 1.2.1을 통해 thriftserver를 연결할 때 NPE 수정 및 결과 스키마가 비어 있음
- [SPARK-48715] [SC-170291][sql] UTF8String 유효성 검사를 데이터 정렬 인식 문자열 함수 구현에 통합
- [SPARK-48747] [SC-170120][sql] UTF8String에 코드 포인트 반복기 추가
- [SPARK-48748] [SC-170115][sql] UTF8String에서 numChars 캐시
- [SPARK-48744] [SC-169817][core] 로그 항목은 한 번만 생성해야 합니다.
-
[SPARK-46122] [SC-164313][sql]
spark.sql.legacy.createHiveTableByDefault을(를) 기본적으로false으로(로) 설정 - [SPARK-48765] [SC-170119][deploy] SPARK_IDENT_STRING 대한 기본값 평가 향상
- [SPARK-48759] [SC-170128][sql] Spark 3.4 이후 AS CREATE TABLE 동작 변경에 대한 SELECT 마이그레이션 문서 추가
- [SPARK-48598] [SC-169484][python][CONNECT] 데이터 프레임 작업에서 캐시된 스키마 전파
-
[SPARK-48766] [SC-170126][python]
extraction와element_at사이에서try_element_at의 동작 차이를 문서화합니다. -
[SPARK-48768] [SC-170124][python][CONNECT] 캐시하지 않아야 합니다.
explain - [SPARK-48770] [Backport][15.x][SC-170133][ss] 드라이버에서 운영자 메타데이터를 한 번 읽도록 변경하여 세션 창 agg 쿼리에 사용되는 numColsPrefixKey에 대한 정보를 찾을 수 있는지 확인합니다.
-
[SPARK-48656] [SC-169529][core] 길이 검사를 수행하고 COLLECTION_SIZE_LIMIT_EXCEEDED 오류를 던집니다.
CartesianRDD.getPartitions - [SPARK-48597] [SC-168817][sql] 논리 계획의 텍스트 표현에서 isStreaming 속성에 대한 표식 소개
- [SPARK-48472] [SC-169044][sql] 콜레이트된 문자열을 사용하여 리플렉트 식을 사용하도록 설정
- [SPARK-48699] [SC-169597][sql] 데이터 정렬 API 구체화
- [SPARK-48682] [SC-169812][sql][BEHAVE-58] UTF8_BINARY 문자열에 InitCap 식에서 ICU 사용
- [SPARK-48282] [SC-169813][sql] UTF8_BINARY_LCASE 데이터 정렬에 대한 문자열 검색 논리 변경(StringReplace, FindInSet)
- [SPARK-47353] [SC-169599][sql] 모드 식에 대한 데이터 정렬 지원 사용
- [SPARK-48320] [SPARK-48490] OSS Spark의 최신 로깅 특성 및 테스트 사례 동기화
- [SPARK-48629] [SC-169479] 잔차 코드를 구조적 로깅 프레임워크로 마이그레이션
- [SPARK-48681] [SC-169469][sql][BEHAVE-58] UTF8_BINARY 문자열에 대해 아래쪽/위 식에서 ICU 사용
- [SPARK-48573] [15.x][sc-169582][SQL] ICU 버전을 업그레이드
- [SPARK-48687] [Backport][15.x][SS] 상태 저장 쿼리에 대한 드라이버에서 상태 스키마 유효성 검사 및 업데이트를 수행하는 변경 내용 추가
- [SPARK-47579] [15.x][sc-167310][CORE][part4] 변수를 사용하여 logInfo를 구조적 로깅 프레임워크로 마이그레이션
- [SPARK-48008] [SC-167363][1/2] Spark Connect에서 UDAF 지원
- [SPARK-48578] [SC-169505][sql] UTF8 문자열 유효성 검사 관련 함수 추가
- [SPARK-48670] [SC-169598][sql] 잘못된 데이터 정렬 이름이 지정되면 오류 메시지의 일부로 제안 제공
- [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPA... … RK-48291] Java 쪽의 구조적 로그 프레임워크
- [SPARK-47599] [15.x][sc-166000][MLLIB] MLLib: 변수를 사용하여 logWarn을 구조적 로깅 프레임워크로 마이그레이션
- [SPARK-48706] [SC-169589][python] 상위 함수의 Python UDF는 내부 오류를 throw해서는 안 됩니다.
- [SPARK-48498] [BEHAVE-38][sc-168060][SQL] 항상 조건자에서 문자 패딩 수행
- [SPARK-48662] [SC-169533][sql] 데이터 정렬을 사용하여 구조체ToXml 식 수정
- [SPARK-48482] [SC-167702][python][15.x] dropDuplicates 및 dropDuplicatesWIthinWatermark는 가변 길이 인수를 허용해야 합니다.
- [SPARK-48678] [SC-169463][core] SparkConf.get(ConfigEntry)에 대한 성능 최적화
- [SPARK-48576] [SQL] UTF8_BINARY_LCASE를 UTF8_LCASE로 이름 변경
- [SPARK-47927] [SC-164123][sql]: UDF 디코더에서 nullability 특성 수정
- [SPARK-47579] [SC-165297][core][PART1] 변수를 사용하여 logInfo를 구조적 로깅 프레임워크로 마이그레이션(신규)
-
[SPARK-48695] [SC-169473][python]
TimestampNTZType.fromInternal사용되지 않는 메서드를 사용하지 않음 - [SPARK-48431] [SC-167290][lc-4066][SQL] 정렬된 열에 대한 조건자를 파일 판독기로 전달하지 마세요.
- [SPARK-47579] "[SC-165297][core][PART1] 변수를 사용하여 logInfo를 구조적 로깅 프레임워크로 마이그레이션" 되돌리기
- [SPARK-47585] [SC-164306][sql] SQL core: 변수를 사용하여 logInfo를 구조적 로깅 프레임워크로 마이그레이션
- [SPARK-48466] [SC-169042][sql] AQE에서 EmptyRelation 전용 노드 만들기
- [SPARK-47579] [SC-165297][core][PART1] 변수를 사용하여 logInfo를 구조적 로깅 프레임워크로 마이그레이션
- [SPARK-48410] [SC-168320][sql] UTF8_BINARY_LCASE 및 ICU 데이터 정렬에 대한 InitCap 식 수정
- [SPARK-48318] [SC-167709][sql] 모든 데이터 정렬에 해시 조인 지원 사용(복합 형식)
- [SPARK-48435] [SC-168128][sql] 유니코드 데이터 정렬에서 이진 같음을 지원해서는 안 됩니다.
- [SPARK-48555] [SC-169041][sql][PYTHON][connect] pyspark/scala의 여러 함수에 대한 매개 변수로 열 사용 지원
-
[SPARK-48591] [SC-169081][python] 간소화할 도우미 함수 추가
Column.py - [SPARK-48574] [SC-169043][sql] 데이터 정렬을 사용하여 StructTypes에 대한 지원 수정
- [SPARK-48305] [SC-166390][sql] CurrentLike 식에 대한 데이터 정렬 지원 추가
- [SPARK-48342] [SC-168941][sql] SQL 스크립팅 파서 소개
- [SPARK-48649] [SC-169024][sql] 잘못된 파티션 경로를 무시할 수 있도록 "ignoreInvalidPartitionPaths" 및 "spark.sql.files.ignoreInvalidPartitionPaths" 구성 추가
- [SPARK-48000] [SC-167194][sql] 모든 데이터 정렬에 해시 조인 지원 사용(StringType)
- [SPARK-48459] [SC-168947][connect][PYTHON] Spark Connect에서 DataFrameQueryContext 구현
- [SPARK-48602] [SC-168692][sql] csv 생성기가 spark.sql.binaryOutputStyle을 사용하여 다른 출력 스타일을 지원하게 합니다.
- [SPARK-48283] [SC-168129][sql] UTF8_BINARY_LCASE 대한 문자열 비교 수정
- [SPARK-48610] [SC-168830][sql] 리팩터링: OP_ID_TAG 대신 보조 idMap 사용
- [SPARK-48634] [SC-169021][python][CONNECT] ExecutePlanResponseReattachableIterator에서 스레드 풀을 정적으로 초기화하지 않습니다.
- [SPARK-47911] [SC-164658][sql] 이진 출력을 일관성 있게 만드는 범용 BinaryFormatter를 소개합니다.
- [SPARK-48642] [SC-168889][core] 유출 시 작업을 종료하여 발생한 False SparkOutOfMemoryError
- [SPARK-48572] [SC-168844][sql] DateSub, DateAdd, WindowTime, TimeWindow 및 SessionWindow 식 수정
- [SPARK-48600] [SC-168841][sql] FrameLessOffsetWindowFunction 식 암시적 캐스팅 수정
- [SPARK-48644] [SC-168933][sql] Hex.hex에서 길이 검사를 수행하고 COLLECTION_SIZE_LIMIT_EXCEEDED 오류를 발생시킵니다.
- [SPARK-48587] [SC-168824][variant] 하위 변형에 액세스할 때 스토리지 증폭 방지
-
[SPARK-48647] [SC-168936][python][CONNECT]
YearMonthIntervalType에서df.collect의 오류 메시지를 개선하십시오. - [SPARK-48307] [SC-167802][sql] InlineCTE는 원래 WithCTE 노드에서 인라인되지 않은 관계를 유지해야 합니다.
- [SPARK-48596] [SC-168581][sql] 16진수 문자열을 오랫동안 계산하기 위한 성능 향상
- [SPARK-48621] [SC-168726][sql] 정렬된 문자열에 대한 옵티마이저의 Like 단순화를 수정합니다.
- [SPARK-47148] [SC-164179][sql] 취소 시 AQE ExchangeQueryStageExec를 실행하지 않도록 방지합니다.
- [SPARK-48584] [SC-168579][sql] unescapePathName에 대한 성능 향상
- [SPARK-48281] [SC-167260][sql] UTF8_BINARY_LCASE 데이터 정렬에 대한 문자열 검색 논리 변경(StringInStr, SubstringIndex)
- [SPARK-48577] [SC-168826][sql] 잘못된 UTF-8 바이트 시퀀스 교체
-
[SPARK-48595] [SC-168580][core] 관련된 더 이상 사용되지 않는 API 사용량 정리
commons-compress - [SPARK-48030] [SC-164303][sql] SPJ: InternalRowComparableWrapper의 rowOrdering과 structType 캐시
- [SPARK-48004] [SC-164005][sql] v1 쓰기에 WriteFilesExecBase 특성 추가
- [SPARK-48551] [SC-168438][sql] escapePathName에 대한 성능 향상
- [SPARK-48565] [SC-168437][ui] UI에서 스레드 덤프 표시 수정
- [SPARK-48364] [SC-166782][sql] AbstractMapType 형식 캐스팅 추가 및 정렬된 문자열과 함께 동작하도록 RaiseError 매개 변수 맵 수정
- [SPARK-48421] [SC-168689][sql] SPJ: 설명서 추가
-
[SPARK-48604] [SC-168698][sql] 사용되지 않는
new ArrowType.Decimal(precision, scale)메서드 호출 바꾸기 - [SPARK-46947] [SC-157561][core] 드라이버 플러그 인이 로드될 때까지 메모리 관리자 초기화 지연
- [SPARK-48411] [SC-168576][ss][PYTHON] DropDuplicateWithinWatermark에 대한 E2E 테스트 추가
- [SPARK-48543] [SC-168697][ss] 명시적 오류 클래스를 사용하여 상태 행 유효성 검사 실패 추적
- [SPARK-48221] [SC-167143][sql] UTF8_BINARY_LCASE 데이터 정렬에 대한 문자열 검색 논리 변경(Contains, StartsWith, EndsWith, StringLocate)
- [SPARK-47415] [SC-168441][sql] Levenshtein 식에 대한 데이터 정렬 지원 추가
- [SPARK-48593] [SC-168719][python][CONNECT] 람다 함수의 문자열 표현 수정
- [SPARK-48622] [SC-168710][sql] 열 이름을 확인할 때 SQLConf를 한 번 가져옵니다.
-
[SPARK-48594] [SC-168685][python][CONNECT]
parent필드를child로ColumnAlias에서 변경하기 - [SPARK-48403] [SC-168319][sql] UTF8_BINARY_LCASE 및 ICU 데이터 정렬에 대한 아래쪽 및 위쪽 식 수정
- [SPARK-48162] [SC-166062][sql] MISC 식에 대한 데이터 정렬 지원 추가
- [SPARK-48518] [SC-167718][core] LZF 압축을 병렬로 실행할 수 있도록 만들기
-
[SPARK-48474] [SC-167447][core] 로그인
SparkSubmitArguments클래스 이름 수정 &SparkSubmit - [SPARK-48012] [SC-168267][sql] SPJ: One Side Shuffle을 위한 변환 표현식 지원
- [SPARK-48552] [SC-168212][sql] 여러 줄 CSV 스키마 유추에서도 FAILED_READ_FILE 오류를 발생시켜야 합니다.
- [SPARK-48560] [SC-168268][ss][PYTHON] StreamingQueryListener.spark settable로 설정
- [SPARK-48569] [SC-168321][ss][CONNECT] query.name의 특수 사례 처리
- [SPARK-47260] [SC-167323][sql] 오류 클래스 _LEGACY_ERROR_TEMP_3250 이름 할당
- [SPARK-48564] [SC-168327][python][CONNECT] 집합 연산에서 캐시된 스키마 전파
- [SPARK-48155] [SC-165910][sql] 조인을 위한 AQEPropagateEmptyRelation은 남아있는 자식 노드가 단순히 BroadcastQueryStageExec인지 확인해야 합니다.
- [SPARK-48506] [SC-167720][core] 압축 코덱 짧은 이름은 이벤트 로깅을 제외하고 대/소문자를 구분하지 않습니다.
- [SPARK-48447] [SC-167607][ss] 생성자를 호출하기 전에 상태 저장소 공급자 클래스 확인
- [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff 및 DateTimeUtils.timestampAdd는 INTERNAL_ERROR 예외를 throw해서는 안 됩니다.
- [SPARK-48513] [Backport][15.x][SC-168085][ss] 상태 스키마 호환성 및 사소한 리팩터링에 대한 오류 클래스 추가
- [SPARK-48413] [SC-167669][sql] 데이터 정렬을 사용하는 ALTER COLUMN
-
[SPARK-48561] [SC-168250][ps][CONNECT] 지원되지 않는 그리기 함수에
PandasNotImplementedError를 던지기 - [SPARK-48465] [SC-167531][sql] no-op 빈 관계 전파 방지
- [SPARK-48553] [SC-168166][python][CONNECT] 더 많은 속성 캐시
- [SPARK-48540] [SC-168069][core] stdout로의 ivy 출력 설정 로드를 방지합니다.
- [SPARK-48535] [SC-168057][ss] 스트림-스트림 조인 구성에서 null 값을 건너뛰는 설정을 활성화할 경우 데이터 손실/손상 문제가 발생할 가능성을 명시하도록 구성 문서를 업데이트.
- [SPARK-48536] [SC-168059][python][CONNECT] applyInPandas 및 applyInArrow에서 사용자 지정 스키마 캐시
- [SPARK-47873] [SC-163473][sql] 일반 문자열 형식을 사용하여 Hive 메타스토어에 데이터 정렬된 문자열 쓰기
- [SPARK-48461] [SC-167442][sql] AssertNotNull 식에서 NullPointerExceptions를 오류 클래스로 바꾸기
- [SPARK-47833] [SC-163191][sql][CORE] checkAndGlobPathIfNecessary AnalysisException에 대한 호출자 스택스트라스 제공
- [SPARK-47898] [SC-163146][sql] 포트 HIVE-12270: HS2 위임 토큰에 DBTokenStore 지원 추가
- [SPARK-47578] [SC-167497][r] 구조화된 로깅 프레임워크에 변수를 사용하여 RPackageUtils 마이그레이션
-
[SPARK-47875] [SC-162935][core] 제거
spark.deploy.recoverySerializer -
[SPARK-47552] [SC-160880][core] 누락된 경우 30초로 설정
spark.hadoop.fs.s3a.connection.establish.timeout - [SPARK-47972] [SC-167692][sql] 데이터 정렬에 대한 CAST 식 제한
- [SPARK-48430] [SC-167489][sql] 맵에 데이터 정렬된 문자열이 포함된 경우 맵 값 추출 수정
- [SPARK-47318] [SC-162712][core][3.5] 표준 KEX 사례를 따르도록 AuthEngine 키 파생에 HKDF 라운드 추가
- [SPARK-48503] [BEHAVE-29][es-1135236][SQL] 비동등한 열에 대한 그룹별로 잘못 허용된 잘못된 스칼라 하위 쿼리 수정
-
[SPARK-48508] [SC-167695][connect][PYTHON] 사용자 지정 스키마를
DataFrame.{to, mapInPandas, mapInArrow}에 캐시 - [SPARK-23015] [SC-167188][windows] 동일한 두 번째 내에서 여러 Spark 인스턴스를 시작하면 오류가 발생하는 Windows의 버그 수정
- [SPARK-45891] [SC-167608] "Variant에 대한 조각화 체계 설명" 되돌리기
- [SPARK-48391] [SC-167554][core]TaskMetrics 클래스의 fromAccumulatorInfos 메서드에서 함수를 추가하는 대신 addAll 사용
- [SPARK-48496] [SC-167600][core] JavaUtils.timeStringAs 및 JavaUtils.byteStringAs에서 정적 regex 패턴 인스턴스 사용
- [SPARK-48476] [SC-167488][sql] null delmiter csv에 대한 NPE 오류 메시지 수정
- [SPARK-48489] [SC-167598][sql] 텍스트 데이터 원본에서 잘못된 스키마를 읽을 때, 사용자에게 표시되는 명확한 오류 메시지를 생성합니다.
- [SPARK-48471] [SC-167324][core] 기록 서버에 대한 설명서 및 사용 가이드 개선
- [SPARK-45891] [SC-167597] Variant에 대한 조각화 구성표 설명
-
[SPARK-47333] [SC-159043][sql] checkInputDataTypes를 사용하여 함수의 매개 변수 형식 확인
to_xml - [SPARK-47387] [SC-159310][sql] 사용되지 않는 일부 오류 클래스 제거
- [SPARK-48265] [ES-1131440][sql] 윈도우 그룹 제한 배치 추론은 상수 폴딩을 수행해야 합니다.
- [SPARK-47716] [SC-167444][sql] SQLQueryTestSuite 의미 체계 정렬 테스트 사례에서 보기 이름 충돌 방지
- [SPARK-48159] [SC-167141][sql] datetime 식에서 데이터 정렬된 문자열에 대한 지원 확장
- [SPARK-48462] [SC-167271][sql][Tests] 테스트에서 WithSQLConf 사용: HiveQuerySuite 및 HiveTableScanSuite 리팩터링
-
[SPARK-48392] [SC-167195][core]
spark-defaults.conf--properties-file가 제공된 경우에도 로드 - [SPARK-48468] [SC-167417] 촉매에 LogicalQueryStage 인터페이스 추가
- [SPARK-47578] [SC-164988][core] Spark PR에 대한 수동 백포트 #46309: 변수를 사용하여 logWarning을 구조적 로깅 프레임워크로 마이그레이션
- [SPARK-48415] [SC-167321]"[PYTHON] 매개 변수가 있는 데이터 형식을 지원하도록 TypeName 리팩터링" 되돌리기
- [SPARK-46544] [SC-151361][sql] v2 DESCRIBE TABLE EXTENDED를 테이블 통계와 함께 지원
- [SPARK-48325] [SC-166963][core] ExecutorRunner.killProcess에서 항상 메시지 지정
- [SPARK-46841] [SC-167139][sql] ICU 로캘 및 데이터 정렬 지정자에 대한 데이터 정렬 지원 추가
- [SPARK-47221] [SC-157870][sql] CsvParser에서 AbstractParser로 서명을 사용합니다.
-
[SPARK-47246] [SC-158138][sql] 컬렉션 변환을 줄이기 위해
InternalRow.fromSeq를new GenericInternalRow로 교체하다 - [SPARK-47597] [SC-163932][스트리밍] Spark PR에 대한 수동 백포트 #46192: 스트리밍: 변수를 사용하여 logInfo를 구조적 로깅 프레임워크로 마이그레이션
-
[SPARK-48415] [SC-167130][python] 매개 변수가 있는 데이터 형식을 지원하도록 리팩터링
TypeName -
[SPARK-48434] [SC-167132][python][CONNECT]
printSchema가 캐시된 스키마를 사용하도록 함 - [SPARK-48432] [ES-1097114][sql] UnivocityParser에서 정수 언박싱 방지
- [SPARK-47463] [SC-162840][sql] V2Predicate를 사용하여 반환 유형이 부울인 식을 래핑합니다.
- [SPARK-47781] [SC-162293][sql] JDBC 데이터 원본에 대한 음수 스케일 소수 처리
- [SPARK-48394] [SC-166966][core] mapoutput 등록 취소 시 mapIdToMapIndex 정리
- [SPARK-47072] [SC-156933][sql] 오류 메시지에서 지원되는 간격 형식 수정
- [SPARK-47001] [SC-162487][sql] 최적화 프로그램의 푸시다운 확인
-
[SPARK-48335] [SC-166387][python][CONNECT] Spark Connect와 호환되도록 만들기
_parse_datatype_string -
[SPARK-48329] [SC-166518][sql] 기본적으로 사용
spark.sql.sources.v2.bucketing.pushPartValues.enabled - [SPARK-48412] [SC-166898][python] 데이터 형식 json 구문 분석 구조 개선
- [SPARK-48215] [SC-166781][sql] date_format 식에서 데이터 정렬된 문자열에 대한 지원 확장
- [SPARK-45009] [SC-166873][sql][FOLLOW UP] 조인 조건에서 조인 자식들을 모두 참조하는 조건자 하위 쿼리의 상관관계 해소에 대한 오류 클래스와 테스트 추가
- [SPARK-47960] [SC-165295][ss][15.x] transformWithState 연산자 후에 다른 상태 저장 연산자를 연결할 수 있습니다.
- [SPARK-48340] [SC-166468][파이썬] TimestampNTZ 스키마 추론 지원 - prefer_timestamp_ntz 최적화에서 누락됨 지원.
- [SPARK-48157] [SC-165902][sql] CSV 식에 대한 데이터 정렬 지원 추가
- [SPARK-48158] [SC-165652][sql] XML 식에 대한 데이터 정렬 지원 추가
- [SPARK-48160] [SC-166064][sql] XPATH 식에 대한 데이터 정렬 지원 추가
- [SPARK-48229] [SC-165901][sql] inputFile 식에 대한 데이터 정렬 지원 추가
- [SPARK-48367] [SC-166487][connect] scalafmt가 파일을 올바르게 형식 지정하도록 파일을 감지하는 lint-scala를 수정했습니다.
- [SPARK-47858] [SC-163095][spark-47852][PYTHON][sql] DataFrame 오류 컨텍스트에 대한 구조 리팩터링
- [SPARK-48370] [SC-166787][connect] Scala Spark Connect 클라이언트의 체크포인트 및 localCheckpoint
- [SPARK-48247] [SC-166028][python] MapType 스키마를 유추할 때 받아쓰기에서 모든 값 사용
-
[SPARK-48395] [SC-166794][python] 매개 변수가 있는 형식에 대한 수정
StructType.treeString -
[SPARK-48393] [SC-166784][python] 상수 그룹을 다음으로 이동
pyspark.util -
[SPARK-48372] [SC-166776][spark-45716][PYTHON] 구현
StructType.treeString - [SPARK-48258] [SC-166467][python][CONNECT] Spark Connect에서의 체크포인트 및 로컬 체크포인트
Databricks Runtime 15.4 LTS 유지 관리 업데이트를 참조 하세요.
시스템 환경
-
운영 체제: Ubuntu 22.04.4 LTS
- 참고: Databricks 런타임 컨테이너에서 사용하는 Ubuntu 버전입니다. DBR 컨테이너는 다른 Ubuntu 버전 또는 Linux 배포를 사용할 수 있는 클라우드 공급자의 가상 머신에서 실행됩니다.
- Java: Zulu 8.78.0.19-CA-linux64
- Scala: 2.12.15
- Python: 3.11.11
- R: 4.3.2
- 델타 레이크: 3.2.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| 에이에스티토큰 | 2.0.5 | astunparse (파이썬 코드 분석 라이브러리) | 1.6.3 | 애저 코어 | 1.30.2 |
| azure-storage-blob (Azure 저장소 Blob) | 12.19.1 | azure-storage-file-datalake (아주르 스토리지 파일 데이터레이크) | 12.14.0 | 백콜 (backcall) | 0.2.0 |
| 검정색 | 23.3.0 | 방향지시등 | 1.4 | boto3 | 1.34.39 |
| 보토코어 | 1.34.39 | 캐시툴즈 (cachetools) | 5.3.3 | 서티피 | 2023년 7월 22일 |
| cffi | 1.15.1 | 챠데트 | 4.0.0 | 문자셋 정규화기 | 2.0.4 |
| 클릭 | 8.0.4 | 클라우드피클 | 2.2.1 | 통신 | 0.1.2 |
| contourpy (컨투어파이) | 1.0.5 | 암호화 | 41.0.3 | 자전거 타는 사람 | 0.11.0 |
| 사이톤 (Cython) | 0.29.32 | databricks-sdk (데이터브릭스 소프트웨어 개발 키트) | 0.20.0 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | 데코레이터 | 5.1.1 | distlib (디스트립 라이브러리) | 0.3.8 |
| 진입점 | 0.4 | 실행 중 | 0.8.3 | 측면 개요 | 1.1.1 |
| 파일 잠금 | 3.13.4 | 폰트툴즈 (fonttools) | 4.25.0 | GitDB (기트 데이터베이스) | 4.0.11 |
| GitPython | 3.1.43 | google-api-core (구글 API 핵심) | 2.18.0 | 구글 인증 (google-auth) | 2.31.0 |
| google-cloud-core (구글 클라우드 코어) | 2.4.1 | 구글 클라우드 스토리지 | 2.17.0 | google-crc32c (구글의 CRC32C 알고리즘) | 1.5.0 |
| google-resumable-media (구글 재개 가능한 미디어) | 2.7.1 | googleapis-common-protos | 1.63.2 | grpcio (Python용 gRPC 패키지) | 1.60.0 |
| grpcio-status | 1.60.0 | httplib2 | 0.20.2 | 아이드나 | 3.4 |
| importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils (아이파이썬 젠유틸스) | 0.2.0 | ipywidgets (아이파이위젯) | 7.7.2 |
| 표준 날짜 형식 (ISOdate) | 0.6.1 | Jedi | 0.18.1 | 지프니 | 0.7.1 |
| jmespath | 0.10.0 | joblib (잡리브) | 1.2.0 | 주피터 클라이언트 (jupyter_client) | 7.4.9 |
| 주피터 코어 (jupyter_core) | 5.3.0 | 열쇠고리 | 23.5.0 | 키위솔버 (kiwisolver) | 1.4.4 |
| launchpadlib (런치패드 라이브러리) | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| matplotlib (매트플롯립) | 3.7.2 | matplotlib-inline (매트플롯립-인라인) | 0.1.6 | mlflow-스키니 | 2.11.4 |
| more-itertools (모어 이터툴즈) | 8.10.0 | mypy-extensions (마이파이-익스텐션) | 0.4.3 | nest-asyncio (파이썬 비동기 I/O 라이브러리) | 1.5.6 |
| numpy (파이썬의 수치 계산용 라이브러리) | 1.23.5 | oauthlib | 3.2.0 | 패키징 | 23.2 |
| 팬더 | 1.5.3 | 파르소 | 0.8.3 | 패스스펙 (pathspec) | 0.10.3 |
| 희생양 | 0.5.3 | pexpect (피엑스펙트) | 4.8.0 | 픽클쉐어 | 0.7.5 |
| 베개 | 9.4.0 | 파이썬 패키지 설치 도구 pip | 23.2.1 | 플랫폼 디렉토리 | 3.10.0 |
| plotly (데이터 시각화 라이브러리) | 5.9.0 | prompt-toolkit (프롬프트 도구 키트) | 3.0.36 | proto-plus | 1.24.0 |
| 프로토버프 (protobuf) | 4.24.1 | psutil (시스템 및 프로세스 유틸리티용 Python 라이브러리) | 5.9.0 | psycopg2 | 2.9.3 |
| PtyProcess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 14.0.1 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | 피콜로 | 0.0.52 |
| pycparser | 2.21 | pydantic (파이썬 데이터 검증 및 설정 관리 라이브러리) | 1.10.6 | 파이그먼츠 | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | 파이썬 ODBC 라이브러리 pyodbc | 4.0.39 |
| pyparsing (파이썬 파싱 라이브러리) | 3.0.9 | python-dateutil (파이썬 날짜 유틸) | 2.8.2 | 파이썬-LSP-JSON-RPC | 1.1.1 |
| pytz (파이썬의 타임존 계산을 위한 라이브러리) | 2022년 7월 | PyYAML | 6.0 | pyzmq | 23.2.0 |
| 요청 | 2.31.0 | RSA (암호화 알고리즘) | 4.9 | s3transfer | 0.10.2 |
| scikit-learn (파이썬 머신러닝 라이브러리) | 1.3.0 | scipy (과학 컴퓨팅 라이브러리) | 1.11.1 | 바다에서 태어난 | 0.12.2 |
| SecretStorage | 3.3.1 | setuptools (셋업툴즈) | 68.0.0 | 6 | 1.16.0 |
| 스맵 | 5.0.1 | sqlparse | 0.5.0 | ssh-import-id 명령어 | 5.11 |
| 스택 데이터 | 0.2.0 | statsmodels (파이썬 통계 모형 라이브러리) | 0.14.0 | 끈기 | 8.2.2 |
| threadpoolctl | 2.2.0 | 토크나이즈-RT | 4.2.1 | 토네이도 | 6.3.2 |
| 트레잇렛츠 | 5.7.1 | 타이핑_익스텐션 | 4.10.0 | tzdata | 2022년 1월 |
| ujson (파이썬에서 JSON 직렬화를 위한 라이브러리) | 5.4.0 | 자동 업그레이드 | 0.1 | urllib3 | 1.26.16 |
| virtualenv | 20.24.2 | wadllib | 1.3.6 | wcwidth(문자의 너비를 계산하는 함수) | 0.2.5 |
| 바퀴 | 0.38.4 | 지프 | 3.11.0 |
설치된 R 라이브러리
R 라이브러리는 Posit 패키지 관리자의 CRAN 스냅샷(2024년 2월 5일: https://packagemanager.posit.co/cran/2024-02-05/)에서 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| 화살표 | 14.0.0.2 | askpass (비밀번호 입력 요청) | 1.2.0 | assertthat (어설트댓) | 0.2.1 |
| 백포트 | 1.4.1 | 기초 | 4.3.2 | base64enc | 0.1-3 |
| 빅디 | 0.2.0 | 비트 | 4.0.5 | 64비트 | 4.0.5 |
| bitops | 1.0-7 | 덩어리 | 1.2.4 | 부팅 | 1.3-28 |
| 양조하다 | 1.0-10 | 활기 | 1.1.4 | 빗자루 | 1.0.5 |
| bslib | 0.6.1 | 캐시엠 | 1.0.8 | 콜러 | 3.7.3 |
| 캐럿 | 6.0-94 | 셀레인저 (cellranger) | 1.1.0 | 크론 | 2.3-61 |
| 클래스 | 7.3-22 | 커맨드 라인 인터페이스 (CLI) | 3.6.2 | 클리퍼 | 0.8.0 |
| 시계 | 0.7.0 | 클러스터 | 2.1.4 | 코드 도구 | 0.2-19 |
| 색 공간 | 2.1-0 | 코먼마크 | 1.9.1 | 컴파일러 | 4.3.2 |
| 설정 | 0.3.2 | 갈등하는 | 1.2.0 | cpp11 | 0.4.7 |
| 크레용 | 1.5.2 | 자격 증명 | 2.0.1 | 컬 | 5.2.0 |
| 데이터 테이블(data.table) | 1.15.0 | 데이터 세트 | 4.3.2 | DBI | 1.2.1 |
| dbplyr | 2.4.0 | 설명 | 1.4.3 | 개발자 도구 | 2.4.5 |
| 다이어그램 | 1.6.5 | 디포브젝트 | 0.3.5 | 요약 | 0.6.34 |
| 아래로 비추는 조명 | 0.4.3 | dplyr (데이터 조작을 위한 R 패키지) | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | 줄임표 | 0.3.2 | 평가하다 | 0.23 |
| 팬시 | 1.0.6 | 색상 | 2.1.1 | 빠른 맵 | 1.1.1 |
| 폰트어썸 (fontawesome) | 0.5.2 | 포캣스 | 1.0.0 | 포이치 (foreach) | 1.5.2 |
| 외국의 | 0.8-85 | 구축하다 | 0.2.0 | fs | 1.6.3 |
| 미래 | 1.33.1 | 퓨처.어플라이 | 1.11.1 | 가글하다 | 1.5.2 |
| 제네릭(일반화 프로그래밍) | 0.1.3 | 거트 | 2.0.1 | ggplot2 | 3.4.4 |
| gh | 1.4.0 | git2r (Git 관련 소프트웨어 패키지) | 0.33.0 | gitcreds | 0.1.2 |
| glmnet (통계 및 기계 학습 소프트웨어 패키지) | 4.1-8 | 글로벌 | 0.16.2 | 접착제 | 1.7.0 |
| 구글 드라이브 | 2.1.1 | 구글시트4 | 1.1.1 | 고워 (Gower) | 1.0.1 |
| 그래픽 | 4.3.2 | grDevices | 4.3.2 | 그리드 | 4.3.2 |
| gridExtra | 2.3 | gsubfn | 0.7 | 지티 | 0.10.1 |
| 지테이블 | 0.3.4 | 안전모 | 1.3.1 | 안식처 | 2.5.4 |
| 높은 | 0.10 | 에이치엠에스 (HMS) | 1.1.3 | HTML 도구 | 0.5.7 |
| HTML 위젯 | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
| httr2 | 1.0.0 | 아이디 | 1.0.1 | 이것 | 0.3.1 |
| 아이프레드 | 0.9-14 | 아이소밴드 | 0.2.7 | 반복자 | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | 과즙이 풍부한 주스 | 0.1.0 |
| KernSmooth | 2.23-21 | 니터 | 1.45 | 라벨 부착 | 0.4.3 |
| 나중에 | 1.3.2 | 격자 | 0.21-8 | 용암 | 1.7.3 |
| 생애 주기 | 1.0.4 | listenv (리슨브) | 0.9.1 | 루브리데이트 | 1.9.3 |
| magrittr | 2.0.3 | 마크다운 | 1.12 | 질량 | 7.3-60 |
| 行列 | 1.5-4.1 | 메모하다 | 2.0.1 | 메서드 | 4.3.2 |
| mgcv | 1.8-42 | 마임 | 0.12 | 미니 사용자 인터페이스 (Mini UI) | 0.1.1.1 |
| mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | 모델러 | 0.1.11 |
| 먼셀 (Munsell) | 0.5.0 | nlme | 3.1-163 | 엔넷 | 7.3-19 |
| numDeriv (넘데리브) | 2016년 8월부터 1월 1일까지 | 오픈SSL (OpenSSL은 암호화 라이브러리입니다) | 2.1.1 | 평행 / 병렬 | 4.3.2 |
| 병행하여 | 1.36.0 | 기둥 | 1.9.0 | pkgbuild(팩키지 빌드) | 1.4.3 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
| 플로거 | 0.2.0 | plyr (플레이어) | 1.8.9 | 칭찬 | 1.0.0 |
| 프리티유닛 | 1.2.0 | pROC 패키지 | 1.18.5 | 프로세스엑스 | 3.8.3 |
| 프로드림 (prodlim) | 2023.08.28 | profvis | 0.3.8 | 진행률 | 1.2.3 |
| 프로그레스알 | 0.14.0 | 약속 | 1.2.1 | 프로토 | 1.0.0 |
| 프록시 | 0.4-27 | Ps | 1.76 | 고양이의 그르렁거림 | 1.0.2 |
| R6 | 2.5.1 | 라그 | 1.2.7 | 랜덤포레스트 (randomForest) | 4.7-1.1 |
| rappdirs (랩디르) | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | 반응 가능 | 0.4.4 |
| 리액트R | 0.5.0 | 리더(Reader) | 2.1.5 | readxl (엑셀 파일 읽기 기능) | 1.4.3 |
| 레시피 | 1.0.9 | 재경기 | 2.0.0 | 리매치2 | 2.1.2 |
| 리모컨 | 2.4.2.1 | 재현 가능한 예시 (reprex) | 2.1.0 | reshape2 | 1.4.4 |
| rlang | 1.1.3 | r마크다운 | 2.25 | RODBC | 1.3-23 |
| roxygen2 | 7.3.1 | rpart (의사결정트리 구축을 위한 R 패키지) | 4.1.21 | rprojroot | 2.0.4 |
| Rserve (R서브) | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
| 버전들 | 2.1.2 | rvest (웹 스크래핑을 위한 R 패키지) | 1.0.3 | sass | 0.4.8 |
| 저울 | 1.3.0 | 셀렉터 | 0.4-2 | 세션 정보 | 1.2.2 |
| 모양 | 1.4.6 | 빛나는 | 1.8.0 | 소스툴스 (sourcetools) | 0.1.7-1 |
| sparklyr (스파클리알) | 1.8.4 | 공간적인 | 7.3-15 | 스플라인 | 4.3.2 |
| sqldf (SQL 데이터프레임 패키지) | 0.4–11 | 스퀘어엠 | 2021년 1월 | 통계 | 4.3.2 |
| 통계4 | 4.3.2 | 문자열 처리 소프트웨어 "stringi" | 1.8.3 | stringr | 1.5.1 |
| 생존 | 3.5-5 | 으스댐 | 3.33.1 | 시스템 | 3.4.2 |
| 시스템 글꼴 | 1.0.5 | 티클티케이 (tcltk) | 4.3.2 | testthat (테스트댓) | 3.2.1 |
| 문자 형성 | 0.3.7 | tibble (tibble은 R 프로그래밍 언어에서 사용되는 데이터 프레임의 현대적인 버전입니다.) | 3.2.1 | tidyr | 1.3.1 |
| tidyselect (티디셀렉트) | 1.2.0 | tidyverse (타이디버스) | 2.0.0 | 시간 변경 | 0.3.0 |
| 시간 날짜 | 4032.109 | tinytex | 0.49 | 도구 | 4.3.2 |
| tzdb | 0.4.0 | URL체커 | 1.0.1 | 유즈디스 | 2.2.2 |
| utf8 | 1.2.4 | 유틸리티 | 4.3.2 | UUID (범용 고유 식별자) | 1.2-0 |
| V8 | 4.4.1 | vctrs | 0.6.5 | 비리디스라이트 | 0.4.2 |
| 부르릉 | 1.6.5 | 왈도 | 0.5.2 | 수염 | 0.4.1 |
| 위드알 | 3.0.0 | xfun | 0.41 | xml2 | 1.3.6 |
| 엑스오픈 | 1.0.0 | 엑스테이블 | 1.8-4 | YAML (야믈) | 2.3.8 |
| 지얼럿 | 0.1.0 | 지퍼 | 2.3.1 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 아이디 | 아티팩트 ID | 버전 |
|---|---|---|
| antlr (구문 분석 도구) | antlr (구문 분석 도구) | 2.7.7 |
| com.amazonaws | 아마존 키네시스 클라이언트 (amazon-kinesis-client) | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling (AWS 자바 SDK 자동 확장) | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudfront (AWS Java SDK 클라우드프론트) | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudhsm (AWS 자바 SDK 클라우드HSM) | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudsearch (AWS Java SDK 클라우드서치) | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.610 |
| com.amazonaws | aws-java-sdk-codedeploy (AWS Java SDK 코드디플로이) | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitoidentity (AWS 자바 SDK - Cognito 아이덴티티) | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.610 |
| com.amazonaws | AWS Java SDK 구성 | 1.12.610 |
| com.amazonaws | aws-java-sdk-core (AWS 자바 SDK 코어) | 1.12.610 |
| com.amazonaws | aws-java-sdk-datapipeline (데이터 파이프라인을 위한 AWS Java SDK) | 1.12.610 |
| com.amazonaws | aws-java-sdk-directconnect (AWS Java SDK 다이렉트커넥트) | 1.12.610 |
| com.amazonaws | aws-java-sdk-directory | 1.12.610 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.610 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ecs (AWS Java 소프트웨어 개발 키트 - ECS) | 1.12.610 |
| com.amazonaws | aws-java-sdk-efs (AWS와 EFS 관련 소프트웨어 개발 키트) | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticache (AWS Java SDK 엘라스티캐시) | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk (AWS용 Java SDK - Elastic Beanstalk) | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (AWS Java SDK - 엘라스틱로드밸런싱) | 1.12.610 |
| com.amazonaws | aws-java-sdk-elastictranscoder (AWS Java SDK 엘라스틱 트랜스코더) | 1.12.610 |
| com.amazonaws | aws-java-sdk-emr (아우스-자바-sdk-emr) | 1.12.610 |
| com.amazonaws | AWS 자바 SDK 글래시어 (aws-java-sdk-glacier) | 1.12.610 |
| com.amazonaws | aws-java-sdk-glue (AWS 자바 SDK 글루) | 1.12.610 |
| com.amazonaws | AWS 자바 SDK IAM | 1.12.610 |
| com.amazonaws | aws-java-sdk-importexport (AWS Java SDK 내보내기 기능) | 1.12.610 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.610 |
| com.amazonaws | aws-java-sdk-kms (AWS 자바 SDK KMS) | 1.12.610 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.610 |
| com.amazonaws | aws-java-sdk-logs (AWS 자바 SDK 로그) | 1.12.610 |
| com.amazonaws | AWS-Java-SDK-머신러닝 | 1.12.610 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.610 |
| com.amazonaws | aws-java-sdk-rds (AWS Java 개발자용 SDK - RDS) | 1.12.610 |
| com.amazonaws | aws-java-sdk-redshift (AWS 자바 SDK 레드시프트) | 1.12.610 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.610 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ses | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.610 |
| com.amazonaws | AWS Java SDK SNS (AWS의 자바 개발자 키트 - SNS) | 1.12.610 |
| com.amazonaws | aws-java-sdk-sqs (AWS Java SDK의 SQS 모듈) | 1.12.610 |
| com.amazonaws | aws-java-sdk-ssm (AWS Java SDK의 SSM 모듈) | 1.12.610 |
| com.amazonaws | aws-java-sdk-storagegateway (AWS Java SDK 스토리지 게이트웨이) | 1.12.610 |
| com.amazonaws | aws-java-sdk-sts | 1.12.610 |
| com.amazonaws | AWS-Java-SDK-지원 | 1.12.610 |
| com.amazonaws | AWS Java SDK SWF 라이브러리 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces (AWS Java SDK 작업 공간) | 1.12.610 |
| com.amazonaws | jmespath-java | 1.12.610 |
| com.clearspring.analytics | 스트림 | 2.9.6 |
| com.databricks | Rserve (R서브) | 1.8-3 |
| com.databricks | databricks-sdk-java (데이터브릭스 SDK 자바) | 0.27.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | 크리오-쉐이디드 | 4.0.2 |
| com.esotericsoftware | 미니로그 | 1.3.0 |
| com.fasterxml | 반 친구 | 1.3.4 |
| com.fasterxml.jackson.core | 잭슨 애노테이션즈 | 2.15.2 |
| com.fasterxml.jackson.core | 잭슨-코어 | 2.15.2 |
| com.fasterxml.jackson.core | 잭슨 데이터바인드 (jackson-databind) | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor (잭슨 데이터 포맷 CBOR) | 2.15.2 |
| com.fasterxml.jackson.dataformat | 잭슨-데이터포맷-야믈 (jackson-dataformat-yaml) | 2.15.2 |
| com.fasterxml.jackson.datatype | 잭슨 데이터타입 조다 (jackson-datatype-joda) | 2.15.2 |
| com.fasterxml.jackson.datatype | 잭슨 데이터 타입 JSR310 (jackson-datatype-jsr310) | 2.16.0 |
| com.fasterxml.jackson.module | 잭슨 모듈 - 파라네이머 (jackson-module-paranamer) | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 (자바 스칼라 모듈) | 2.15.2 |
| com.github.ben-manes.카페인 | 카페인 | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 네이티브_레퍼런스-자바 | 1.1 |
| com.github.fommil.netlib | 네이티브_레퍼런스-자바 | 1.1-원주민 |
| com.github.fommil.netlib | 네이티브_시스템-java | 1.1 |
| com.github.fommil.netlib | 네이티브_시스템-java | 1.1-원주민 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-원주민 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 (넷리브 네이티브 시스템 리눅스-x86_64) | 1.1-원주민 |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson (JSON 처리를 위한 자바 라이브러리) | 2.10.1 |
| com.google.crypto.tink | 팅크 | 1.9.0 |
| com.google.errorprone | 오류_발생_가능성_있는_주석 | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 23년 5월 26일 |
| com.google.guava | 구아바 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | 프로파일러 | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.릴리스 |
| com.lihaoyi | 소스코드_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk (애저 데이터 레이크 저장소 SDK) | 2.3.9 |
| com.microsoft.sqlserver (마이크로소프트 SQL 서버) | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf (압축 라이브러리) | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core (JAXB 코어) | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | JSON | 1.8 |
| com.thoughtworks.paranamer | 파라네이머 | 2.8 |
| com.trueaccord.lenses | 렌즈_2.12 | 0.4.12 |
| com.twitter (도메인 이름) | chill-java (칠자바) | 0.10.0 |
| com.twitter (도메인 이름) | chill_2.12 | 0.10.0 |
| com.twitter (도메인 이름) | util-app_2.12 | 7.1.0 |
| com.twitter (도메인 이름) | util-core_2.12 | 7.1.0 |
| com.twitter (도메인 이름) | util-function_2.12 | 7.1.0 |
| com.twitter (도메인 이름) | util-jvm_2.12 | 7.1.0 |
| com.twitter (도메인 이름) | util-lint_2.12 | 7.1.0 |
| com.twitter (도메인 이름) | util-registry_2.12 | 7.1.0 |
| com.twitter (도메인 이름) | util-stats_2.12 | 7.1.0 |
| com.typesafe | 설정 | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers (유니보시티-파서스) | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec (커먼스-코덱) | commons-codec (커먼스-코덱) | 1.16.0 |
| 코먼스-컬렉션즈 | 코먼스-컬렉션즈 | 3.2.2 |
| 커먼즈-DBCP | 커먼즈-DBCP | 1.4 |
| 공용 파일 업로드 | 공용 파일 업로드 | 1.5 |
| 커먼즈-HTTP 클라이언트 | 커먼즈-HTTP 클라이언트 | 3.1 |
| commons-io | commons-io | 2.13.0 |
| 커먼즈-랭 | 커먼즈-랭 | 2.6 |
| commons-logging (커먼즈 로깅) | commons-logging (커먼즈 로깅) | 1.1.3 |
| commons-pool (커먼즈 풀) | commons-pool (커먼즈 풀) | 1.5.4 |
| dev.ludovic.netlib | 아르팩 (ARPACK) | 3.0.3 |
| dev.ludovic.netlib | 블라스 | 3.0.3 |
| dev.ludovic.netlib | 래팩 (LAPACK) | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 공기압축기 | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.1.1 |
| io.dropwizard.metrics | 측정 지표 주석 | 4.2.19 |
| io.dropwizard.metrics | 메트릭스-코어 | 4.2.19 |
| io.dropwizard.metrics | 메트릭스-그래파이트 (metrics-graphite) | 4.2.19 |
| io.dropwizard.metrics | 지표 상태 검사 | 4.2.19 |
| io.dropwizard.metrics | 메트릭스-젯티9 | 4.2.19 |
| io.dropwizard.metrics | 메트릭스-JMX | 4.2.19 |
| io.dropwizard.metrics | 메트릭스-JSON | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm (메트릭스-JVM) | 4.2.19 |
| io.dropwizard.metrics | 메트릭스-서블릿 | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | 네티-버퍼 (Netty-Buffer) | 4.1.96.Final |
| io.netty | netty-codec (넷티 코덱) | 4.1.96.Final |
| io.netty | netty-codec-http (넷티 코덱 HTTP) | 4.1.96.Final |
| io.netty | netty-codec-http2 (넷티 코덱 HTTP2) | 4.1.96.Final |
| io.netty | netty-codec-socks (네티 코덱 양말) | 4.1.96.Final |
| io.netty | 넷티-커먼 | 4.1.96.Final |
| io.netty | 넷티 핸들러 | 4.1.96.Final |
| io.netty | 넷티-핸들러-프록시 | 4.1.96.Final |
| io.netty | netty-resolver (네티 리졸버) | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static (소프트웨어 라이브러리) | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static (소프트웨어 라이브러리) | 2.0.61.Final-linux-x86_64 (리눅스 64비트용 최종 버전 2.0.61) |
| io.netty | netty-tcnative-boringssl-static (소프트웨어 라이브러리) | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static (소프트웨어 라이브러리) | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static (소프트웨어 라이브러리) | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-클래스 | 2.0.61 최종 |
| io.netty | 넷티-트랜스포트 | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll (넷티 트랜스포트 클래스 에폴) | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll (네티-트랜스포트-네이티브-에폴) | 4.1.96.Final |
| io.netty | netty-transport-native-epoll (네티-트랜스포트-네이티브-에폴) | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll (네티-트랜스포트-네이티브-에폴) | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common (네이티브 유닉스 공통) | 4.1.96.Final |
| io.prometheus | 심플클라이언트 | 0.7.0 |
| io.prometheus | 심플클라이언트_커먼 | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | 심플클라이언트_푸시게이트웨이 | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 수집기 | 0.12.0 |
| 자카르타.annotation | 자카르타 애노테이션-API (jakarta.annotation-api) | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api (자카르타 서블릿 API) | 4.0.3 |
| jakarta.validation | jakarta.validation-api (자카르타 검증 API) | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 활성화 | 1.1.1 |
| javax.el | javax.el-api (자바 API) | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta (자바 트랜잭션 API) | 1.1 |
| javax.transaction | 트랜잭션-API | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| 자볼루션 | 자볼루션 | 5.5.1 |
| 제이라인 | 제이라인 | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna (넷.자바.데브.제이엔에이) | 제이엔에이 | 5.8.0 |
| net.razorvine | 피클 | 1.3 |
| net.sf.jpam | 제이팜 | 1.1 |
| net.sf.opencsv | opencsv (오픈CSV 라이브러리) | 2.3 |
| net.sf.supercsv | 슈퍼-CSV | 2.2.0 |
| 네트.스노우플레이크 | Snowflake 데이터 수집 SDK | 0.9.6 |
| net.sourceforge.f2j | arpack_전체_결합 | 0.1 |
| org.acplt.remotetea | 리모트티-온크RPC | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | ANTLR 런타임 | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | 스트링템플릿 | 3.2.1 |
| org.apache.ant | 개미 | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | 안트-런처 | 1.10.11 |
| org.apache.arrow | 화살표 형식 | 15.0.0 |
| org.apache.arrow | 애로우 메모리 코어 | 15.0.0 |
| org.apache.arrow | 애로-메모리-네티 | 15.0.0 |
| org.apache.arrow | 화살표 벡터 | 15.0.0 |
| org.apache.avro | 아브로 | 1.11.3 |
| org.apache.avro | avro-ipc (아브로 IPC) | 1.11.3 |
| org.apache.avro | avro-mapred (아브로-맵레드) | 1.11.3 |
| org.apache.commons (오픈 소스 자바 라이브러리) | commons-collections4 (공용 컬렉션4) | 4.4 |
| org.apache.commons (오픈 소스 자바 라이브러리) | commons-compress (공통 압축 라이브러리) | 1.23.0 |
| org.apache.commons (오픈 소스 자바 라이브러리) | 커먼즈-크립토 | 1.1.0 |
| org.apache.commons (오픈 소스 자바 라이브러리) | 커먼즈-랭3 (commons-lang3) | 3.12.0 |
| org.apache.commons (오픈 소스 자바 라이브러리) | 커먼즈-매쓰3 | 3.6.1 |
| org.apache.commons (오픈 소스 자바 라이브러리) | commons-text (커먼즈 텍스트) | 1.10.0 |
| org.apache.curator | 큐레이터-클라이언트 | 2.13.0 |
| org.apache.curator | 큐레이터 프레임워크 | 2.13.0 |
| org.apache.curator | 큐레이터-레시피 | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | 데이터스케치 메모리 | 2.0.0 |
| org.apache.derby | 더비 경기 | 10.14.2.0 |
| org.apache.hadoop | 하둡 클라이언트 런타임 (hadoop-client-runtime) | 3.3.6 |
| org.apache.hive | hive-beeline (하이브-비라인) | 2.3.9 |
| org.apache.hive | hive-CLI | 2.3.9 |
| org.apache.hive | hive-jdbc (하이브 JDBC) | 2.3.9 |
| org.apache.hive | 하이브-LLAP-클라이언트 | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | 하이브-세르데 | 2.3.9 |
| org.apache.hive | 하이브-셤즈 | 2.3.9 |
| org.apache.hive | 하이브-스토리지-API | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | 하이브-쉼스-커먼 | 2.3.9 |
| org.apache.hive.shims | 하이브-쉠즈-스케줄러 | 2.3.9 |
| org.apache.httpcomponents | HTTP 클라이언트 (httpclient) | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | 아이비 | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core (로그4j-코어) | 2.22.1 |
| org.apache.logging.log4j | log4j-layout-template-json (로그4j 레이아웃 템플릿 JSON) | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core (오크 코어) | 1.9.2-셰이드-프로토부프 |
| org.apache.orc | orc-mapreduce (오크-맵리듀스) | 1.9.2-셰이드-프로토부프 |
| org.apache.orc | '오크-심스' | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9 음영 처리 | 4.23 |
| org.apache.yetus | 청중 주석 | 0.13.0 |
| org.apache.zookeeper | 사육사 | 3.6.3 |
| org.apache.zookeeper | 동물원 관리자-쥬트 | 3.6.3 |
| org.checkerframework | 체커-퀄 | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl (자바 라이브러리) | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl (잭슨-매퍼-ASL) | 1.9.13 |
| org.codehaus.janino | 커먼스-컴파일러 | 3.0.16 |
| org.codehaus.janino | 자니노 | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | 데이터뉴클리어스-코어 | 4.1.17 |
| org.datanucleus | datanucleus-rdbms (데이터누클리어스-알디비엠에스) | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | eclipse-collections (이클립스 컬렉션) | 11.1.0 |
| org.eclipse.collections | eclipse-collections-api (이클립스 컬렉션스 API) | 11.1.0 |
| org.eclipse.jetty | jetty-client (제티 클라이언트) | 9.4.52.v20230823 |
| org.eclipse.jetty | 제티-컨티뉴에이션 (Jetty-Continuation) | 9.4.52.v20230823 |
| org.eclipse.jetty | 제티-HTTP (Jetty-HTTP) | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi (제티-JNDI) | 9.4.52.v20230823 |
| org.eclipse.jetty | 제티-플러스 | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy (제티 프록시) | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security (Jetty 보안 모듈) | 9.4.52.v20230823 |
| org.eclipse.jetty | 제티 서버 (Jetty Server) | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | 제티 서블릿(jetty-servlets) | 9.4.52.v20230823 |
| org.eclipse.jetty | 제티 유틸 (jetty-util) | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | 제티 웹앱 (jetty-webapp) | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | 웹소켓 API | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client (웹소켓 클라이언트) | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | 웹소켓-커먼 | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | 웹소켓 서버 | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | 웹소켓-서블릿 (websocket-servlet) | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2 위치 탐색기 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | OSGi 자원 탐색기 | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-재패키지 | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | Jersey 컨테이너 서블릿 (jersey-container-servlet) | 2.40 |
| org.glassfish.jersey.containers | 저지-컨테이너-서블릿-코어 | 2.40 |
| org.glassfish.jersey.core | jersey-client (자바 RESTful 웹 서비스 개발을 위한 라이브러리) | 2.40 |
| org.glassfish.jersey.core | 저지-커먼 | 2.40 |
| org.glassfish.jersey.core | 저지 서버 (jersey-server) | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator (하이버네이트 유효성 검사기) | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging(로그 관리 시스템) | 3.3.2.최종 |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | 주석 | 17.0.0 |
| org.joda | joda-convert (조다 변환 라이브러리) | 1.7 |
| org.jodd | jodd-core (조드 코어 라이브러리) | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | 옵제네시스 (objenesis) | 2.5.1 |
| org.postgresql | PostgreSQL (포스트그레에스큐엘) | 42.6.1 |
| org.roaringbitmap | 로어링비트맵 (RoaringBitmap) | 0.9.45-databricks |
| org.roaringbitmap | 간격 조정판 | 0.9.45-databricks |
| org.rocksdb | rocksdbjni | 8.11.4 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | 테스트 인터페이스 | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | 스칼라테스트 호환 가능 | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | 슬프4j-심플 | 1.7.25 |
| org.threeten | threeten-extra (쓰리텐-엑스트라) | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | 스파이어-유틸_2.12 | 0.17.0 |
| org.typelevel | 스파이어_2.12 (spire_2.12) | 0.17.0 |
| org.wildfly.openssl | 와일드플라이-OpenSSL | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | 스네이크야AML (snakeyaml) | 2.0 |
| 금 | 금 | 2.0.8 |
| pl.edu.icm | 제이 라지 어레이스 | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider (아마존 코레토 크립토 프로바이더) | 1.6.2-linux-x86_64 |
| software.amazon.ion | ion-java (아이온-자바) | 1.0.2 |
| 스택스 (Stax) | stax-api | 1.0.1 |