Databricks Runtime 18(베타)

이 페이지에는 Apache Spark 4.1.0에서 제공하는 Databricks Runtime 18에 대한 통합 릴리스 정보가 포함되어 있습니다. Databricks Runtime 18 릴리스 주기 전체에서 제공되는 모든 기능, 동작 변경 및 수정 사항을 나열합니다.

메모

릴리스가 단계적으로 진행됩니다. Azure Databricks 계정은 초기 릴리스 날짜 이후 며칠 동안 업데이트되지 않을 수 있습니다.

통합 릴리스 정보에 대하여

Azure Databricks 버전 번호를 변경하지 않고 릴리스 주기 내내 기능을 증분 방식으로 릴리스합니다. 각 부 버전에 대해 별도의 페이지가 아닌 모든 업데이트가 이 단일 페이지에 날짜가 지정된 항목으로 표시됩니다. 클러스터는 다시 시작할 때 업데이트를 받습니다.

Databricks Runtime 18은 이 통합 형식을 사용하는 첫 번째 릴리스입니다. 이전에는 각 기능 버전(18.0, 18.1, 18.2)에 고유한 릴리스 정보 페이지가 있었습니다. 이러한 페이지는 계속 참조할 수 있습니다. 이전에 18.3 이상으로 제공되었던 기능은 이제 Databricks Runtime 18에 대한 업데이트로 제공됩니다.

향후 Databricks 런타임 버전은 베타(초기 평가)에서 GA(기능 개발, 약 6개월)부터 LTS(장기 지원, 3년간의 안정성 및 보안 수정)에 이르는 수명 주기를 따릅니다. 18.0~18.2는 이전 모델에서 제공되었으므로 Databricks Runtime 18은 베타에서 LTS로 직접 이동하는 전환 릴리스입니다. 전체 수명 주기 세부 정보는 Databricks 런타임 지원 수명 주기를 참조하세요.

Databricks Runtime 18: 2026년 5월 29일

  • NaN 키를 사용한 Structured Streaming 중복 제거: Structured Streaming 중복 제거는 이제 double 또는 float 열이 중복 제거 키로 사용될 때 비트 패턴이 서로 다른 NaN(Not-a-Number) 값을 중복으로 처리합니다. NaN 이전에는 내부 표현이 다른 값이 고유하게 처리되었으며 중복 제거되지 않았습니다.
  • 메타데이터 새로 고침 중 Unity Catalog 포린 카탈로그 테이블(예: Snowflake 연결 테이블)에서 테이블 수준 권한이 제거될 수 있어 쿼리가 INSUFFICIENT_PERMISSIONS 오류와 함께 실패하던 문제를 수정했습니다. 이제 외부 테이블 메타데이터를 새로 고쳐도 사용 권한이 유지됩니다.

Databricks Runtime 18: 2026년 5월 18일

동작 변경

클러스터가 이 런타임에 다시 시작될 때 적용되는 다음 변경 내용을 검토합니다.

  • CREATE OR REPLACE TABLE: CREATE OR REPLACE TABLE 이제 기본적으로 기존 열 및 테이블 주석을 유지합니다. 이전에는 테이블을 다시 만들 때 주석이 삭제되었습니다. 이제 관리되는 테이블 및 뷰는 구체화된 뷰 및 스트리밍 테이블의 기존 동작과 일치합니다.
  • DataFrame 이름별 쓰기: writeTo().append(), writeTo().overwrite(), writeTo().overwritePartitions(), 및 write.mode("append").saveAsTable()는 이제 대상 Delta 테이블 스키마에 맞도록 유형이 호환되는 열(예: int에서 long로)을 자동으로 캐스팅합니다. 이전에는 열 형식이 호환되지만 완전히 동일하지 않은 경우 이러한 작업은 DELTA_FAILED_TO_MERGE_FIELDS 오류가 발생하며 실패했습니다. 이제 동작이 SQL과 일치합니다 INSERT INTO ... BY NAME. save() saveAsTable() 덮어쓰기 모드에서는 영향을 받지 않습니다.
  • ALTER TABLE SET TBLPROPERTIES for pipelines.pipelineId: ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') 이제 파이프라인에서 지정된 테이블을 쓰기에 적합하게 만들려고 시도합니다. 이전에는 이 속성을 일반 테이블에 설정해도 효과가 없었습니다. 테이블이 파이프라인 쓰기에 적합하지 않으면 명령이 throw됩니다 SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED.
  • cloud_files_state: 이제 cloud_files_state 테이블 반환 함수(TVF)에는 Auto Loader가 각 파일을 검색한 방식을 보여 주는 discovery_mode 열이 포함됩니다. 업그레이드하기 전에 검색된 파일에는 이 열에 값이 null 있습니다.
  • DESCRIBE EXTENDED AS JSON: 이제 예측 최적화 평가 결과가 출력에 포함됩니다. 이전에는 이 정보가 JSON 출력에 반환되지 않았습니다.
  • 메트릭 뷰 윈도우 측정값: 이제 쿼리에서 GROUP BY, IN/BETWEEN 필터를 사용하거나 윈도우의 정렬 열에 혼합 조건자를 사용하는 경우 올바른 결과를 반환합니다. 이전에는 이러한 필터 패턴이 잘못된 결과를 생성할 수 있습니다.

새로운 기능 및 개선 사항

이 릴리스에서는 다음과 같은 기능과 향상된 기능을 사용할 수 있습니다.

  • 클러스터 라이브러리: 클러스터에 PyPI 라이브러리, 휠 또는 requirements.txt 파일을 설치할 때 라이브러리 탭 및 라이브러리 REST API 는 이제 전이적 종속성을 포함하여 확인된 모든 패키지와 설치된 패키지를 표시합니다. 500개가 넘는 패키지를 해결하는 설치 시 목록이 잘려 표시됩니다. 전체 설치 보고서는 클러스터의 드라이버 로그에서 사용할 수 있습니다.
  • SQL 구문을 사용하는 스냅샷의 자동 CDC: Lakeflow Spark 선언적 파이프라인은 이제 SQL 구문을 사용하여 스냅샷에서 자동 CDC 를 지원합니다. 이전에는 이 기능을 Python API를 통해서만 사용할 수 있었습니다. 스냅샷 원본(예: 델타 테이블, 클라우드 스토리지 또는 JDBC)을 한 번에 하나씩 처리하는 데 사용합니다 CREATE STREAMING TABLE ... FLOW AUTO CDC FROM SNAPSHOT . SCD 유형 1(기본값) 및 SCD 형식 2가 모두 지원됩니다.
  • array_sort 사용자 지정 비교자를 사용하여: Photon은 이제 사용자 지정 비교자를 사용하여 구조체 배열을 하나 이상의 필드로 정렬하는 식을 가속화 array_sort 합니다. 이전에는 이러한 식은 Photon이 아닌 방식으로 실행되었습니다. 이 최적화를 활성화하려면 spark.databricks.photon.rewriteArraySortComparator.enabled을(를) true(으)로 설정합니다.

Apache Spark 수정 및 개선 사항

이 릴리스에는 Spark에 대한 다음과 같은 버그 수정 및 개선 사항이 포함되어 있습니다.

  • 이제 SQL 쿼리는 쿼리에서 QUALIFY 직접 창 함수 결과를 필터링할 수 있는 절을 지원합니다. 이전에는 쿼리를 하위 쿼리로 래핑해야 했습니다.
  • spark.read.json- spark.read.csvspark.read.xml 이제 DataFrame을 입력으로 허용하므로 먼저 파일에 저장하지 않고 메모리 내 데이터를 구문 분석할 수 있습니다.
  • DataFrame.changes() 는 이제 DataFrame API를 통해 CDC(변경 데이터 캡처) 출력을 읽을 수 있습니다.
  • DataFrame 열이 잘못된 DataFrame에서 참조되면 이제 오류 메시지에 해당 열 이름이 구체적으로 표시됩니다. spark.sql.columnResolution.strict를 설정하여 Spark가 더 엄격한 열 일치 검사를 적용하고 이러한 실수를 더 일찍 발견하도록 할 수도 있습니다.
  • MERGE INTO 이제 구문에 WHEN MATCHED THEN DELETE가 포함되거나 별칭을 사용해 중첩된 열을 참조할 때도 스키마 진화가 올바르게 작동합니다. 이전에는 이러한 조합이 실패하거나 자동으로 잘못된 결과를 생성할 수 있습니다.
  • SHOW COLLATIONS 는 텍스트 정렬 또는 비교를 위해 데이터 정렬을 선택할 때 유용한 지원되는 모든 데이터 정렬 및 해당 속성을 나열합니다.
  • 이제 Spark의 쿼리 옵티마이저는 필터가 데이터를 얼마나 줄일지 정확하게 추정합니다. 이전에 잘못된 예측으로 인해 Spark가 조인 중에 큰 테이블을 메모리로 완전히 끌어오게 되어 메모리 부족 오류가 발생했습니다.
  • 여러 COUNT(DISTINCT) 식이 있는 쿼리는 Spark가 먼저 확장하는 대신 실행 계획의 앞부분에서 데이터를 줄이기 때문에 더 빠르게 실행됩니다.
  • 화살표 최적화를 사용하는 Python UDF는 더 이상 불필요한 데이터 형식 변환을 수행하지 않아 오버헤드가 줄어듭니다.
  • 스트림-스트림 비외부 조인은 이제 Append 모드뿐만 아니라 Update 모드에서도 출력을 내보낼 수 있으므로, 더 많은 출력 대상에 기록할 수 있습니다.
  • 이제 작업이 취소되면 JDBC 연결이 제대로 닫힙니다. 이전에는 취소로 인해 연결이 열린 상태로 유지되어 이후 작업이 중단되었습니다.
  • array_insert 삽입 위치로 매우 큰 음수를 지정하면 더 이상 잘못된 결과가 생성되지 않습니다.

Databricks Runtime 18: 2026년 5월 4일

동작 변경

클러스터가 이 런타임에 다시 시작될 때 적용되는 다음 변경 내용을 검토합니다.

  • XPath: XML을 통해 XPath 평가할 때 Azure Databricks 더 이상 외부 DTD(문서 형식 정의)를 로드하지 않습니다. 이전에는 연결할 수 없는 외부 DTD 참조로 인해 실패한 쿼리가 이제 성공할 수 있습니다.
  • 스키마 진화 시 NULL 구조체 동작: INSERT, MERGE, 그리고 schema evolution을 사용하는 스트리밍 쓰기 작업의 경우, 소스의 NULL 구조체는 이제 대상에 NULL 값으로 저장됩니다. 이전에는 NULL 구조체가 NULL이 아닌 구조체로 잘못 구체화되었으며 모든 필드가 NULL로 설정되었습니다. all-NULL 필드를 사용하여 null이 아닌 구조체를 수신하는 데 의존하는 모든 코드를 업데이트합니다. 이러한 경우는 이제 NULL 구조체를 반환합니다.
  • NATURAL JOIN: 이제 spark.sql.caseSensitive이 false(기본값)일 때 열 이름을 대/소문자 구분 없이 일치시키는 방식을 올바르게 적용합니다. 이전에는 대/소문자만 다른 열(예: ID와 id)이 일치하는 것으로 인식되지 않아 NATURAL JOIN가 아무 경고 없이 cross join 결과를 생성했습니다. 이 수정은 NATURAL JOIN의 동작을 USING 조인과 일치시킵니다.
  • AWS SDK v1 종속성: 이제 클래스 경로에서 음영 처리되고 더 이상 직접 사용할 수 없습니다. 코드가 Databricks Runtime에서 이전에 제공한 AWS SDK v1 라이브러리에 종속된 경우 프로젝트에서 명시적 종속성으로 추가합니다.
  • Unity 카탈로그의 SQL UDF 종속성 유효성 검사: Unity 카탈로그는 이제 액세스 제어 바이패스를 방지하기 위해 SQL 사용자 정의 함수에 대한 종속성 유효성 검사를 적용합니다. 잘못된 종속성 구성이 있는 SQL UDF는 실행이 차단됩니다.
  • LEFT OUTER JOIN LATERAL: 행을 잘못 삭제한 버그가 수정되었습니다. 이 구문을 사용하는 쿼리는 이제 올바른 결과를 반환합니다. 이전 동작으로 일시적으로 되돌리려면 spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic을(를) true로 설정하세요.
  • regr_r2: 이제 첫 번째 매개 변수를 종속 변수로 올바르게 처리합니다. 이전의 잘못된 동작에 의존한 쿼리는 다른 결과를 반환합니다.
  • 하이퍼볼릭 함수: sinh, cosh, tanh및 관련 하이퍼볼릭 함수는 이제 매우 큰 입력이 제공되면 오버플로 오류를 throw하는 대신 반환 Infinity 됩니다.
  • asinh 및 acosh: 이제 엔진 간 일관성을 위해 fdlibm 알고리즘을 사용합니다. 예외적인 입력값의 경우 결과가 이전 버전과 약간 다를 수 있습니다.
  • LIKE 패턴 일치: 이제 보조 유니코드 문자(U+FFFF 위의 코드 포인트)를 올바르게 처리합니다. 이러한 문자에 대해 이전에 일치하거나 실패했던 패턴은 이제 올바른 결과를 반환합니다.
  • VOID (NullType) 열: 이제 델타 테이블에서 VOID (NullType) 열을 지원합니다. VOID 열은 읽기 시 테이블 스키마에서 더 이상 삭제되지 않습니다. 쓰기는 영향을 받지 않습니다.

새로운 기능 및 개선 사항

이 릴리스에서는 다음과 같은 기능과 향상된 기능을 사용할 수 있습니다.

  • CREATE OR REPLACE TEMP TABLE: 이제 단일 문에서 임시 테이블을 만들거나 바꿀 수 있도록 지원됩니다.
  • agg(): 이제 함수의 별칭 measure() 으로 사용할 수 있습니다. 기존 쿼리를 사용하여 measure() 수정하지 않고 계속 작동합니다.
  • pyspark.pipelines.testing: 이제 API에 대한 dlt.testing 편리한 별칭으로 사용할 수 있습니다.
  • 자동 로더 목록 성능: 이제 자동 로더는 클라우드 스토리지 원본에 대한 목록 속도를 향상시키는 보다 효율적인 목록 메서드를 사용합니다. 장기 실행 목록 작업으로 인해 스트림 트리거가 겹치는 경우 이 최적화로 인해 클라우드 목록 API 비용이 증가할 수 있습니다.
  • DESCRIBE HISTORY 쓰기 옵션 플래그: 이제 델타 테이블 기록(DESCRIBE HISTORY)의 operationParameters에는 WRITE 및 REPLACE TABLE 작업에 대한 쓰기 옵션 플래그가 포함됩니다. 플래그는 다음과 trueisDynamicPartitionOverwritecanOverwriteSchemacanMergeSchemapredicate같은 경우에만 나타납니다.isV1WriterSaveAsTableOverwrite
  • 구조적 스트리밍 되감기 및 재생: 이제 구조적 스트리밍 은 되감기 및 재생을 지원하므로 전체 상태 재설정 없이 스키마 변경 또는 논리 오류와 같은 오류에서 복구할 수 있도록 스트림의 이전 지점에서 다시 처리할 수 있습니다.
  • SparkSession.emptyDataFrame: 이제 열이 없고 행이 없는 빈 DataFrame 항목을 만들기 위한 편리한 API로 사용할 수 있습니다.
  • TIMESTAMP WITH LOCAL TIME ZONE: 이제 TIMESTAMP_LTZ 형식의 SQL 구문 별칭으로 지원됩니다.
  • to_json sortKeys 옵션: 이제 함수는 to_json 정렬된 순서로 sortKeys 키를 사용하여 JSON 출력을 생성하는 옵션을 허용합니다.
  • spark.catalog.*: 이제 API 메서드는 카탈로그, 스키마 및 테이블 작업에 해당하는 DDL 명령과 기능 패리티를 갖습니다.
  • [보안 수정] 운영 체제 보안 업데이트.

Databricks Runtime 18: 2026년 4월 20일

  • GEOMETRY(102100) 유형의 CRS 공간 참조 권한을 수정했습니다. 이제 권한은 ESRI:102100로 보고되며, 이전에는 EPSG:102100로 보고되었습니다.
  • [보안 수정] 운영 체제 보안 업데이트.

Databricks Runtime 18: 2026년 4월 2일

  • UDT(사용자 정의 형식) 내에 (VOID) 열이 포함된 NullType 델타 테이블에 데이터를 쓰는 쿼리에 대한 오류 처리가 향상되었습니다.
  • JDBC 스트리밍 싱크 연결은 이제 30초 소켓 시간 제한을 적용하고, 일시적인 오류(연결 오류, 교착 상태, 속도 제한)에 대한 지수 백오프가 있는 재시도 논리를 적용하고, 중단된 연결에서 정상 롤백합니다.
  • 매개 변수가 있는 쿼리에서 유니코드 문자를 사용할 때 발생하는 SQL 텍스트 손상을 수정했습니다.
  • SHOW CREATE TABLE 이제 기본이 아닌 데이터 정렬을 사용하여 테이블 및 뷰에 대한 올바른 출력을 생성합니다.
  • [보안 수정] 운영 체제 보안 업데이트.

Databricks Runtime 18: 2026년 3월 11일

동작 변경

클러스터가 이 런타임에 다시 시작될 때 적용되는 다음 변경 내용을 검토합니다.

  • 관찰 메트릭 오류: 더 이상 쿼리 실행 오류가 발생하지 않습니다. 이전에는 절의 OBSERVE 오류(예: 0으로 나누기)가 전체 쿼리를 차단하거나 실패할 수 있습니다. 이제 쿼리가 성공적으로 완료되고 호출 observation.get할 때 오류가 발생합니다.
  • FILTER 에 대한 MEASURE절 : MEASURE 집계 함수는 이제 FILTER 절을 지원합니다. 이전에는 필터가 자동으로 무시되었습니다.
  • DESCRIBE FLOW DESCRIBE FLOW: 이제 명령을 사용할 수 있습니다. 이름이 flow인 테이블이 있는 경우, DESCRIBE schema.flow`, `DESCRIBE TABLE flow`, `DESCRIBE `flow`` 백틱과 함께 사용하십시오.
  • SpatialSQL 부울 집합 작업: ST_Difference및 ST_IntersectionST_Union 다음과 같은 향상된 기능으로 새 구현을 사용합니다.
    • 유효한 입력 기하 도형은 항상 결과를 생성하고 더 이상 오류를 발생하지 않습니다.
    • 약 2배 더 빠른 성능.
    • 결과는 일관되고 비슷한 출력을 위해 정규화됩니다.
  • SQLSTATE에 대한 예외 유형: 예외 형식 이 SQLSTATE를 지원하도록 업데이트됩니다. 코드가 문자열 일치로 예외를 구문 분석하거나 특정 예외 유형을 처리하는 경우 오류 처리 논리를 업데이트합니다.
  • 자동 스트리밍 형식 확대: 델타 테이블의 스트리밍 읽기는 열 형식 확대를 자동으로 처리합니다. 수동 승인이 필요하도록 하려면 spark.databricks.delta.typeWidening.enableStreamingSchemaTracking을 true로 설정합니다.

새로운 기능 및 개선 사항

이 릴리스에서는 다음과 같은 기능과 향상된 기능을 사용할 수 있습니다.

  • 기본적으로 자동 로더 파일 이벤트: 자동 로더는 파일 이벤트가 활성화된 외부 위치에서 로드할 때 기본적으로 파일 이벤트를 사용하므로 디렉터리 목록에 비해 목록 작업 및 비용이 줄어듭니다. 파일 이벤트 개요가 있는 자동 로더를 참조하세요. 디렉터리 목록을 사용하려면 useManagedFileEvents를 false로 설정합니다.

  • INSERT를 사용한 스키마 진화: SQL INSERT 문에서 WITH SCHEMA EVOLUTION 절을 사용하여 삽입 작업 시 대상 테이블의 스키마를 자동으로 진화시킵니다. INSERT INTO, INSERT OVERWRITE 및 INSERT INTO ... REPLACE에 대해 지원됨. 다음은 그 예입니다.

    INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;

  • 델타 공유 다중 문 트랜잭션: 미리 서명된 URL 또는 클라우드 토큰 공유 모드를 사용하는 델타 공유 테이블은 다중 문 트랜잭션을 지원합니다. 트랜잭션 내의 첫 번째 액세스에서 테이블 버전은 해당 트랜잭션의 모든 후속 읽기에 대해 고정되고 다시 사용됩니다.

  • parse_timestamp: parse_timestamp SQL 함수는 성능 향상을 위해 Photon 엔진 지원과 함께 여러 패턴을 사용하여 타임스탬프 문자열을 구문 분석합니다.

  • 선택적 limit가 있는 max_by 및 min_by: 집계 함수 max_by 및 min_by는 이제 선택적 세 번째 인수 limit(최대 100,000개)를 허용합니다. 제공된 경우 함수는 최대 값의 배열을 limit 반환하여 창 함수 또는 CTE 없이 상위 K 및 하위 K 쿼리를 간소화합니다.

  • DATETIMEOFFSET Azure Synapse용: Microsoft Azure Synapse 연결에서 DATETIMEOFFSET 데이터 형식이 지원됩니다.

  • Google BigQuery 테이블 주석: Google BigQuery 테이블 설명이 테이블 주석으로 확인되고 노출됩니다.

  • IGNORE NULLS / RESPECT NULLS array_agg 및 collect_list용: array_agg 및 collect_list 집계 함수는 이제 IGNORE NULLS 및 RESPECT NULLS 절을 지원합니다.

  • PIVOT 별칭: 이제 PIVOT 절에서 별칭을 지원하여 출력 결과에서 피벗 열 식의 이름을 바꿀 수 있습니다.

  • SQL 스크립팅 CURSOR 변수: 이제 SQL 스크립팅은 스크립팅 블록 내에서 행별로 쿼리 결과 집합 행을 반복하기 위한 변수를 지원 CURSOR 합니다.

  • 벡터 수학 집계 함수: vector_avg, vector_sum, vector_norm및vector_normalize 벡터 수학 집계 함수를 사용할 수 있습니다. 이러한 함수는 조밀한 벡터 열에서 작동하며 ML 워크로드를 지원합니다.

  • Python 스트리밍 판독기의 Trigger.AvailableNow: Python 데이터 원본 스트리밍 판독기는 이제 Trigger.AvailableNow 및 허용 제어를 지원하여 사용 가능한 모든 데이터를 일회성 일괄 처리할 수 있습니다.

  • PySpark의 상태 다시 분할 API: 이제 Scala 외에도 스트리밍 연산자의 상태 재분할 API TransformWithState 를 PySpark에서 사용할 수 있습니다. 상태 저장 스트리밍 쿼리를 위한 온디맨드 상태 재파티셔닝을(를) 참조하세요.

  • applyInPandas 성능 수정: 대규모 그룹에 대한 3배 성능 회귀 applyInPandas 가 해결되었습니다.

Databricks Runtime 18: 2026년 3월 10일

  • 이제 함께 사용되는 EXEC IMMEDIATE 스칼라 하위 쿼리에 대한 오류 메시지는 특정 원인을 보다 명확하게 식별합니다.
  • Structured Streaming 쿼리에서 비결정적 동작을 일으킬 수 있는 스트리밍 체크포인트 로그 압축의 경쟁 상태를 수정했습니다.
  • [보안 수정] 운영 체제 보안 업데이트.

Databricks Runtime 18: 2026년 2월 26일

  • SET METADATA ON COLUMN 및 UNSET METADATA ON COLUMN SQL 명령을 이제 Unity Catalog 테이블 열의 시맨틱 메타데이터를 관리하는 데 사용할 수 있습니다. SET METADATA ON COLUMN를 사용하여 열에 속성(display_name, format, synonyms)을 연결합니다. 이전에 설정한 메타데이터 속성을 제거하는 데 사용합니다 UNSET METADATA ON COLUMN .
  • DESCRIBE TABLE 이제 열 수준 의미 체계 메타데이터를 JSON 문자열로 표시하는 열이 포함됩니다 metadata .
  • 누락된 UnixStreamServer 인해 발생하는 Windows 환경에서 PySpark 가져오기 오류를 수정했습니다.
  • [보안 수정] 운영 체제 보안 업데이트.

Databricks Runtime 18: 2026년 2월 19일

  • Excel 파일의 스키마를 유추할 때 문자열 셀은 이제 Excel 설정된 셀 형식을 기준으로 Spark StringType 유추됩니다. 이전에는 숫자 값이 있는 문자열이 더 좁은 형식(예: Long 또는 Decimal.)으로 자동 캐스팅되었습니다. 이전 동작에 의존한 코드를 업데이트합니다.
  • 이제 Python Spark Connect 클라이언트에서 DataFrame.toJSON() 사용할 수 있습니다.
  • [보안 수정] 운영 체제 보안 업데이트.

Databricks Runtime 18: 2026년 1월 27일

  • 이제 자동 로더는 메트릭으로 파일 처리 상태(batchSizeNumFiles, batchSizeNumBytes, ,numFilesProcessednumFilesSkippedCorrupted)를 보고numFilesSkippedMissingnumFilesUnknownState합니다.
  • INSERT INTO ... BY NAME 이제 REPLACE WHERE 절을 지원합니다.
  • 구성 속성 spark.sql.xml.legacyXMLParser.enabled 의 이름이 .로 spark.sql.legacy.useLegacyXMLParser변경되었습니다. 이전 이름을 사용하는 클러스터 또는 세션 구성을 업데이트합니다.
  • spark.task.resource.gpu.amount가 1보다 크면 Torch Distributor는 이제 태스크당이 아니라 GPU당 하나의 torchrun 프로세스를 실행합니다.
  • [보안 수정] 운영 체제 보안 업데이트.

Databricks Runtime 18: 2026년 1월 15일

Databricks Runtime 18은 현재 Apache Spark 4.1.0을 통해 기능 개발 중입니다. 이 버전은 이전의 모든 Databricks 런타임 릴리스의 모든 기능, 개선 사항 및 버그 수정 사항을 통합합니다.

동작 변경

클러스터가 이 런타임에 다시 시작될 때 적용되는 다음 변경 내용을 검토합니다.

  • JDK 21: Databricks Runtime 18은 기본 Java 개발 키트로 JDK 21을 사용합니다. JDK 21은 일반적으로 사용 가능하며 LTS(장기 지원) 릴리스입니다. 이전에는 기본값이 JDK 17이었습니다. 주목할 만한 변경 사항:

    • Double.toString() 및 Float.toString()는 이제 특별한 경우 JDK 17 출력과 다를 수 있는 가장 짧은 고유 문자열 표현을 생성합니다.
    • Thread.stop(), Thread.suspend()와 Thread.resume()는 이제 UnsupportedOperationException를 발생시킵니다.
    • 업데이트된 로캘 데이터(CLDR v42)는 날짜, 시간 및 숫자 서식에 영향을 줄 수 있습니다.

    호환성 문제가 발생하는 경우 JDK 17로 대체합니다. JDK 버전을 구성하는 방법에 대한 자세한 내용은 특정 JDK 버전을 사용하여 클러스터 만들기를 참조하세요.

  • FSCK REPAIR TABLE: 이제 누락된 데이터 파일을 확인하기 전에 초기 메타데이터 복구 단계를 포함합니다. 이 명령은 손상된 검사점 또는 잘못된 파티션 값이 있는 테이블에서 작동합니다.

  • Spark Connect Scala nullability: 이제 Spark Connect Scala 클라이언트에서 형식화된 리터럴에 대해 배열 및 맵 형식의 null 허용 여부가 유지됩니다. 이전에는 배열 요소와 맵 값이 항상 null을 허용했습니다.

  • FSCK REPAIR TABLE DRY RUN dataFilePath: 이제 출력 스키마의 FSCK REPAIR TABLE DRY RUN 열이 null을 허용하여 데이터 파일 경로가 적용되지 않는 새 문제 유형을 보고할 수 있습니다.

  • SHOW TABLES DROPPED: 이제 LIMIT 절을 올바르게 준수합니다.

  • Python UDF 실행: Unity 카탈로그 Python UDF는 이제 Apache Arrow를 기본 교환 형식으로 사용하여 전반적인 성능을 향상합니다. 이 변경의 일환으로, Python UDF에 전달되는 TIMESTAMP 값은 더 이상 개체의 datetime 속성에서 tzinfo 표준 시간대 정보를 포함하지 않습니다. 타임스탬프 값 자체는 UTC로 유지되지만 이제 표준 시간대 메타데이터는 삭제됩니다. UDF가 표준 시간대 정보에 의존하는 경우 date = date.replace(tzinfo=timezone.utc)로 이를 복원하세요. 자세한 내용은 입력에 대한 타임스탬프 표준 시간대 동작을 참조하세요.

  • 시간 이동 및 VACUUM 보존: Azure Databricks 이제 모든 테이블에 대한 deletedFileRetentionDuration 임계값을 초과하는 시간 이동 쿼리를 차단합니다. 이 VACUUM 명령은 값이 0시간인 경우를 제외하고 보존 기간 인수를 무시합니다. deletedFileRetentionDuration는 logRetentionDuration보다 크게 설정할 수 없으며, 그 반대도 마찬가지입니다.

  • BinaryType in PySpark: PySpark에서는 BinaryType이 이제 일관되게 Python bytes(으)로 매핑됩니다. 이전에는 컨텍스트에 따라 PySpark가 BinaryType를 bytes 또는 bytearray로 매핑했습니다. 이전 동작을 복원하려면 spark.sql.execution.pyspark.binaryAsBytes을/를 false로 설정하십시오.

  • Delta MERGE 및 UPDATE의 NULL 구조체: 이제 구조체 형식 캐스트를 포함하는 Delta MERGE, UPDATE, 및 스트리밍 쓰기 작업에서 NULL로 유지됩니다. 이전에는 NULL 구조체가 NULL 필드가 있는 구조체로 확장되었습니다.

  • 파티션 열 구체화: 분할된 델타 테이블은 이제 새로 작성된 Parquet 데이터 파일에서 파티션 열을 구체화합니다. 이전에는 파티션 값이 델타 트랜잭션 로그 메타데이터에 저장되고 디렉터리 경로에 반영되었지만 Parquet 파일 자체에 열로 작성되지 않았습니다. 이 변경 내용은 Apache Iceberg 및 UniForm 동작과 일치하며 Delta Lake에서 작성한 Parquet 파일을 직접 읽는 워크로드에 영향을 줄 수 있습니다.

  • 타임스탬프 파티션 표준 시간대: 타임스탬프 파티션 값은 이전에 구성 대신 spark.sql.session.timeZone JVM 표준 시간대를 사용하여 UTC로 변환되었습니다. 이제 타임스탬프 파티션 값이 Spark 세션 표준 시간대 설정을 사용하여 올바르게 조정됩니다.

  • DESCRIBE TABLE 메타데이터 열: 이제 출력 DESCRIBE TABLE [EXTENDED] 에는 모든 테이블 형식에 대한 새 metadata 열이 포함됩니다. 이 열에는 테이블에 JSON 문자열로 정의된 의미 체계 메타데이터(표시 이름, 형식 및 동의어)가 포함됩니다.

새로운 기능 및 개선 사항

이 릴리스에서는 다음과 같은 기능과 향상된 기능을 사용할 수 있습니다.

  • SQL 스크립팅: 이제 SQL 스크립팅 기능이 정식 출시되었습니다.
  • Unity 카탈로그 Python UDF에 대한 공유 격리: 동일한 소유자의 Unity 카탈로그 Python UDF는 기본적으로 격리 환경을 공유할 수 있습니다. 이렇게 하면 실행된 개별 환경의 수가 줄어들어 성능이 향상되고 메모리 사용량이 줄어듭니다. UDF가 항상 완전히 격리된 환경에서 실행되도록 하려면 특성 절을 STRICT ISOLATION 추가합니다. 환경 격리를 참조하세요.
  • 메트릭 뷰의 SQL 창 함수: 이제 메트릭 뷰에서 SQL 창 함수를 사용하여 실행 중인 합계, 순위 및 기타 창 기반 계산을 계산할 수 있습니다.
  • 상태 비저장 스트리밍의 동적 순서 섞기 파티션: 이제 쿼리를 다시 시작하지 않고 상태 비저장 스트리밍 쿼리 의 순서 섞기 파티션 수를 변경할 수 있습니다.
  • 무상태 스트리밍에서의 AQE 및 AOS: 적응형 쿼리 실행(AQE) 및 자동 최적화 셔플(AOS)이 이제 무상태 스트리밍 쿼리에서 지원됩니다.
  • 매개 변수 표식: 이제 적절한 형식의 리터럴 값을 사용할 수 있는 거의 모든 곳에서 명명:param된 () 및 명명되지 않은(?) 매개 변수 표식을 사용할 수 있습니다. 여기에는 DDL 문(예: CREATE VIEW v AS SELECT ? AS c1열 형식 DECIMAL(:p, :s)또는 COMMENT ON t IS :comment.)이 포함됩니다. 자세한 내용은 매개 변수 표식을 참조하세요.
  • IDENTIFIER 절: 문자열을 IDENTIFIER SQL 개체 이름으로 캐스팅하는 절의 도달 범위가 식별자가 허용되는 거의 모든 위치로 확장되었습니다. 자세한 내용은 IDENTIFIER 절 참조하세요.
  • BITMAP_AND_AGG: 이제 기존 함수 라이브러리 BITMAP 에 새 BITMAP_AND_AGG 함수가 포함됩니다.
  • 세타 스케치 함수: 이제 Datasketches Theta Sketch를 사용하여 대략적인 고유 개수에 대한 새로운 함수 라이브러리를 사용하고 작업을 설정할 수 있습니다. theta_sketch_agg 및 관련 함수를 참조하세요.
  • KLL 스케치 함수: 이제 KLL 스케치를 사용하여 대략적인 분위수 계산에 새로운 함수 라이브러리를 사용할 수 있습니다. kll_sketch_agg_bigint 및 관련 함수를 참조하세요.
  • 이제 st_azimuth, st_boundary, st_closestpoint 및 st_geogfromewkt새로운 지리 공간적 함수를 사용할 수 있습니다.
  • GeometryType 및 GeographyType: Apache Spark는 이제 PySpark 및 Java API에서 네이티브 GeometryType 및 GeographyType 데이터 형식을 지원합니다. 이러한 형식은 Arrow 직렬화와 Parquet 읽기 및 쓰기 작업을 지원하며, SQL 지리공간 함수와는 구분됩니다.
  • approx_top_k: 새 approx_top_k 집계 함수는 공간 효율적인 스케치 알고리즘을 사용하여 열에서 가장 자주 사용하는 대략적인 상위 K 값을 반환합니다.
  • Spark Connect JDBC 드라이버: Apache Spark에는 이제 Spark Connect용 JDBC 드라이버가 포함되어 있으므로 JDBC 기반 클라이언트 및 도구가 Spark Connect 프로토콜을 통해 Spark에 연결할 수 있습니다.
  • Iterator[pandas.DataFrame] in applyInPandas: DataFrame.applyInPandas 이제 서명이 있는 함수를 Iterator[pandas.DataFrame] 수락하여 일괄 처리로 데이터를 스트리밍하여 큰 그룹을 처리할 때 오버헤드를 줄입니다.
  • CHECK 제약 조건: 이제 제약 조건 식에서 null 값 비교를 지원합니다.
  • 상태 다시 분할 API: TransformWithStateScala의 스트리밍 연산자에서 새 상태 다시 분할 API를 사용할 수 TransformWithState 있으므로 쿼리를 다시 시작할 때 상태 저장 데이터의 키 분할을 변경할 수 있습니다. 상태 저장 스트리밍 쿼리를 위한 온디맨드 상태 재파티셔닝을(를) 참조하세요.
  • Python 3.14 in pyspark-connect: pyspark-client 및 pyspark-connect에서 이제 Python 3.14를 지원합니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:

    • anyio 4.6.2 버전에서 4.7.0 버전으로 업데이트
    • asttokens 2.0.5에서 3.0.0으로
    • azure-core 1.34.0에서 1.37.0으로
    • azure-mgmt-core 1.5.0에서 1.6.0으로
    • azure-storage-blob 12.23.0에서 12.28.0으로
    • azure-storage-file-datalake 12.17.0에서 12.22.0까지
    • boto3의 버전을 1.36.2에서 1.40.45로 변경
    • botocore 1.36.3에서 1.40.45로
    • 2025.1.31에서 2025.4.26까지 인증
    • 8.1.7에서 8.1.8로 클릭
    • 43.0.3에서 44.0.1로 암호화
    • 3.0.12에서 3.1.5로의 시톤
    • databricks-sdk 0.49.0에서 0.67.0으로
    • 1.2.13에서 1.2.18로 사용되지 않음
    • 0.8.3에서 1.2.0으로 실행
    • fastapi 0.115.12에서 0.128.0으로
    • filelock 3.18.0에서 3.17.0으로
    • google-api-core 2.20.0에서 2.28.1로
    • google-auth 2.40.0에서 2.47.0으로
    • google-cloud-core 2.4.3에서 2.5.0으로
    • google-cloud-storage 3.1.0에서 3.7.0으로
    • 1.7.1에서 1.8.0까지의 google-crc32c
    • google-resumable-media 2.7.2에서 2.8.0으로
    • 0.14.0에서 0.16.0까지의 h11
    • httpcore 1.0.2에서 1.0.9로
    • httpx 버전을 0.27.0에서 0.28.1로 업데이트
    • isodate 버전 0.6.1에서 0.7.2로
    • Jinja2에서 3.1.5에서 3.1.6으로
    • jupyter-events 0.10.0에서 0.12.0으로
    • jupyter-lsp 2.2.0에서 2.2.5로
    • jupyter_server 2.14.1에서 2.15.0으로
    • jupyter_server_terminals 0.4.4에서 0.5.3으로
    • mistune 2.0.4에서 3.1.2로
    • mlflow-skinny 3.0.1 버전에서 3.8.1 버전으로
    • mmh3가 5.1.0에서 5.2.0으로
    • msal 1.32.3에서 1.34.0로
    • nbclient의 버전을 0.8.0에서 0.10.2로 변경
    • nbconvert 7.16.4에서 7.16.6으로
    • nodeenv 1.9.1에서 1.10.0으로
    • notebook_shim 0.2.3에서 0.2.4로
    • opentelemetry-api 1.32.1에서 1.39.1로
    • opentelemetry-sdk 1.32.1에서 1.39.1로
    • opentelemetry-semantic-conventions 0.53b1 버전에서 0.60b1 버전으로
    • platformdirs 3.10.0에서 4.3.7로
    • prometheus_client 0.21.0에서 0.21.1로
    • 1.26.1에서 1.27.0까지의 proto-plus
    • psycopg2 2.9.3에서 2.9.11로
    • 19.0.1에서 21.0.0까지의 pyarrow
    • Pygments 2.15.1에서 2.19.1까지
    • ** pyiceberg 0.9.0에서 0.10.0으로
    • python-lsp-server 1.12.0에서 1.12.2로
    • 로프를 1.12.0에서 1.13.0으로
    • s3transfer의 버전 0.11.3에서 0.14.0로
    • scipy 1.15.1 버전에서 1.15.3 버전으로
    • setuptools 버전을 74.0.0에서 78.1.1로 업데이트합니다.
    • 1.16.0에서 1.17.0으로 여섯 가지 변경 사항
    • sqlparse 0.5.3에서 0.5.5로
    • 0.2.0에서 0.6.3까지의 스택 데이터
    • starlette 버전 0.46.2에서 0.50.0으로 업데이트
    • 토네이도 6.4.2에서 6.5.1로
    • types-python-dateutil 2.9.0.20241206에서 2.9.0.20251115로
    • uvicorn 버전 0.34.2에서 0.40.0으로
    • webcolors 버전 24.11.1에서 25.10.0으로 변경

  • 업그레이드된 R 라이브러리:

    • 화살표를 19.0.1에서 22.0.0으로
    • "base를 4.4.2에서 4.5.1로 변경"
    • bigD 0.3.0에서 0.3.1로
    • 빗자루 1.0.7에서 1.0.10까지
    • clock 소프트웨어 버전을 0.7.2에서 0.7.3으로 업데이트합니다.
    • commonmark 버전 1.9.5에서 2.0.0으로
    • 컴파일러 4.4.2에서 4.5.1로
    • 2.0.2에서 2.0.3까지의 자격 증명
    • curl 6.4.0에서 7.0.0으로
    • data.table 버전 1.17.0에서 1.17.8로 업데이트
    • 4.4.2에서 4.5.1까지의 데이터 세트
    • dbplyr 버전을 2.5.0에서 2.5.1로 변경
    • devtools 2.4.5에서 2.4.6으로
    • diffobj 0.3.5에서 0.3.6으로
    • 다이제스트 버전 0.6.37에서 0.6.39로
    • 0.4.4에서 0.4.5로 다운라이트
    • 1.3.1에서 1.3.2로 dtplyr
    • 1.0.3부터 1.0.5까지 평가합니다
    • fansi 1.0.6에서 1.0.7로
    • forcats 1.0.0에서 1.0.1로
    • fs 버전 1.6.5에서 1.6.6으로
    • 미래 1.34.0에서 1.68.0로
    • future.apply 1.11.3에서 1.20.0으로
    • gargle 1.5.2에서 1.6.0으로 업데이트
    • gert 2.1.4에서 2.2.0으로 업데이트
    • ggplot2 버전 3.5.1에서 4.0.1로
    • gh에서 1.4.1에서 1.5.0으로
    • git2r 버전이 0.35.0에서 0.36.2로 업그레이드됨
    • glmnet 버전이 4.1-8에서 4.1-10으로 업데이트되었습니다.
    • googledrive 2.1.1에서 2.1.2로
    • googlesheets4에서 1.1.1에서 1.1.2로
    • 그래픽 4.4.2에서 4.5.1로
    • grDevices 4.4.2에서 4.5.1로
    • 그리드를 4.4.2에서 4.5.1로
    • gt가 0.11.1에서 1.1.0으로
    • 1.4.1에서 1.4.2로 하드햇
    • 2.5.4에서 2.5.5로
    • hms 버전 1.1.3에서 1.1.4로 업데이트
    • httpuv 1.6.15에서 1.6.16으로
    • httr2 1.1.1에서 1.2.1로
    • jsonlite 1.9.1에서 2.0.0으로
    • 이후 1.4.1에서 1.4.4로
    • 용암 1.8.1에서 1.8.2로
    • listenv 0.9.1 버전에서 0.10.0 버전으로
    • 2.0.3에서 2.0.4로의 magrittr
    • 마크다운 버전 1.13에서 2.0으로
    • 메서드를 4.4.2에서 4.5.1로
    • miniUI를 0.1.1.1에서 0.1.2로
    • mlflow 2.20.4에서 3.6.0으로
    • openssl 버전을 2.3.3에서 2.3.4로 업데이트
    • 4.4.2에서 4.5.1로 병렬 처리
    • 1.42.0에서 1.45.1로 병렬적으로 병행 업데이트합니다.
    • pillar 1.11.0에서 1.11.1로
    • pkgbuild 1.4.6에서 1.4.8로
    • pkgdown 버전 2.1.1에서 2.2.0으로 업데이트
    • pkgload가 1.4.0에서 1.4.1로 업데이트됨
    • pROC 1.18.5에서 1.19.0.1로
    • prodlim 2024년 6월 25일부터 2025년 4월 28일까지
    • progressr 버전 0.15.1에서 0.18.0으로 업데이트
    • 1.3.2에서 1.5.0으로 약속
    • ps 1.9.0에서 1.9.1로
    • purrr를 1.0.4에서 1.2.0으로 업데이트
    • ragg 1.3.3에서 1.5.0으로
    • Rcpp 버전을 1.0.14부터 1.1.0까지
    • readr 2.1.5에서 2.1.6으로
    • 1.2.0에서 1.3.1로의 레시피
    • reshape2를 1.4.4에서 1.4.5로
    • rmarkdown 2.29에서 2.30으로
    • roxygen2의 버전이 7.3.2에서 7.3.3으로 업그레이드됨
    • rprojroot의 버전을 2.0.4에서 2.1.1로 업데이트합니다.
    • RSQLite 2.3.9에서 2.4.4로
    • rversions 버전 2.1.2에서 3.0.0까지
    • rvest 버전 1.0.4에서 1.0.5로 업데이트
    • sass 버전 0.4.9에서 0.4.10으로 변경
    • 크기가 1.3.0에서 1.4.0으로 조정됩니다.
    • 1.10.0에서 1.11.1로 반짝입니다.
    • sparklyr를 1.9.1에서 1.9.3으로
    • 4.0.0에서 4.1.0까지의 SparkR
    • sparsevctrs 0.3.1에서 0.3.4로
    • 4.4.2에서 4.5.1까지의 스플라인
    • 통계는 4.4.2에서 4.5.1로
    • stats4 4.4.2에서 4.5.1로 업데이트
    • stringr 버전 1.5.1에서 1.6.0으로 업데이트
    • systemfonts 버전 1.2.1에서 1.3.1로 업데이트
    • tcltk 버전 4.4.2에서 4.5.1로 업데이트
    • testthat 버전 3.2.3에서 3.3.0으로 업데이트
    • textshaping 1.0.0 버전에서 1.0.4 버전으로 업데이트
    • timeDate 4041.110에서 4051.111까지
    • tinytex 0.56에서 0.58로
    • 4.4.2에서 4.5.1까지의 도구
    • usethis 3.1.0에서 3.2.1로 업데이트
    • utils 버전 4.4.2에서 4.5.1로
    • 6.0.2에서 8.0.1로 V8
    • vroom 1.6.5에서 1.6.6으로 업데이트
    • waldo 0.6.1에서 0.6.2로
    • xfun 버전 0.51에서 0.54로
    • xml2 1.3.8에서 1.5.0으로
    • zeallot 버전 0.1.0에서 0.2.0으로 업데이트
    • zip을 버전 2.3.2에서 2.3.3으로

  • 업그레이드된 Java 라이브러리:

    • com.amazonaws.amazon-kinesis-client를 1.12.0에서 1.15.3으로
    • com.amazonaws.aws-java-sdk-autoscaling 버전 1.12.638에서 1.12.681로
    • com.amazonaws.aws-java-sdk-cloudformation 버전을 1.12.638에서 1.12.681로 변경
    • com.amazonaws.aws-java-sdk-cloudfront 1.12.638에서 1.12.681로
    • com.amazonaws.aws-java-sdk-cloudhsm 버전을 1.12.638에서 1.12.681로 업데이트합니다.
    • com.amazonaws.aws-java-sdk-cloudsearch 버전 1.12.638에서 1.12.681로 업데이트
    • com.amazonaws.aws-java-sdk-cloudtrail 1.12.638부터 1.12.681까지
    • com.amazonaws.aws-java-sdk-cloudwatch 버전 1.12.638에서 1.12.681로
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics 1.12.638 버전에서 1.12.681 버전으로
    • com.amazonaws.aws-java-sdk-codedeploy 1.12.638에서 1.12.681까지
    • com.amazonaws.aws-java-sdk-cognitoidentity 버전 1.12.638에서 1.12.681로 업데이트
    • com.amazonaws.aws-java-sdk-cognitosync의 버전을 1.12.638에서 1.12.681로 업데이트합니다.
    • com.amazonaws.aws-java-sdk-config 버전이 1.12.638에서 1.12.681로 업데이트되었습니다.
    • com.amazonaws.aws-java-sdk-core 1.12.638에서 1.12.681로
    • com.amazonaws.aws-java-sdk-datapipeline 1.12.638 ~ 1.12.681
    • com.amazonaws.aws-java-sdk-directconnect를 1.12.638에서 1.12.681로 변경
    • com.amazonaws.aws-java-sdk-directory 1.12.638에서 1.12.681로
    • com.amazonaws.aws-java-sdk-dynamodb 버전이 1.12.638에서 1.12.681로 업데이트되었습니다.
    • com.amazonaws.aws-java-sdk-ec2 버전을 1.12.638에서 1.12.681로
    • com.amazonaws.aws-java-sdk-ecs 버전을 1.12.638에서 1.12.681로 변경
    • com.amazonaws.aws-java-sdk-efs 버전 1.12.638에서 1.12.681로 업데이트됨
    • com.amazonaws.aws-java-sdk-elasticache 1.12.638 ~ 1.12.681
    • com.amazonaws.aws-java-sdk-elasticbeanstalk 버전 1.12.638에서 1.12.681로 업데이트
    • com.amazonaws.aws-java-sdk-elasticloadbalancing을(를) 1.12.638에서 1.12.681로 업데이트
    • com.amazonaws.aws-java-sdk-elastictranscoder 버전 1.12.638에서 1.12.681로 업데이트
    • com.amazonaws.aws-java-sdk-emr 1.12.638에서 1.12.681로 업그레이드
    • com.amazonaws.aws-java-sdk-glacier 1.12.638에서 1.12.681까지
    • com.amazonaws.aws-java-sdk-glue 1.12.638에서 1.12.681까지
    • com.amazonaws.aws-java-sdk-iam 1.12.638에서 1.12.681로
    • com.amazonaws.aws-java-sdk-importexport 1.12.638에서 1.12.681로
    • com.amazonaws.aws-java-sdk-kinesis 버전을 1.12.638에서 1.12.681로 변경합니다.
    • com.amazonaws.aws-java-sdk-kms 버전 1.12.638에서 1.12.681로
    • com.amazonaws.aws-java-sdk-lambda 1.12.638부터 1.12.681까지
    • com.amazonaws.aws-java-sdk-logs의 버전을 1.12.638에서 1.12.681로 업그레이드했습니다.
    • com.amazonaws.aws-java-sdk-machinelearning 업데이트: 버전 1.12.638에서 1.12.681로
    • com.amazonaws.aws-java-sdk-opsworks 버전을 1.12.638에서 1.12.681로 업데이트
    • com.amazonaws.aws-java-sdk-rds 버전 변경: 1.12.638에서 1.12.681로
    • com.amazonaws.aws-java-sdk-redshift 1.12.638에서 1.12.681로
    • com.amazonaws.aws-java-sdk-route53 1.12.638에서 1.12.681로
    • com.amazonaws.aws-java-sdk-s3 1.12.638 버전에서 1.12.681 버전으로
    • com.amazonaws.aws-java-sdk-ses를 버전 1.12.638에서 1.12.681로 업그레이드합니다.
    • com.amazonaws.aws-java-sdk-simpledb 버전 1.12.638에서 1.12.681로 업데이트
    • com.amazonaws.aws-java-sdk-simpleworkflow 1.12.638에서 1.12.681로
    • com.amazonaws.aws-java-sdk-sns 1.12.638에서 1.12.681까지
    • com.amazonaws.aws-java-sdk-sqs 버전을 1.12.638에서 1.12.681로 업그레이드
    • com.amazonaws.aws-java-sdk-ssm 버전 1.12.638에서 1.12.681로 변경
    • com.amazonaws.aws-java-sdk-storagegateway 1.12.638에서 1.12.681까지
    • com.amazonaws.aws-java-sdk-sts 버전을 1.12.638에서 1.12.681로 업데이트
    • 소프트웨어 버전 업데이트: com.amazonaws.aws-java-sdk-support 1.12.638에서 1.12.681로
    • com.amazonaws.aws-java-sdk-workspaces 1.12.638에서 1.12.681로
    • com.amazonaws.jmespath-java 버전을 1.12.638에서 1.12.681로
    • com.databricks.databricks-sdk-java 0.27.0에서 0.53.0까지
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310을 2.18.2에서 2.18.3으로 업데이트합니다.
    • com.github.luben.zstd-jni 1.5.6-10에서 1.5.7-6으로
    • com.google.flatbuffers.flatbuffers-java 24.3.25 ~ 25.2.10
    • com.google.guava.failureaccess 1.0.2에서 1.0.3으로
    • com.google.guava.guava 33.4.0-jre에서 33.4.8-jre까지
    • com.microsoft.sqlserver.mssql-jdbc 버전이 11.2.3.jre8에서 12.8.0.jre8로 업데이트되었습니다.
    • commons-cli.commons-cli에서 1.9.0에서 1.10.0으로
    • commons-codec.commons-codec: 1.17.2에서 1.19.0으로
    • commons-fileupload.commons-fileupload 버전 1.5에서 1.6.0으로 변경
    • commons-io.commons-io 버전 2.18.0에서 2.21.0으로 업데이트
    • dev.ludovic.netlib.arpack 3.0.3에서 3.0.4로
    • dev.ludovic.netlib.blas 3.0.3에서 3.0.4로
    • dev.ludovic.netlib.lapack 3.0.3에서 3.0.4로
    • io.dropwizard.metrics.metrics-annotation 버전 4.2.30에서 4.2.37로 업데이트
    • io.dropwizard.metrics.metrics-core를 4.2.30에서 4.2.37로
    • io.dropwizard.metrics.metrics-graphite를 4.2.30에서 4.2.37로
    • io.dropwizard.metrics.metrics-healthchecks 버전 4.2.30에서 4.2.37로 업데이트
    • io.dropwizard.metrics.metrics-jmx 4.2.30를 4.2.37로
    • io.dropwizard.metrics.metrics-json 버전을 4.2.30에서 4.2.37로 업데이트
    • io.dropwizard.metrics.metrics-jvm에서 4.2.30 버전에서 4.2.37 버전으로
    • io.dropwizard.metrics.metrics-servlets 버전 4.2.30에서 4.2.37
    • io.delta.delta-sharing-client_2.13를 1.3.10에서 1.3.11로
    • io.netty.netty-all을 4.1.118.Final에서 4.2.7.Final로
    • io.netty.netty-buffer가 4.1.118.Final에서 4.2.7.Final로 업데이트됩니다.
    • io.netty.netty-codec 4.1.118.Final에서 4.2.7.Final로
    • 4.1.118.Final에서 4.2.7.Final까지 io.netty.netty-codec-http
    • io.netty.netty-codec-http2를 4.1.118.Final에서 4.2.7.Final로 업데이트
    • io.netty.netty-codec-socks 버전을 4.1.118.Final에서 4.2.7.Final로
    • io.netty.netty-common 버전 4.1.118.Final에서 4.2.7.Final로 변경
    • 4.1.118.Final에서 4.2.7.Final까지의 io.netty.netty-handler
    • io.netty.netty-handler-proxy 4.1.118.Final에서 4.2.7.Final로
    • io.netty.netty-resolver 4.1.118.Final에서 4.2.7.Final로
    • io.netty.netty-tcnative-boringssl-static에서 2.0.70.Final-db-r0-windows-x86_64에서 2.0.74.Final-db-r0-windows-x86_64로
    • io.netty.netty-tcnative-classes 2.0.70.Final에서 2.0.74.Final으로
    • io.netty.netty-transport 4.1.118.Final에서 4.2.7.Final로
    • io.netty.netty-transport-classes-epoll 4.1.118.Final에서 4.2.7.Final로
    • io.netty.netty-transport-classes-kqueue 4.1.118.Final에서 4.2.7.Final로
    • io.netty.netty-transport-native-epoll에서 4.1.118.Final-linux-x86_64에서 4.2.7.Final-linux-x86_64로 업데이트됩니다.
    • io.netty.netty-transport-native-kqueue에서 4.1.118.Final-osx-x86_64부터 4.2.7.Final-osx-x86_64으로
    • io.netty.netty-transport-native-unix-common에서 4.1.118.Final에서 4.2.7.Final로
    • joda-time.joda-time 2.13.0부터 2.14.0까지
    • org.apache.arrow.arrow-format 18.2.0에서 18.3.0으로 업그레이드
    • org.apache.arrow.arrow-memory-core 버전을 18.2.0에서 18.3.0으로 업데이트
    • org.apache.arrow.arrow-memory-netty 버전을 18.2.0에서 18.3.0으로 변경
    • org.apache.arrow.arrow-memory-netty-buffer-patch이 18.2.0에서 18.3.0으로 업그레이드됨
    • org.apache.arrow.arrow-vector 18.2.0에서 18.3.0으로
    • org.apache.avro.avro 1.12.0에서 1.12.1로
    • org.apache.avro.avro-ipc 버전 1.12.0에서 1.12.1로 업데이트
    • org.apache.avro.avro-mapred 버전을 1.12.0에서 1.12.1로 변경
    • org.apache.commons.commons-collections4 버전을 4.4에서 4.5.0으로
    • org.apache.commons.commons-compress가 버전 1.27.1에서 1.28.0으로 업데이트되었습니다.
    • org.apache.commons.commons-lang3 3.17.0에서 3.19.0으로
    • org.apache.commons.commons-text 버전을 1.13.0에서 1.14.0으로 변경
    • org.apache.curator.curator-client 버전 5.7.1에서 5.9.0로 업데이트
    • org.apache.curator.curator-framework을 5.7.1에서 5.9.0으로 업데이트하십시오.
    • org.apache.curator.curator-recipes 버전 5.7.1에서 5.9.0으로
    • org.apache.datasketches.datasketches-java를 6.1.1에서 6.2.0으로
    • org.apache.hadoop.hadoop-client-runtime 3.4.1에서 3.4.2로
    • org.apache.orc.orc-core 2.1.1-shaded-protobuf에서 2.2.0-shaded-protobuf로
    • org.apache.orc.orc-format 1.1.0-shaded-protobuf 버전에서 1.1.1-shaded-protobuf 버전으로 업데이트
    • 버전 업데이트: org.apache.orc.orc-mapreduce를 2.1.1-shaded-protobuf에서 2.2.0-shaded-protobuf로 변경합니다.
    • org.apache.orc.orc-shims의 버전이 2.1.1에서 2.2.0으로 변경됩니다.
    • org.apache.xbean.xbean-asm9-shaded 버전 4.26에서 4.28로 업데이트
    • org.apache.zookeeper.zookeeper 3.9.3에서 3.9.4로
    • org.apache.zookeeper.zookeeper-jute 버전 3.9.3에서 3.9.4로 업데이트
    • org.eclipse.jetty.jetty-client 버전이 9.4.53.v20231009에서 10.0.26으로 업그레이드됩니다.
    • org.eclipse.jetty.jetty-http 버전이 9.4.53.v20231009에서 10.0.26으로 변경되었습니다.
    • org.eclipse.jetty.jetty-io 버전을 9.4.53.v20231009에서 10.0.26으로 업데이트
    • org.eclipse.jetty.jetty-jndi 버전 9.4.53.v20231009에서 10.0.26으로
    • org.eclipse.jetty.jetty-plus 버전 9.4.53.v20231009에서 10.0.26으로 업데이트
    • org.eclipse.jetty.jetty-proxy 버전이 9.4.53.v20231009에서 10.0.26으로 업데이트됩니다.
    • org.eclipse.jetty.jetty-security 버전 9.4.53.v20231009에서 10.0.26으로 업데이트
    • org.eclipse.jetty.jetty-server 버전 9.4.53.v20231009에서 10.0.26으로 업데이트합니다.
    • org.eclipse.jetty.jetty-servlet 9.4.53.v20231009에서 10.0.26으로 변경
    • org.eclipse.jetty.jetty-servlets 9.4.53.v20231009에서 10.0.26로 변경
    • org.eclipse.jetty.jetty-util 버전을 9.4.53.v20231009에서 10.0.26으로 업데이트합니다.
    • org.eclipse.jetty.jetty-webapp 버전 9.4.53.v20231009에서 10.0.26으로 업데이트됨
    • org.eclipse.jetty.jetty-xml 버전을 9.4.53.v20231009에서 10.0.26으로 변경
    • org.mlflow.mlflow-spark_2.13에서 2.9.1로 2.22.1로 업데이트
    • org.objenesis.objenesis 3.3에서 3.4로
    • org.scala-lang.modules.scala-xml_2.13부터 2.3.0에서 2.4.0까지

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

시스템 환경

  • 운영 체제: Ubuntu 24.04.4 LTS
  • Java: Zulu21.42+19-CA
  • Scala: 2.13.16
  • Python: 3.12.3
  • R: 4.5.1
  • 델타 레이크: 4.2.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
aiohappyeyeballs 2.4.4 aiohttp 3.11.10 aiosignal 1.2.0
주석이 추가된 문서 0.0.4 annotated-types 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 arro3-core 0.6.5
arrow 1.3.0 asttokens 3.0.0 astunparse 1.6.3
async-lru 2.0.4 attrs 24.3.0 autocommand 2.2.2
azure-common 1.1.28 azure-core 1.37.0 azure-identity 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.28.0
azure-storage-file-datalake 12.22.0 babel 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 black 24.10.0 bleach 6.2.0
blinker 1.7.0 boto3 1.40.45 botocore 1.40.45
cachetools 5.5.1 certifi 2025.4.26 cffi 1.17.1
chardet 4.0.0 charset-normalizer 3.3.2 click 8.1.8
cloudpickle 3.0.0 comm 0.2.1 contourpy 1.3.1
cryptography 44.0.1 cycler 0.11.0 Cython 3.1.5
databricks-agents 1.9.1 databricks-sdk 0.67.0 데이터클래스-제이슨 (dataclasses-json) 0.6.7
dbus-python 1.3.2 debugpy 1.8.11 decorator 5.1.1
defusedxml 0.7.1 deltalake 1.1.4 Deprecated 1.2.18
distlib 0.3.9 docstring-to-markdown 0.11 executing 1.2.0
facets-overview 1.1.1 fastapi 0.128.0 fastjsonschema 2.21.1
filelock 3.17.0 fonttools 4.55.3 fqdn 1.5.1
프로즌리스트 (frozenlist) 1.5.0 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.28.1 google-auth 2.47.0
google-cloud-core 2.5.0 google-cloud-storage 3.7.0 google-crc32c 1.8.0
google-resumable-media 2.8.0 googleapis-common-protos 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.16.0 hf-xet 1.2.0
httpcore 1.0.9 httplib2 0.20.4 httpx 0.28.1
huggingface_hub 1.2.4 idna 3.7 importlib_metadata 8.5.0
inflect 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.7.2 isoduration 20.11.0
jaraco.collections 5.1.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.2 Jinja2 3.1.6
지터 0.12.0 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 jsonpatch (JSON 패치) 1.33 jsonpointer 3.0.0
jsonschema 4.23.0 jsonschema-specifications 2023.7.1 jupyter-events 0.12.0
jupyter-lsp 2.2.5 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.15.0 jupyter_server_terminals 0.5.3 jupyterlab 4.3.4
jupyterlab_pygments 0.3.0 jupyterlab_server 2.27.3 jupyterlab_widgets 1.1.11
kiwisolver 1.4.8 langchain-core 1.2.6 langchain-openai 1.1.6
langsmith 0.6.1 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 litellm 1.75.9 markdown-it-py 2.2.0
MarkupSafe 3.0.2 마시멜로 3.26.2 matplotlib 3.10.0
matplotlib-inline 0.1.7 mccabe 0.7.0 mdurl 0.1.0
mistune 3.1.2 mlflow-skinny 3.8.1 mmh3 5.2.0
more-itertools 10.3.0 msal 1.34.0 msal-extensions 1.3.1
멀티딕트 6.1.0 mypy-extensions 1.0.0 nbclient 0.10.2
nbconvert 7.16.6 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.10.0 notebook 7.3.2 notebook_shim 0.2.4
numpy 2.1.3 oauthlib 3.2.2 오픈AI 2.14.0
opentelemetry-api 1.39.1 opentelemetry-proto 1.39.1 opentelemetry-sdk 1.39.1
opentelemetry-semantic-conventions 0.60b1 orjson 3.11.5 오버라이드 7.4.0
packaging 24.2 pandas 2.2.3 pandocfilters 1.5.0
parso 0.8.4 pathspec 0.10.3 patsy 1.0.1
pexpect 4.8.0 pillow 11.1.0 pip 25.0.1
platformdirs 4.3.7 plotly 5.24.1 pluggy 1.5.0
prometheus_client 0.21.1 prompt-toolkit 3.0.43 propcache 0.3.1
proto-plus 1.27.0 protobuf 5.29.4 psutil 5.9.0
psycopg2 2.9.11 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 21.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 pycparser 2.21 pydantic 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.19.1
PyGObject 3.48.2 pyiceberg 0.10.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing 3.2.0 pyright 1.1.394
파이로어링 1.0.3 pytest 8.3.5 python-dateutil 2.9.0.post0
python-dotenv 1.2.1 python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.12.2 pytoolconfig 1.2.6 pytz 2024.1
PyYAML 6.0.2 pyzmq 26.2.0 referencing 0.30.2
정규식 2024.11.6 requests 2.32.3 requests-toolbelt 1.0.0
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 rich 13.9.4
rope 1.13.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.14.0 scikit-learn 1.6.1 scipy 1.15.3
seaborn 0.13.2 Send2Trash 1.8.2 setuptools 78.1.1
셸링엄 1.5.4 six 1.17.0 smmap 5.0.0
sniffio 1.3.0 sortedcontainers 2.4.0 soupsieve 2.5
sqlparse 0.5.5 ssh-import-id 5.11 stack-data 0.6.3
starlette 0.50.0 strictyaml 1.7.3 tenacity 9.0.0
terminado 0.17.1 threadpoolctl 3.5.0 tiktoken (틱토큰) 0.12.0
tinycss2 1.4.0 tokenize_rt 6.1.0 토크나이저 0.22.2
tomli 2.0.1 tornado 6.5.1 tqdm 4.67.1
traitlets 5.14.3 typeguard 4.3.0 typer-slim 0.21.1
types-python-dateutil 2.9.0.20251115 타이핑 검사 0.9.0 typing_extensions 4.12.2
tzdata 2024.1 ujson 5.10.0 unattended-upgrades 0.1
uri-template 1.3.0 urllib3 2.3.0 uuid_utils 0.12.0
uvicorn 0.40.0 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 webcolors 25.10.0 webencodings 0.5.1
websocket-client 1.8.0 whatthepatch 1.0.2 wheel 0.45.1
언제든지 0.7.3 widgetsnbextension 3.6.6 wrapt 1.17.0
yapf 0.40.2 yarl 1.18.0 zipp 3.21.0
zstandard 0.23.0

설치된 R 라이브러리

R 라이브러리는 PACKAGES의 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
arrow 22.0.0 askpass 1.2.1 assertthat 0.2.1
backports 1.5.0 base 4.5.1 base64enc 0.1-3
bigD 0.3.1 비트 4.6.0 bit64 4.6.0-1
bitops 1.0-9 blob 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.10
bslib 0.9.0 cachem 1.1.0 callr 3.7.6
caret 7.0-1 cellranger 1.1.0 chron 2.3-62
class 7.3-22 cli 3.6.5 clipr 0.8.0
clock 0.7.3 cluster 2.1.6 codetools 0.2-20
commonmark 2.0.0 compiler 4.5.1 config 0.3.2
conflicted 1.2.0 cpp11 0.5.2 crayon 1.5.3
자격증명 2.0.3 curl 7.0.0 data.table 1.17.8
datasets 4.5.1 DBI 1.2.3 dbplyr 2.5.1
desc 1.4.3 devtools 2.4.6 diagram 1.6.5
diffobj 0.3.6 digest 0.6.39 downlit 0.4.5
dplyr 1.1.4 dtplyr 1.3.2 e1071 1.7-16
ellipsis 0.3.2 evaluate 1.0.5 fansi 1.0.7
farver 2.1.2 fastmap 1.2.0 fontawesome 0.5.3
forcats 1.0.1 foreach 1.5.2 foreign 0.8-86
fs 1.6.6 future 1.68.0 future.apply 1.20.0
gargle 1.6.0 generics 0.1.4 gert 2.2.0
ggplot2 4.0.1 gh 1.5.0 git2r 0.36.2
gitcreds 0.1.2 glmnet 4.1-10 globals 0.18.0
glue 1.8.0 googledrive 2.1.2 googlesheets4 1.1.2
gower 1.0.2 graphics 4.5.1 grDevices 4.5.1
grid 4.5.1 gridExtra 2.3 gsubfn 0.7
gt 1.1.0 gtable 0.3.6 hardhat 1.4.2
haven 2.5.5 highr 0.11 hms 1.1.4
htmltools 0.5.8.1 htmlwidgets 1.6.4 httpuv 1.6.16
httr 1.4.7 httr2 1.2.1 ids 1.0.1
ini 0.3.1 ipred 0.9-15 isoband 0.2.7
iterators 1.0.14 jquerylib 0.1.4 jsonlite 2.0.0
juicyjuice 0.1.0 KernSmooth 2.23-22 knitr 1.50
labeling 0.4.3 later 1.4.4 lattice 0.22-5
lava 1.8.2 lifecycle 1.0.4 listenv 0.10.0
litedown 0.8 lubridate 1.9.4 magrittr 2.0.4
markdown 2.0 MASS 7.3-60.0.1 Matrix 1.6-5
memoise 2.0.1 methods 4.5.1 mgcv 1.9-1
mime 0.13 miniUI 0.1.2 mlflow 3.6.0
ModelMetrics 1.2.2.2 modelr 0.1.11 nlme 3.1-164
nnet 7.3-19 numDeriv 2016.8-1.1 openssl 2.3.4
otel 0.2.0 parallel 4.5.1 parallelly 1.45.1
pillar 1.11.1 pkgbuild 1.4.8 pkgconfig 2.0.3
pkgdown 2.2.0 pkgload 1.4.1 plogr 0.2.0
plyr 1.8.9 praise 1.0.0 prettyunits 1.2.0
pROC 1.19.0.1 processx 3.8.6 prodlim 2025.04.28
profvis 0.4.0 진척 1.2.3 progressr 0.18.0
promises 1.5.0 proto 1.0.0 proxy 0.4-27
ps 1.9.1 purrr 1.2.0 R6 2.6.1
ragg 1.5.0 randomForest 4.7-1.2 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.1.0
RcppEigen 0.3.4.0.2 reactable 0.4.4 reactR 0.6.1
readr 2.1.6 readxl 1.4.5 recipes 1.3.1
rematch 2.0.0 rematch2 2.1.2 remotes 2.5.0
reprex 2.1.1 reshape2 1.4.5 rlang 1.1.6
rmarkdown 2.30 RODBC 1.3-26 roxygen2 7.3.3
rpart 4.1.23 rprojroot 2.1.1 Rserve 1.8-15
RSQLite 2.4.4 rstudioapi 0.17.1 rversions 3.0.0
rvest 1.0.5 S7 0.2.1 sass 0.4.10
scales 1.4.0 selectr 0.4-2 sessioninfo 1.2.3
shape 1.4.6.1 shiny 1.11.1 sourcetools 0.1.7-1
sparklyr 1.9.3 SparkR 4.1.0 sparsevctrs 0.3.4
spatial 7.3-17 splines 4.5.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.5.1 stats4 4.5.1
stringi 1.8.7 stringr 1.6.0 survival 3.5-8
swagger 5.17.14.1 sys 3.4.3 systemfonts 1.3.1
tcltk 4.5.1 testthat 3.3.0 textshaping 1.0.4
tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 timechange 0.3.0 timeDate 4051.111
tinytex 0.58 tools 4.5.1 tzdb 0.5.0
urlchecker 1.0.1 usethis 3.2.1 utf8 1.2.6
utils 4.5.1 uuid 1.2-1 V8 8.0.1
vctrs 0.6.5 viridisLite 0.4.2 vroom 1.6.6
waldo 0.6.2 whisker 0.4.1 withr 3.0.2
xfun 0.54 xml2 1.5.0 xopen 1.0.1
xtable 1.8-4 yaml 2.3.10 zeallot 0.2.0
zip 2.3.3

설치된 Java 및 Scala 라이브러리(Scala 2.13 클러스터 버전)

그룹 아이디 아티팩트 ID 버전
antlr antlr 2.7.7
com.clearspring.analytics stream 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.53.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware kryo-shaded 4.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.5.1
com.fasterxml.jackson.core jackson-annotations 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.3
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.7-6
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.auth google-auth-library-credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value 자동 값 주석 1.10.4
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone error_prone_annotations 2.36.0
com.google.flatbuffers flatbuffers-java 25.2.10
com.google.guava failureaccess 1.0.3
com.google.guava guava 33.4.8-jre
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-annotations 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.10
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre11
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning Json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.10.0
commons-codec commons-codec 1.19.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.6.0
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.21.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.4
dev.ludovic.netlib blas 3.0.4
dev.ludovic.netlib lapack 3.0.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 2.0.2
io.delta delta-sharing-client_2.13 1.3.11
io.dropwizard.metrics metrics-annotation 4.2.37
io.dropwizard.metrics metrics-core 4.2.37
io.dropwizard.metrics metrics-graphite 4.2.37
io.dropwizard.metrics metrics-healthchecks 4.2.37
io.dropwizard.metrics 메트릭스-제티10 4.2.37
io.dropwizard.metrics metrics-jmx 4.2.37
io.dropwizard.metrics metrics-json 4.2.37
io.dropwizard.metrics metrics-jvm 4.2.37
io.dropwizard.metrics metrics-servlets 4.2.37
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.2.7.Final
io.netty netty-buffer 4.2.7.Final
io.netty netty-codec 4.2.7.Final
io.netty netty-codec-base 4.2.7.Final
io.netty netty-codec-classes-quic 4.2.7.Final
io.netty netty-codec-compression 4.2.7.Final
io.netty netty-codec-http 4.2.7.Final
io.netty netty-codec-http2 4.2.7.Final
io.netty netty-codec-http3 4.2.7.Final
io.netty netty-codec-marshalling 4.2.7.Final
io.netty netty-codec-native-quic 4.2.7.Final-linux-aarch_64
io.netty netty-codec-native-quic 4.2.7.최종-linux-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-windows-x86_64
io.netty netty-codec-protobuf 4.2.7.Final
io.netty netty-codec-socks 4.2.7.Final
io.netty netty-common 4.2.7.Final
io.netty netty-handler 4.2.7.Final
io.netty netty-handler-proxy 4.2.7.Final
io.netty netty-resolver 4.2.7.Final
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-windows-x86_64
io.netty netty-tcnative-classes 2.0.74.Final
io.netty netty-transport 4.2.7.Final
io.netty netty-transport-classes-epoll 4.2.7.Final
io.netty netty-transport-classes-io_uring 4.2.7.Final
io.netty netty-transport-classes-kqueue 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.2.7.최종-linux-x86_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-io_uring 4.2.7.최종-linux-x86_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.2.7.Final
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
io.prometheus simpleclient 0.16.1-databricks
io.prometheus simpleclient_common 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx collector 0.18.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.14.0
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow 화살표 압축 18.3.0
org.apache.arrow arrow-format 18.3.0
org.apache.arrow arrow-memory-core 18.3.0
org.apache.arrow arrow-memory-netty 18.3.0
org.apache.arrow arrow-memory-netty-buffer-patch 18.3.0
org.apache.arrow arrow-vector 18.3.0
org.apache.avro avro 1.12.1
org.apache.avro avro-ipc 1.12.1
org.apache.avro avro-mapred 1.12.1
org.apache.commons commons-collections4 4.5.0
org.apache.commons commons-compress 1.28.0
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.19.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.14.0
org.apache.curator curator-client 5.9.0
org.apache.curator curator-framework 5.9.0
org.apache.curator curator-recipes 5.9.0
org.apache.datasketches datasketches-java 6.2.0
org.apache.datasketches datasketches-memory 3.0.2
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.4.2
org.apache.hive hive-beeline 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde 2.3.10
org.apache.hive hive-shims 2.3.10
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims hive-shims-common 2.3.10
org.apache.hive.shims hive-shims-scheduler 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.2.0-shaded-protobuf
org.apache.orc orc-format 1.1.1 음영 처리된 프로토부프
org.apache.orc orc-mapreduce 2.2.0-shaded-protobuf
org.apache.orc orc-shims 2.2.0
org.apache.poi poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.28
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.9.4
org.apache.zookeeper zookeeper-jute 3.9.4
org.checkerframework checker-qual 3.43.0
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-alpn-client 10.0.26
org.eclipse.jetty jetty-client 10.0.26
org.eclipse.jetty jetty-http 10.0.26
org.eclipse.jetty jetty-io 10.0.26
org.eclipse.jetty jetty-jndi 10.0.26
org.eclipse.jetty jetty-plus 10.0.26
org.eclipse.jetty jetty-proxy 10.0.26
org.eclipse.jetty jetty-security 10.0.26
org.eclipse.jetty jetty-server 10.0.26
org.eclipse.jetty jetty-servlet 10.0.26
org.eclipse.jetty jetty-servlets 10.0.26
org.eclipse.jetty jetty-util 10.0.26
org.eclipse.jetty jetty-webapp 10.0.26
org.eclipse.jetty jetty-xml 10.0.26
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.41
org.glassfish.jersey.containers jersey-container-servlet-core 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey-common 2.41
org.glassfish.jersey.core jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator hibernate-validator 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jline jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.locationtech.jts jts-core 1.20.0
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.22.1
org.objenesis objenesis 3.4
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.4.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest scalatest-compatible 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
stax stax-api 1.0.1
  • Last updated on