Databricks Runtime 10.2(지원되지 않음)
다음 릴리스 정보는 Apache Spark 3.2.0에서 제공하는 Databricks Runtime 10.2 및 Databricks Runtime 10.2 Photon에 대한 정보를 제공합니다. Databricks는 2021년 12월에 이 이미지를 릴리스했습니다. Photon은 현재 공개 미리 보기 상태입니다.
새로운 기능 및 향상 기능
- Spark 스트리밍으로 리포지토리에서 파일 사용
- Databricks 유틸리티: 탑재 업데이트 명령 추가
- Delta Lake: 열의 이름 바꾸기 지원(공개 미리 보기)
- Delta Lake 테이블 기록: Databricks Runtime 버전 정보 추가
- Databricks 유틸리티: 디렉터리가 나열된 경우 최신 수정 시간 정보 추가
- Spark SQL: 상위 항목 및 개수를 반환하는
approx_top_k함수 추가 - 이제 Python과 Scala에서 Trigger.AvailableNow를 사용할 수 있음
- 자동 로더가 이제 Avro에 대한 스키마 진화를 지원(공개 미리 보기)
Spark 스트리밍으로 리포지토리에서 파일 사용
이제 Spark 스트리밍에서 리포지토리에 있는 파일에 액세스할 수 있습니다.
Databricks 유틸리티: 탑재 업데이트 명령 추가
새로운 dbutils.fs.updateMount 명령은 dbutils.fs.mount와 비슷하지만, 새로운 명령은 새 탑재 지점을 만드는 대신 기존 탑재 지점을 업데이트합니다. updateMount 명령(dbutils.fs.updateMount)을 참조하세요.
Delta Lake: 열의 이름 바꾸기 지원(공개 미리 보기)
이제 Delta Lake에서 열의 이름 바꾸기를 지원합니다. 델타 테이블의 열 이름을 바꾸려면 델타 테이블의 버전을 업그레이드한 다음 열 매핑 모드를 이름 매핑으로 설정해야 합니다. Delta Lake 열 매핑을 사용하여 열 이름 바꾸기 및 삭제를 참조 하세요.
Delta Lake 테이블 기록: Databricks Runtime 버전 정보 추가
이제 델타 테이블에 쓰기를 수행하면 쓰기를 수행한 Databricks Runtime 버전에 대한 정보도 기록됩니다. 버전 정보를 가져오려면 테이블에서 DESCRIBE HISTORY 명령을 실행한 다음 출력에서 engineInfo 열을 확인합니다. DESCRIBE HISTORY 및 Delta Lake 테이블 기록 작업을 참조하세요.
Databricks 유틸리티: 디렉터리가 나열된 경우 최신 수정 시간 정보 추가
디렉터리의 내용을 나열하는 dbutils.fs.ls 명령이 이제 modificationTime 필드를 출력합니다. 이 필드는 나열된 각 파일 또는 디렉터리의 최신 수정 시간을 포함합니다. ls 명령(dbutils.fs.ls)을 참조하세요.
Spark SQL: 상위 항목 및 개수를 반환하는 approx_top_k 함수 추가
새로운 approx_top_k 함수는 지정된 식에 대해 대략적인 개수와 함께 가장 자주 발생하는 항목 값을 반환합니다. 일부 사례:
df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')
display(df)
import pyspark.sql.functions as F
df = spark.createDataFrame([
(0,), (1,), (1,), (2,), (2,), (2,)
]).select(F.expr('approx_top_k(_1, 10)'))
display(df)
위 두 예제를 실행한 결과는 다음과 같습니다.
[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]
approx_top_k 집계 함수를 참조하세요.
이제 Python과 Scala에서 Trigger.AvailableNow를 사용할 수 있습니다.
이 변경은 Python의 Trigger.AvailableNow 델타 원본 스트리밍 쿼리와 Scala를 지원합니다. Databricks Runtime 10.1에서는 Scala에서 이 트리거에 대한 지원을 도입했습니다. Databricks Runtime 10.2에서는 이제 Python에서도 이 트리거를 지원합니다. 자동 로더란?의 Trigger.AvailableNow 적용 범위를 참조하세요.
자동 로더가 이제 Avro에 대한 스키마 진화를 지원(공개 미리 보기)
자동 로더의 스키마 유추 및 진화 구성을 참조하세요.
라이브러리 업그레이드
- 업그레이드된 Python 라이브러리:
- filelock 3.3.1에서 3.4.0으로
- plotly 5.3.0에서 5.3.1로
- 업그레이드된 R 라이브러리:
- base 4.1.1에서 4.1.2로
- compiler 4.1.1에서 4.1.2로
- datasets 4.1.1에서 4.1.2로
- graphics 4.1.1에서 4.1.2로
- grDevices 4.1.1에서 4.1.2로
- grid 4.1.1에서 4.1.2로
- methods 4.1.1에서 4.1.2로
- parallel 4.1.1에서 4.1.2로
- Rserve 1.8-8에서 1.8-10으로
- splines 4.1.1에서 4.1.2로
- stats 4.1.1에서 4.1.2로
- stats4 4.1.1에서 4.1.2로
- tcltk 4.1.1에서 4.1.2로
- tools 4.1.1에서 4.1.2로
- utils 4.1.1에서 4.1.2로
- backports 1.2.1에서 1.4.0으로
- broom 0.7.9에서 0.7.10으로
- cli 3.0.1에서 3.1.0으로
- cpp11 0.4.0에서 0.4.1로
- crayon 1.4.1에서 1.4.2로
- credentials 1.3.1에서 1.3.2로
- future 1.22.1에서 1.23.0으로
- gert 1.4.1에서 1.4.3으로
- glmnet 4.1-2에서 4.1-3으로
- glue 1.4.2에서 1.5.0으로
- memoise 2.0.0에서 2.0.1로
- parallelly 1.28.1에서 1.29.0으로
- readr 2.0.2에서 2.1.0으로
- sessioninfo 1.1.1에서 1.2.1로
- stringi 1.7.5에서 1.7.6으로
- tibble 3.1.5에서 3.1.6으로
- tinytex 0.34에서 0.35로
- tzdb 0.1.2에서 0.2.0으로
- usethis 2.1.2에서 2.1.3으로
- uuid 0.1-4에서 1.0-3으로
- vroom 1.5.5에서 1.5.6으로
- xfun 0.27에서 0.28로
- 업그레이드된 Java 라이브러리:
- com.fasterxml.jackson 2.12.2에서 2.12.3으로
- io.airlift.aircompressor 0.19에서 0.21로
- io.netty.netty-all 4.1.63.Final에서 4.1.68.Final로
- joda-time.joda-time 2.10.5에서 2.10.10으로
- org.apache.commons.commons-compress 1.20에서 1.21로
- org.apache.orc 1.6.10에서 1.6.12로
- org.eclipse.jetty 9.4.40.v20210413에서 9.4.43.v20210629로
- org.scalanlp.breeze-macros_2.12 1.0 에서 1.2로
- org.scalanlp.breeze_2.12 1.0에서 1.2로
- org.org.typelevel.algebra_2.12 2.0.0에서 2.0.1로
- org.typelevel.cats-kernel_2.12 2.0.0에서 2.0.1로
Apache Spark
Databricks Runtime 10.2는 Apache Spark 3.2.0을 포함합니다. 이 릴리스에는 Databricks Runtime 10.1(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항과 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-37447] [SQL] 캐시 LogicalPlan.isStreaming()의 결과로 지연된 값 발생
- [SPARK-37468] [SQL] UnionEstimation에 대한 ANSI 간격 및 TimestampNTZ 지원
- [SPARK-37464] [SQL] SCHEMA 및 DATABASE가 NAMESPACE의 별칭이어야 함
- [SPARK-37452] [SQL] Char 및 Varchar가 v3.1과 v2 사이의 이전 버전과의 호환성을 손상시킴
- [SPARK-36861] [SQL] 파티션 검색에서 날짜 패턴으로
yyyy-MM-dd사용 - [SPARK-37456] [SQL] CREATE NAMESPACE가 v2 명령의 위치를 한정해야 함
- [SPARK-37357] [SQL] 파티션 재조정을 위한 작은 파티션 인수 추가
- [SPARK-37446] [SQL] getWithoutRegisterFns의 리플렉션을 사용하여 빌드를 위한 여러 Hive 버전 허용
- [SPARK-37444] [SQL] ALTER NAMESPACE … SET LOCATION이 v1 및 v2 명령에서 일관되게 빈 위치를 처리해야 함
- [SPARK-36357] [SQL] orc에 대한 표준 시간대 없이 타임스탬프 푸시다운 지원
- [SPARK-36346] [SQL] Orc 파일 원본에서 TimestampNTZ 형식 지원
- [SPARK-36646] [SQL] 집계에 대해 파티션 열을 기준으로 그룹 푸시다운
- [SPARK-34960] [SQL] ORC에 대한 집계 푸시다운
- [SPARK-37386] [SQL] OptimizeSkewedJoin이 비용 계산기를 실행하지 않도록 단순화
- [SPARK-36073] [SQL] EquivalentExpressions 수정 및 개선
- [SPARK-35352] [SQL] 외부 정렬 병합 조인을 위한 code-gen 추가
- [SPARK-37292] [SQL] 별칭이 있는 스트리밍된 쪽에 DISTINCT만 있는 경우 외부 조인 제거
- [SPARK-37371] [SQL] 모든 자식이 열 형식을 지원하는 경우 UnionExec가 열 형식을 지원해야 함
- [SPARK-36645] [SQL] Parquet에 대한 집계(최소/최대/개수) 푸시다운
- [SPARK-37379] [SQL] CTESubstitution 규칙에 트리 패턴 정리 추가
- [SPARK-37332] [SQL]
ALTER TABLE .. ADD COLUMNS에서 ANSI 간격 허용 - [SPARK-37224] [SS] RocksDB 상태 저장소 공급자에서 쓰기 경로 최적화
- [SPARK-37304] [SQL] v2
ALTER TABLE .. REPLACE COLUMNS에서 ANSI 간격 허용 - [SPARK-36924] [SQL] ANSI 간격 및 IntegralType 사이의 CAST
- [SPARK-37289] [SQL]
partitionSchemaOption함수 제거 - [SPARK-37270] [SQL] elseValue가 비어 있는 경우 CaseWhen으로의 폴드 푸시 수정
- [SPARK-35345] [SQL] BloomFilterBenchmark에 Parquet 테스트 추가
- [SPARK-37341] [SQL] 불필요한 버퍼를 방지하고 전체 외부 정렬 병합 조인에 복사
- [SPARK-37266] [SQL] 텍스트 보기는 SELECT 쿼리일 수만 있음
- [SPARK-37288] [PYTHON][3.2] 주석 업데이트 이후의 백포트
- [SPARK-37262] [SQL] JDBCScan에서 빈 집계를 로그하지 않고 그룹화하지 않음
- [SPARK-37283] [SQL] Hive 호환 형식의 ANSI 간격을 포함하는 V1 테이블을 저장하지 않음
- [SPARK-37221] [SQL] SparkPlan의 수집과 비슷한 API는 열 형식 출력을 지원해야 함
- [SPARK-37202] [SQL] AnalysisContext를 사용하여 참조된 임시 함수 추적
- [SPARK-37023] [CORE] 재시도 중에 shuffleDependency에 대해 shuffleMergeEnabled가 false인 경우 병합 상태를 가져오지 않음
- [SPARK-37307] [CORE] 빈 파티션에 대해 JDBC 연결을 가져오지 않음
- [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions 지원으로 루트가 아닌 노드 최적화 지원
- [SPARK-36799] [SQL] CLI에서 queryExecution 이름 전달
- [SPARK-37261] [SQL] DSv2에서 ANSI 간격을 갖는 파티션 추가 허용
- [SPARK-37203] [SQL] TypedImperativeAggregate를 사용하여 관찰할 때 NotSerializableException 수정
- [SPARK-37199] [SQL] QueryPlan에 결정적 필드 추가
- [SPARK-37253] [PYTHON]
tb_frame.f_lineno가 None인 경우try_simplify_traceback이 실패하지 않아야 함 - [SPARK-37214] [SQL] 유효하지 않은 식별자를 갖는 쿼리 분석을 조기에 실패
- [SPARK-37240] [SQL] ANSI 간격을
ColumnVectorUtils.populate()로 처리 - [SPARK-35437] [SQL] 식을 사용하여 클라이언트 쪽에서 Hive 파티션 필터링
- [SPARK-32940] [SQL] 첫 번째 및 마지막 수집은 결정적 집계 함수여야 함
- [SPARK-37231] [SQL] ANSI 간격 파티션의 동적 쓰기/읽기
- [SPARK-37038] [SQL] DSV2 샘플 푸시다운
- [SPARK-36665] [SQL] 더 많은 Not 연산자 단순화 추가
- [SPARK-37150] [SQL] DESCRIBE NAMESPACE가 기본적으로 V2 명령을 사용하도록 마이그레이션
- [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale이 실패하고 null을 반환함
- [SPARK-37212] [SQL] 집계 푸시다운의 구현 개선
- [SPARK-37190] [SQL] ANSI 모드의 캐스트에 대한 오류 메시지 개선
- [SPARK-37161] [SQL] RowToColumnConverter가 AnsiIntervalType 지원
- [SPARK-37160] [SQL] 선택적으로 char 형식에 대한 패딩을 사용하지 않도록 설정하는 구성 추가
- [SPARK-36554] [SQL][PYTHON] functions.scala에서 make_date 식 노출
- [SPARK-37200] [SQL] 데이터 원본 V2에 대한 인덱스 삭제 지원
- [SPARK-37179] [SQL] ANSI 모드: Datetime 및 Numeric 사이의 캐스팅을 허용하는 구성 추가
- [SPARK-37168] [SQL] ANSI 모드의 SQL 함수 및 연산자에 대한 오류 메시지 개선
- [SPARK-36935] [SQL] ParquetSchemaConverter를 계산 Parquet 반복 및 정의 수준으로 확장
- [SPARK-37066] [SQL] 다음 파일을 읽지 못한 경우 파일 경로를 표시하도록 오류 메시지 개선
- [SPARK-32567] [SQL] 전체 외부 섞인 해시 조인에 대한 code-gen 추가
- [SPARK-37176] [SQL] JsonInferSchema#infer 메서드의 예외 처리 로직을 JacksonParser#parse 메서드와 동기화
- [SPARK-37149] [SQL] ANSI 모드의 산술 오버플로 예외에 대한 오류 메시지 개선
- [SPARK-37136] [SQL] Hive 기본 제공 함수에 대한 코드 제거, Spark에서 구현하지 않음
- [SPARK-16280][SPARK-37082] [SQL] 부분 집계를 지원하는 histogram_numeric 집계 함수 구현
- [SPARK-36975] [SQL] HiveClientImpl에서 Hive 클라이언트 호출의 집계 수정
유지 관리 업데이트
Databricks Runtime 10.2 유지 관리 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 20.04.3 LTS
- Java: Zulu 8.58.0.13-CA-linux64
- Scala: 2.12.14
- Python: 3.8.10
- R: 4.1.2
- Delta Lake: 1.1.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10(ISO-Rolling) | appdirs | 1.4.4 | argon2-cffi | 20.1.0 |
| async-generator | 1.10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bidict | 0.21.4 | bleach | 3.3.0 | boto3 | 1.16.7 |
| botocore | 1.19.7 | certifi | 2020.12.5 | cffi | 1.14.5 |
| chardet | 4.0.0 | cycler | 0.10.0 | Cython | 0.29.23 |
| dbus-python | 1.2.16 | decorator | 5.0.6 | defusedxml | 0.7.1 |
| distlib | 0.3.3 | distro-info | 0.23ubuntu1 | entrypoints | 0.3 |
| facets-overview | 1.0.0 | filelock | 3.4.0 | idna | 2.10 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | jedi | 0.17.2 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 | koalas | 1.8.2 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.2 | mistune | 0.8.4 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | Notebook | 6.3.0 | numpy | 1.19.2 |
| 패키징 | 20.9 | pandas | 1.2.4 | pandocfilters | 1.4.3 |
| parso | 0.7.0 | patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 8.2.0 | pip | 21.0.1 |
| plotly | 5.3.1 | prometheus-client | 0.10.1 | prompt-toolkit | 3.0.17 |
| protobuf | 3.17.2 | psycopg2 | 2.8.5 | ptyprocess | 0.7.0 |
| pyarrow | 4.0.0 | pycparser | 2.20 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | pyparsing | 2.4.7 | pyrsistent | 0.17.3 |
| python-apt | 2.0.0+ubuntu0.20.4.6 | python-dateutil | 2.8.1 | python-engineio | 4.3.0 |
| python-socketio | 5.4.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
| requests | 2.25.1 | requests-unixsocket | 0.2.0 | s3transfer | 0.3.7 |
| scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
| Send2Trash | 1.5.0 | setuptools | 52.0.0 | six | 1.15.0 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | tenacity | 8.0.1 |
| terminado | 0.9.4 | testpath | 0.4.4 | threadpoolctl | 2.1.0 |
| tornado | 6.1 | traitlets | 5.0.5 | unattended-upgrades | 0.1 |
| urllib3 | 1.25.11 | virtualenv | 20.4.1 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | wheel | 0.36.2 | widgetsnbextension | 3.5.1 |
설치된 R 라이브러리
R 라이브러리는 Microsoft CRAN 스냅샷(2021-11-30)에서 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.0 |
| base | 4.1.2 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.2 | boot | 1.3-28 |
| brew | 1.0-6 | brio | 1.1.2 | broom | 0.7.10 |
| bslib | 0.3.1 | cachem | 1.0.6 | callr | 3.7.0 |
| 캐럿 | 6.0-90 | cellranger | 1.1.0 | chron | 2.3-56 |
| class | 7.3-19 | cli | 3.1.0 | clipr | 0.7.1 |
| cluster | 2.1.2 | codetools | 0.2-18 | colorspace | 2.0-2 |
| commonmark | 1.7 | compiler | 4.1.2 | config | 0.3.1 |
| cpp11 | 0.4.1 | crayon | 1.4.2 | credentials | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | 데이터 세트 | 4.1.2 |
| DBI | 1.1.1 | dbplyr | 2.1.1 | desc | 1.4.0 |
| devtools | 2.4.2 | diffobj | 0.3.5 | digest | 0.6.28 |
| dplyr | 1.0.7 | dtplyr | 1.1.0 | e1071 | 1.7-9 |
| 줄임표 | 0.3.2 | evaluate | 0.14 | fansi | 0.5.0 |
| farver | 2.1.0 | fastmap | 1.1.0 | fontawesome | 0.2.2 |
| forcats | 0.5.1 | foreach | 1.5.1 | foreign | 0.8-81 |
| forge | 0.2.0 | fs | 1.5.0 | future | 1.23.0 |
| future.apply | 1.8.1 | gargle | 1.2.0 | 제네릭(generics) | 0.1.1 |
| gert | 1.4.3 | ggplot2 | 3.3.5 | gh | 1.3.0 |
| gitcreds | 0.1.1 | glmnet | 4.1-3 | globals | 0.14.0 |
| glue | 1.5.0 | googledrive | 2.0.0 | googlesheets4 | 1.0.0 |
| gower | 0.2.2 | graphics | 4.1.2 | grDevices | 4.1.2 |
| grid | 4.1.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | haven | 2.4.3 | highr | 0.9 |
| hms | 1.1.1 | htmltools | 0.5.2 | htmlwidgets | 1.5.4 |
| httpuv | 1.6.3 | httr | 1.4.2 | hwriter | 1.3.2 |
| hwriterPlus | 1.0-3 | ID | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-12 | isoband | 0.2.5 | iterators | 1.0.13 |
| jquerylib | 0.1.4 | jsonlite | 1.7.2 | KernSmooth | 2.23-20 |
| knitr | 1.36 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | lava | 1.6.10 | 주기 | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.1 |
| markdown | 1.1 | MASS | 7.3-54 | 행렬 | 1.3-4 |
| memoise | 2.0.1 | 메서드 | 4.1.2 | mgcv | 1.8-38 |
| mime | 0.12 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.5 | parallel | 4.1.2 |
| parallelly | 1.29.0 | pillar | 1.6.4 | pkgbuild | 1.2.0 |
| pkgconfig | 2.0.3 | pkgload | 1.2.3 | plogr | 0.2.0 |
| plyr | 1.8.6 | praise | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.18.0 | processx | 3.5.2 | prodlim | 2019.11.13 |
| 진행률 | 1.2.2 | progressr | 0.9.0 | promises | 1.2.0.1 |
| proto | 1.0.0 | 프록시 | 0.4-26 | ps | 1.6.0 |
| purrr | 0.3.4 | r2d3 | 0.2.5 | R6 | 2.5.1 |
| randomForest | 4.6-14 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.7 | RcppEigen | 0.3.3.9.1 |
| readr | 2.1.0 | readxl | 1.3.1 | recipes | 0.1.17 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.1 |
| reprex | 2.0.1 | reshape2 | 1.4.4 | rlang | 0.4.12 |
| rmarkdown | 2.11 | RODBC | 1.3-19 | roxygen2 | 7.1.2 |
| rpart | 4.1-15 | rprojroot | 2.0.2 | Rserve | 1.8-10 |
| RSQLite | 2.2.8 | rstudioapi | 0.13 | rversions | 2.1.1 |
| rvest | 1.0.2 | sass | 0.4.0 | scales | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.1 | shape | 1.4.6 |
| shiny | 1.7.1 | sourcetools | 0.1.7 | sparklyr | 1.7.2 |
| SparkR | 3.2.0 | spatial | 7.3-11 | splines | 4.1.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | 통계 | 4.1.2 |
| stats4 | 4.1.2 | stringi | 1.76 | stringr | 1.4.0 |
| survival | 3.2-13 | sys | 3.4 | tcltk | 4.1.2 |
| TeachingDemos | 2.10 | testthat | 3.1.0 | tibble | 3.1.6 |
| tidyr | 1.1.4 | tidyselect | 1.1.1 | tidyverse | 1.3.1 |
| timeDate | 3043.102 | tinytex | 0.35 | tools | 4.1.2 |
| tzdb | 0.2.0 | usethis | 2.1.3 | utf8 | 1.2.2 |
| utils | 4.1.2 | uuid | 1.0-3 | vctrs | 0.3.8 |
| viridisLite | 0.4.0 | vroom | 1.5.6 | waldo | 0.3.1 |
| whisker | 0.4 | withr | 2.4.2 | xfun | 0.28 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 | zip | 2.2.0 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.12.3 |
| com.fasterxml.jackson.core | jackson-core | 2.12.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.12.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.12.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.12.3 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.0-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.0 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | 프로파일러 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.istack | istack-commons-runtime | 3.0.8 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.8.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 1.3.2 |
| dev.ludovic.netlib | blas | 1.3.2 |
| dev.ludovic.netlib | lapack | 1.3.2 |
| hive-2.3__hadoop-3.2 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.2.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.68.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 수집기 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.10 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-3.2 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | Avro | 1.10.2 |
| org.apache.avro | avro-ipc | 1.10.2 |
| org.apache.avro | avro-mapred | 1.10.2 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.1-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.1 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.htrace | htrace-core4 | 4.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | 아이비 | 2.5.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.6.12 |
| org.apache.orc | orc-mapreduce | 1.6.12 |
| org.apache.orc | orc-shims | 1.6.12 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0003 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-continuation | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-http | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-io | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-jndi | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-plus | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-proxy | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-security | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-server | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlet | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlets | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-webapp | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-xml | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.43.v20210629 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jaxb | jaxb-runtime | 2.3.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
| org.glassfish.jersey.core | jersey-client | 2.34 |
| org.glassfish.jersey.core | jersey-common | 2.34 |
| org.glassfish.jersey.core | jersey-server | 2.34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.2.19 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | unused | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |