Databricks Runtime 8.0 （不支援）

  • 發行項

Databricks 於 2021 年 3 月發行了這一映射。

下列版本資訊提供由 Apache Spark 3.1.1 提供之 Databricks Runtime 8.0 的相關信息。

新功能

Databricks Runtime 8.0 包含 Apache Spark 3.1.1。 如需詳細資訊，請參閱 Apache Spark。

改善

當未指定格式時，Delta 現在是預設格式

Databricks Runtime 8.0 會變更預設格式， delta 使其更容易建立 Delta 數據表。 當您使用 SQL 命令或 {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} API 建立資料表，且未指定格式時，預設格式為 delta。

透過 Delta Lake，您可以透過豐富的架構驗證、品質條件約束和交易式保證，獲得更佳的 Parquet 效能、更好的數據可靠性。 透過 Delta Lake，您可以使用單一數據源上的整合結構化串流和批處理來簡化資料管線。

雖然 Databricks 建議使用 Delta Lake 來儲存您的數據，但您可能有需要移轉至 Delta Lake 的舊版工作流程。 如需移轉現有工作流程的相關信息，請參閱 什麼是 Delta Lake？。

新的結構化串流預設觸發程式間隔可降低成本

如果您未在串流查詢中使用 來設定觸發間隔 Trigger.ProcessingTime ，間隔會設定為 500 毫秒。 先前，預設間隔為 0 毫秒。 這項變更應減少空白觸發程式的數目，並降低雲端記憶體的成本，例如清單。

搭配認證傳遞使用 LDA 轉換函式 （公開預覽）

您現在可以在設定為使用認證傳遞進行驗證的叢集上使用 LDA 轉換函式。

使用認證傳遞設定的單一使用者叢集不再需要受信任的檔案系統 （公開預覽）

當您使用針對單一使用者設定認證傳遞的標準或作業叢集時，您不再需要將本機文件系統設定為受信任的文件系統。 這項變更會在單一使用者叢集上執行作業時，移除不必要的文件系統限制。

連結庫升級

Apache Spark

Databricks Runtime 8.0 包含 Apache Spark 3.1.1。

本節內容：

核心和Spark SQL

醒目提示

ANSI SQL 相容性增強功能

  • 支援 char/varchar 資料類型 （SPARK-33480）
  • ANSI 模式：運行時間錯誤，而不是傳回 Null （SPARK-33275）
  • ANSI 模式：新的明確轉換語法規則 （SPARK-33354）
  • 新增 SQL 標準指令 SET TIME ZONE （SPARK-32272）
  • 統一建立數據表 SQL 語法 （SPARK-31257）
  • 統一暫存檢視和永久檢視行為 （SPARK-33138）
  • 語句中的 INSERT 支援資料列清單 （SPARK-32976）
  • 支援 ANSI 巢狀方括弧批注 （SPARK-28880）

效能增強

  • 主機-本機隨機數據讀取而不洗牌服務 （SPARK-32077）
  • 在重新分割節點之前移除備援排序 （SPARK-32276）
  • 部分下推述詞 （SPARK-32302， SPARK-32352）
  • 透過展開向下推入篩選 （SPARK-33302）
  • 透過 CNF 轉換透過 Join 推送更多可能的述詞 （SPARK-31705）
  • 保留廣播哈希聯結的輸出分割來移除隨機顯示 （SPARK-31869）
  • 藉由改善重新排序聯結金鑰來移除隨機顯示 （SPARK-32282）
  • 將輸出分割和排序排序正規化來移除隨機顯示 （SPARK-33399）
  • 隨機哈希聯結改善 （SPARK-32461）
    • 保留隨機哈希聯結組建端資料分割 （SPARK-32330）
    • 保留哈希聯結 （BHJ 和 SHJ） 數據流端排序 （SPARK-32383）
    • 合併合併聯結的聯合資料表 （SPARK-32286）
    • 新增隨機哈希聯結的程式代碼 Gen （SPARK-32421）
    • 支援隨機哈希聯結的完整外部聯結 （SPARK-32399）
  • 使用整個階段程式代碼gen 支援專案中的子表示式消除 （SPARK-33092）
  • 支援條件表示式中的子運算式消除 （SPARK-33337）
  • 支援解譯表示式評估的子運算式消除 （SPARK-33427）
  • 支援解譯述詞的子表示式消除 （SPARK-33540）
  • 其他優化工具規則
    • 規則 ExtractSingleColumnNullAwareAntiJoin （SPARK-32290）
    • 規則 EliminateNullAwareAntiJoin （SPARK-32573）
    • 規則 EliminateAggregateFilter （SPARK-32540）
    • 規則 UnwrapCastInBinaryComparison （SPARK-32858）
    • 規則 DisableUnnecessaryBucketedScan （SPARK-32859）
    • 規則 CoalesceBucketsInJoin （SPARK-31350）
    • 從沒有項目的情況下從產生的不必要的巢狀字段剪除 （SPARK-29721）
    • 從匯總和展開修剪不必要的巢狀字段 （SPARK-27217）
    • 從 repartition-by-expression 和 join 修剪不必要的巢狀字段 （SPARK-31736）
    • 修剪化妝品變化的不必要的巢狀字段 （SPARK-32163）
    • 從視窗與排序修剪不必要的巢狀字位 （SPARK-32059）
    • 將 CreateArray/CreateMap 的大小優化為其子系的大小 （SPARK-33544）

擴充性增強功能

  • 在 DataSourceV2 上新增 SupportsPartitions API （SPARK-31694）
  • 在 DataSourceV2 上新增 SupportsMetadataColumns API （SPARK-31255）
  • 讓 SQL 快取串行化可插入性 （SPARK-32274）
  • purge介紹 v2 目錄的選項 TableCatalog.dropTable （SPARK-33364）

連線 or 增強功能

功能增強功能

其他值得注意的變更

  • 在 Spark 文件網站中提供搜尋功能 （SPARK-33166）
  • 將 Apache Arrow 升級至 2.0.0 （SPARK-33213）
  • 在節流伺服器中啟用 Java 8 時間 API （SPARK-31910）
  • 在 UDF 中啟用 Java 8 時間 API （SPARK-32154）
  • 具有十進位的匯總總和溢位檢查 （SPARK-28067）
  • 修正動態分割區覆寫模式中的認可衝突 （SPARK-27194， SPARK-29302）
  • 移除了從屬、黑名單和允許列表的參考 （SPARK-32004、SPARK-32036、SPARK-32037）
  • 移除隨機對應階段的工作結果大小檢查 （SPARK-32470）
  • 一般化 ExecutorSource 以公開使用者指定的檔案系統設定 （SPARK-33476）
  • 新增 StorageLevel.DISK_ONLY_3 （SPARK-32517）
  • 針對執行程式公開 Web UI 中的執行程式記憶體計量 （SPARK-23432）
  • 在階段層級公開執行程式記憶體計量，在 [階段] 索引卷標中 （SPARK-26341）
  • 修正在 YARN 叢集模式中明確設定 spark.ui.port 的 （SPARK-29465）
  • 新增 spark.submit.waitForCompletion 組態以控制獨立叢集模式中的 spark-submit 結束 （SPARK-31486）
  • 設定 yarn.Client 以列印驅動程式 stdout/stderr 的直接連結 （SPARK-33185）
  • 修正無法儲存廣播片段時的記憶體流失 （SPARK-32715）
  • 讓 BlockManagerMaster 驅動程式活動訊號逾時可設定 （SPARK-34278）
  • 統一和完成快取行為 （SPARK-33507）

行為變更

請參閱每個元件的移轉指南： Spark Core 和 Spark SQL。

PySpark

Project Zen

其他值得注意的變更

  • 重複資料刪除決定性 PythonUDF 呼叫 （SPARK-33303）
  • 支援 PySpark 函式中的較高順序函式（SPARK-30681）
  • 支援資料來源 v2x 寫入 API （SPARK-29157）
  • PySpark 函式的支援 percentile_approx （SPARK-30569）
  • PySpark DataFrame 的支援 inputFiles （SPARK-31763）
  • PySpark 數據行的支援 withField （SPARK-32835）
  • PySpark 數據行的支援 dropFields （SPARK-32511）
  • PySpark 函式的支援 nth_value （SPARK-33020）
  • 支援 acosh、 asinh 和 atanh （SPARK-33563）
  • PySpark SparkContext 中的支援 getCheckpointDir 方法 （SPARK-33017）
  • 支援在 中 unionByName 填入遺漏數據行的 Null （SPARK-32798）
  • 更新 cloudpickle 至 v1.5.0 （SPARK-32094）
  • 新增 MapType 使用箭頭的 PySpark 支援 （SPARK-24554）
  • DataStreamReader.table 和 DataStreamWriter.toTable （SPARK-33836）

行為變更

請參閱 [PySpark] 的https://spark.apache.org/docs/3.1.1/pyspark-migration-guide.html移轉指南]。

結構化串流

效能增強

  • 將 maxFilesPerTrigger 以外的檔案快取擷取為未讀取的檔案清單 （SPARK-30866）
  • 簡化檔案資料流來源和接收元數據記錄檔的邏輯 （SPARK-30462）
  • 如果查詢從壓縮批次重新啟動，請避免讀取壓縮元數據記錄兩次 （SPARK-30900）

功能增強功能

  • 新增 DataStreamReader.table API （SPARK-32885）
  • 新增 DataStreamWriter.toTable API （SPARK-32896）
  • 左半數據流聯結 （SPARK-32862）
  • 完整外部資料串流聯結 （SPARK-32863）
  • 提供保留輸出檔案的新選項 （SPARK-27188）
  • 新增 Spark 結構化串流記錄伺服器支援 （SPARK-31953）
  • 介紹查詢重新啟動之間的狀態架構驗證 （SPARK-27237）

其他值得注意的變更

  • 介紹串流狀態存放區的架構驗證 （SPARK-31894）
  • 支援在狀態存放區使用不同的壓縮編解碼器 （SPARK-33263）
  • Kafka 連接器無限等候，因為元數據永遠不會更新 （SPARK-28367）
  • 將 Kafka 升級至 2.6.0 （SPARK-32568）
  • 結構化串流 UI 頁面的分頁支援 （SPARK-31642， SPARK-30119）
  • 結構化串流 UI 中的狀態資訊 （SPARK-33223）
  • 結構化串流 UI 中的浮浮浮水印間距資訊 （SPARK-33224）
  • 公開 SS UI 的狀態自訂計量資訊 （SPARK-33287）
  • 新增與浮浮浮水印之後的資料列數目相關的新計量 （SPARK-24634）

行為變更

請參閱結構化串流移轉指南。

MLlib

重點

  • LinearSVC 會封鎖輸入向量 （SPARK-30642）
  • 羅吉斯回歸封鎖輸入向量 （SPARK-30659）
  • LinearRegression 封鎖輸入向量 （SPARK-30660）
  • AFT 封鎖輸入向量 （SPARK-31656）
  • 在 ML 中新增對關聯規則的支援 （SPARK-19939）
  • 新增 LinearSVCModel 的訓練摘要 （SPARK-20249）
  • 將摘要新增至 RandomForestClassificationModel （SPARK-23631）
  • 將訓練摘要新增至 FMClassificationModel （SPARK-32140）
  • 將摘要新增至 MultilayerPerceptronClassificationModel （SPARK-32449）
  • 將 FMClassifier 新增至 SparkR （SPARK-30820）
  • 新增 SparkR LinearRegression 包裝函式 （SPARK-30818）
  • 將 FMRegressor 包裝函式新增至 SparkR （SPARK-30819）
  • 新增 SparkR 包裝函 vector_to_array 式 （SPARK-33040）
  • 自適性封鎖實例 - LinearSVC （SPARK-32907）
  • make CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer 支援 Python 後端估算器/評估工具 （SPARK-33520）
  • 改善由 GEMV 推薦ForAll 的 ML ALS 效能 （SPARK-33518）
  • 新增 UnivariateFeatureSelector （SPARK-34080）

其他值得注意的變更

  • GMM 計算摘要和一個作業中的更新散發套件 （SPARK-31032）
  • 拿掉 mllib 上的 ChiSqSelector 相依性。ChiSqSelectorModel （SPARK-31077）
  • 壓平 testChiSquare 中測試的結果數據框架 （SPARK-31301）
  • MinHash keyDistance 優化 （SPARK-31436）
  • 以三角形不等比較為基礎的 KMeans 優化 （SPARK-31007）
  • 在 ClusteringEvaluator 中新增權數支援 （SPARK-31734）
  • 在評估工具中新增 getMetrics （SPARK-31768）
  • 在 LinearRegressionSummary 中新增實例權數支援 （SPARK-31944）
  • 將使用者指定的折迭欄新增至 CrossValidator （SPARK-31777）
  • 功能與微調中的 ML 參數預設值同位 （SPARK-32310）
  • 修正 KMeans/BiKMeans 中的雙重快取 （SPARK-32676）
  • aft 轉換優化 （SPARK-33111）
  • FeatureHasher 轉換優化 （SPARK-32974）
  • 為資料框架資料行新增array_to_vector函式 （SPARK-33556）
  • 分類、回歸、叢集和 fpm 中的 ML 參數預設值同位 （SPARK-32310）
  • Summary.totalIterations 大於 maxIters （SPARK-31925）
  • 樹狀結構模型預測優化 （SPARK-32298）

行為變更

請參閱 MLlib 的移轉指南。

SparkR

  • 新增較高階函式的 SparkR 介面 （SPARK-30682）
  • 支援在 unionByName 中填入遺漏數據行的 Null （SPARK-32798）
  • 支援 SparkR 函式中的Column （SPARK-32946）
  • 支援 SparkR 函式中的timestamp_seconds （SPARK-32949）
  • 支援 SparkR 函式中的nth_value （SPARK-33030）
  • 最低箭號版本高達 1.0.0 （SPARK-32452）
  • 支援 SparkR 函式中的array_to_vector （SPARK-33622）
  • 支援 acosh、asinh 和 atanh （SPARK-33563）
  • 支援from_avro和to_avro （SPARK-33304）

行為變更

請參閱 SparkR 的移轉指南（Spark 上的 R）。

GraphX

程序設計指南： GraphX 程式設計手冊。

維護更新

請參閱 Databricks Runtime 8.0 維護更新。

系統環境

  • 操作系統：Ubuntu 18.04.5 LTS
  • Java：Zulu 8.50.0.51-CA-linux64 （組建 1.8.0_275-b01）
  • Scala：2.12.10
  • Python：3.8.8（從 2021 年 5 月 26 日 3.8.6 更新）
  • R：R 4.0.3 版 （2020-10-10）
  • Delta Lake 0.8.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
密碼編譯 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.1 docutils 0.15.2
entrypoints 0.3 filelock 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 parso 0.7.0 patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
requests 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 seaborn 0.10.0 setuptools 50.3.1
六次 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 traitlets 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 wheel 0.35.1

已安裝的 R 連結庫

R 連結庫會從 2020-11-02 上的 Microsoft CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-17
cli 2.2.0 clipr 0.7.1 叢集 2.1.0
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.0.3 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 credentials 1.3.0
串 擾 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.0.3 DBI 1.1.0 dbplyr 2.0.0
遞減 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
省略符號 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-79 forge 0.2.0
fs 1.5.0 future 1.21.0 泛型 0.1.0
格特 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.0.3
grDevices 4.0.3 grid 4.0.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 避風港 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 針織機 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
Lava 1.6.8.1 lazyeval 0.2.2 生命週期 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53 矩陣 1.2-18
備忘 1.1.0 方法 4.0.3 mgcv 1.8-33
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
蒙塞爾 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 讚美 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
進度 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 spatial 7.3-11 splines 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 tools 4.0.3
usethis 2.0.0 utf8 1.1.4 utils 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 晶須 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

已安裝的 Java 和 Scala 連結庫 （Scala 2.12 叢集版本）

群組識別碼 成品標識碼 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.咖啡因 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava 番 石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlet 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收藏家 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
net.razorvine pyolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator 策展人-食譜 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 常春藤 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity 速率 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-continuation 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty jetty-server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core 澤西-通用 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap 墊片 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 閑置 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml 蛇形 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52