共用方式為

Databricks Runtime 4.3 （EoS）

注意

針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 發行說明版本與相容性。

Databricks 於 2018 年 8 月發行此版本。

重要

此版本已於 2019 年 4 月 9 日淘汰。 如需 Databricks Runtime 淘汰原則和排程的詳細資訊，請參閱 Databricks 支援生命週期。

下列版本資訊提供由 Apache Spark 提供之 Databricks Runtime 4.3 的相關信息。

新功能

  • Delta Lake
    • TRUNCATE TABLE 命令：刪除資料表中的所有數據列。 與Spark資料表的對應資料表不同，Delta 資料表不支援刪除特定分割區。
    • ALTER TABLE REPLACE COLUMNS 命令：取代 Delta 資料表中的欄位。 它支援變更數據行的批注，並重新排序多個數據行。
    • FSCK REPAIR TABLE 命令：從 Delta 資料表的事務記錄中移除在底層文件系統中已不存在的檔案條目。 當手動刪除這些檔案時，就會發生這種情況。
    • 支援過時差異數據表的查詢，以改善互動式查詢體驗：當不需要最新結果時，差異數據表上的查詢現在可以在過時版本的數據表上執行。 這項功能可減少查詢的延遲，特別是當基礎 Delta 資料表透過數據流持續更新時。
  • 結構化串流
    • Azure Synapse Analytics Connector 的可擴展的串流寫入支持。
    • foreachBatch()在 Python 中支援（已在 Scala 中提供）。 如需詳細資訊，請參閱 foreach 和 foreachBatch 檔 。
    • 支持在查詢中有多個輸入數據流時，選擇最小或最大水印。 過去總是使用最小時間戳。 如需詳細資訊， 請參閱多個浮水印原則 。
    • 支援在LIMIT 和 Append 輸出模式中使用Complete 運算元來處理數據流。 若要將驅動程式上的 OOM 錯誤降到最低，當您在無界流上使用LIMIT時，display()會自動套用。

改善

  • Delta Lake

    • 不受 10000 行插入限制的新可擴展MERGE INTO命令實作的私人預覽。 如果您想要試用，請連絡支持人員。
    • OPTIMIZE 命令在較大的叢集上有更好的效能和延展性。
    • OPTIMIZE 命令現在會逐步提交至資料表，這也表示如果命令失敗，重試就不需要處理整個資料集。
    • 減少使用 Delta Lake 作為串流來源時探索新數據所需的文件系統 RPC 數目。
    • 已在 Python 中增加對 df.writeStream.table(table-name) 的支援，以從數據流建立 Delta 表。

  • 改善具有多個聯結、匯總或視窗之查詢的效能。

  • 已改善使用廣播哈希結合的查詢在分區層級刪除的效率。

  • 改善整個階段程式代碼產生，以偵測重複的運算式、減少產生的程式代碼數量，以及改善特定表達式類型的效能。

  • 高併行叢集現在支援在筆記本中執行 %fs 。

  • 將 PySpark 使用的 Py4J 升級為 0.10.7。

  • 已改善 Azure Ls 系列實例上磁碟快取效能。 這些實例上現在預設會啟用快取，以加速重複讀取 Parquet 檔案的工作負載。

已淘汰的功能

  • Databricks Delta 外部的數據略過功能已被棄用。 增強版的數據跳略功能將繼續作為 Delta Lake 的一部分提供。 建議您切換至使用 Delta Lake，以繼續利用這項功能。 如需詳細資訊，請參閱 Databricks Delta 數據跳過。

錯誤修正

  • 修正了當 ON 條件的述詞僅引用目標表時，Delta 的述詞下推 MERGE INTO 語句錯誤的問題。
  • 已修正 mapGroupsWithState 和 flatMapGroupsWithState 中的錯誤，防止在移除狀態時設定逾時（SPARK-22187）。
  • 已修正阻止浮水印正常運作的錯誤 Trigger.Once （SPARK-24699）。
  • Update 命令現在會驗證 SET 子句中的欄位，以確保所有欄位實際存在，且沒有欄位被重複設置。
  • 已修正可能導致目錄提交死結的潛在競態條件。
  • 已修復一個 Bug，該 Bug 使得在刷新掛載時使用了已被棄用版本的 DBFS 用戶端。

已知問題

  • 數據表的 Delta Lake 組態選項只會在載入數據表的第一個筆記本中生效。

Apache Spark

Databricks Runtime 4.3 包含 Apache Spark 2.3.1。 此版本包含 Databricks Runtime 4.2 （EoS） 中包含的所有修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

  • [SPARK-24934][SQL] 明確允許在記憶體分割區裁剪中支持的上限/下限類型
    • 當針對快取資料的查詢篩選中使用複雜資料類型時，Spark 一律會傳回空的結果集。 由於複雜類型的上下限設定為 null，因此記憶體中基於統計資料的剪除會產生不正確的結果。 修正方式是不要針對複雜類型使用記憶體內部統計資料型剪除。
  • [SPARK-24957][SQL] 帶有十進位的平均值，隨後的聚合會返回錯誤的結果
    • 可能會傳回不正確的 AVERAGE 結果。 如果 Divide 的結果類型與其被轉型的類型相同，則會略過在 Average 運算子中增加的 CAST。
  • [SPARK-24867][SQL]將 AnalysisBarrier 新增至 DataFrameWriter
    • 使用 DataFrameWriter 寫入具有 UDF 的資料框架時，不會使用 SQL 快取。 這是我們在 AnalysisBarrier 中所做變更所造成的迴歸，因為並非所有分析器規則都是等冪的。
  • [SPARK-24790][SQL]允許 Pivot 中的複雜匯總表達式
    • 放寬檢查以允許複雜的聚合表達式，例如 ceil(sum(col1)) 或 sum(col1) + 1，這大致意味著除了 pandas UDF 之外，任何可能出現在聚合計畫中的聚合表達式。
  • [SPARK-24870][SQL] SQL 中有大小寫字母時，快取將無法正常運作
    • 修正計劃標準化問題。
  • [SPARK-24852]讓 spark.ml 定型使用更新的 Instrumentation API。
  • [SPARK-24891][SQL]修正 HandleNullInputsForUDF 規則
    • 讓 HandleNullInputsForUDF 規則具備等冪性，以避免在計劃多次分析時，造成快取管理員中的計劃不匹配。
  • [SPARK-24878][SQL] 修正包含 Null 之基本類型之陣列類型的反向函式。
  • [SPARK-24871][SQL]重構 Concat 和 MapConcat 以避免為每個數據列建立串連物件。
  • [SPARK-24802][SQL]新增優化規則排除的新設定
    • 提供設定給使用者以排除某些優化器規則。
  • [SPARK-24879][SQL]修正Hive分割區剪除篩選下推中的NPE
    • 當分區謂詞類似 col IN (1, null) 時，會拋出 NPE。 此修補程式會修正此問題。
  • [SPARK-23731][SQL]使 FileSourceScanExec 在(反)序列化後可標準化
  • [SPARK-24755][CORE]執行程式遺失可能會導致工作無法重新提交
    • 修正了因執行程式遺失導致 Spark 可能無法重新提交失敗任務的錯誤。 此 Bug 是在 Spark 2.3 中引進的。
  • [SPARK-24677][CORE]避免來自 MedianHeap 的 NoSuchElementException
    • 修正收集任務持續時間指標時與預測任務相關的錯誤。
  • [SPARK-24868][PYTHON] 在 Python 中新增時序函式
  • [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL]修正類型轉換和可空性。
  • [SPARK-24699][SS] 將新的浮水印儲存至提交日誌，以使浮水印可與只執行一次的觸發器搭配運作。
  • [SPARK-24537][R] 新增array_remove/array_zip/map_from_arrays/array_distinct
  • [SPARK-22187][SS] 更新 flatMapGroupsWithState 中儲存狀態的 unsaferow 格式，以支援已刪除狀態的逾時功能（4.x）
  • [SPARK-24681][SQL]確認Hive中繼存放區中的巢狀數據行名稱
    • 請確定在 Hive 中繼存放區中的巢狀欄位名稱不包含 ',', ':' 和 ';'
  • [SPARK-23486]將來自外部目錄的函式名稱快取以供查找作用
    • 加快函式查閱的速度。
  • [SPARK-24781][SQL]在篩選/排序中使用數據集的參考可能無法運作
  • [SPARK-24208][SQL]修正 FlatMapGroupsInPandas 的屬性去重問題
    • 修正資料集上因屬性重複而導致包含 FlatMapGroupsInPandas 的自連接失敗
  • [SPARK-24530][PYTHON]添加一個控制項，以透過環境變數 SPHINXPYTHON 強制指定 Sphinx 中的 Python 版本
  • [SPARK-24250]支援在任務中存取 SQLConf
    • 當觸發 SQL 執行時，將所有 SQL 組態儲存至作業屬性。 在執行程式端，我們會從作業屬性重建 SQLConf。
  • [SPARK-23936][SQL]實作map_concat
  • [SPARK-23914][SQL]新增array_union函式
  • [SPARK-24732][SQL] MapTypes 之間的類型轉換。
    • 新增對 MapTypes 之間類型轉換的支援，當中鍵類型和值類型皆相容。 例如，類型 MapType(IntegerType, FloatType) 和 MapType(LongType, DoubleType) 可以轉換為 MapType(LongType, DoubleType) 類型。
  • [SPARK-24662][SQL][SS]結構化串流中的支援限制
  • [SPARK-24730][SS] 新增設定原則以在串流查詢有多個水位線時選擇最大值作為全域水位線（branch-4.x）
  • [SPARK-24596][SQL]非階層性快取失效
    • 當取消快取或卸除臨時檢視時，不需要遞迴取消快取所有相依於該檢視的計畫，因為基礎資料不會變更。
  • [SPARK-23927][SQL]新增 「sequence」 表達式
  • [SPARK-24636][SQL] 對 array_join 函式的陣列進行類型轉換
  • [SPARK-22384][SQL] 精簡當屬性被包裝在 Cast 中時的分區修剪
    • 改善分區裁剪，能夠下推具有安全類型轉換的分區謂詞（int 到 long，而不是 long 到 int）。
  • [SPARK-24385][SQL]解決 EqualNullSafe 的自我聯結條件模棱兩可
    • 實作 EqualNullSafe 以進行自我聯結條件模棱兩可解析。
  • [SPARK-24696][SQL]ColumnPruning 規則無法移除額外的專案
    • 修正 ColumnPruning 規則中的程式錯誤，該錯誤導致優化器出現無限循環問題。
  • [SPARK-24603][SQL] 修正註解中的 findTightestCommonType 參考
  • [SPARK-24613][SQL] 擁有 UDF 的快取無法與後續相依的快取進行匹配
    • 在 CacheManager 中使用 AnalysisBarrier 包裝邏輯計畫，以便編譯執行計畫，避免計畫再次被分析。 這也是 Spark 2.3 的迴歸問題。
  • [SPARK-24017][SQL]將 ExternalCatalog 重構為介面
  • [SPARK-24324][PYTHON] pandas 集合映射UDF 應該依名稱指派結果欄位
    • 如果使用者使用字串進行標籤，則依據架構名稱指派結果列，否則依位置指派。
  • [SPARK-23778][CORE] 避免當聯集遇到空的 RDD 時進行不必要的洗牌
    • 忽略 union 方法中的傳入空白 RDD 以避免在所有其他 RDD 具有相同分區時進行不必要的額外重分區。
  • [SPARK-24552][CORE][SQL] 使用唯一標識碼代替嘗試次數來進行寫入。
    • 傳遞唯一的工作嘗試標識碼，而不是嘗試號碼給 v2 數據源，因為重試階段時會重複使用嘗試號碼。 這會影響資料來源 V1 和 V2 API，但檔案格式 API 不受影響，因為 DBR 使用不同的認可通訊協定。
  • [SPARK-24588][SS] 串流聯結應該需要來自子系的 HashClusteredPartitioning。
  • [SPARK-24589][CORE]正確識別輸出提交協調器中的工作。
    • 將更多資訊新增至協調器所追蹤的階段狀態，以便只允許一個任務提交輸出。 此修正程式也會移除 SPARK-18113 引進的無用程式代碼變更。
  • [SPARK-23933][SQL]新增map_from_arrays函式
  • [SPARK-24583][SQL]InsertIntoDataSourceCommand 中的架構類型錯誤
    • 在建立具有 NOT NULL 限制的 Delta 資料表時，我們可以移除不為 Null 的限制，並插入 NULL 值，而不檢查其是否違反限制。
  • [SPARK-24542][SQL]UDF 系列 UDFXPathXXXX 可讓用戶傳遞精心製作的 XML 以存取任意檔案
    • 這是來自社群的報告所指出的安全性更新。 UDF 系列 UDFXPathXXXX 可讓用戶傳遞精心製作的 XML 來存取任意檔案。 當使用者使用外部存取裝置庫時，使用者可能會略過它們並存取檔案內容。
  • [SPARK-23934][SQL]新增map_from_entries函式
  • [SPARK-23912][SQL]新增array_distinct
  • [SPARK-24574][SQL] array_contains、array_position、array_remove和element_at函式會處理數據行類型

維護更新

請參閱 Databricks Runtime 4.3 維護更新。

系統環境

  • 操作系統：Ubuntu 16.04.4 LTS
  • Java：1.8.0_162
  • Scala：2.11.8
  • Python：適用於 Python 2 叢集的 2.7.12 和 Python 3 叢集的 3.5.2。
  • R：R 3.4.4 版 （2018-03-15）
  • GPU 叢集：已安裝下列 NVIDIA GPU 連結庫：
    • 特斯拉司機 375.66
    • CUDA 9.0
    • cuDNN 7.0

已安裝的 Python 程式庫

圖書館 版本 圖書館 版本 圖書館 版本
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
波托 2.42.0 boto3 1.4.1 botocore（AWS的Python程式庫） 1.4.70
brewer2mpl 1.4.1 證書 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
密碼編譯 1.5 騎車者 0.10.0 Cython 0.24.1
裝飾器 4.0.10 docutils (文件處理工具) 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 期貨 3.2.0 ggplot 0.6.8
html5lib 0.999 IDNA 2.1 IP地址 1.0.16
ipython 2.2.0 ipython-genutils（IPython 工具程式庫） 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
Numba（Python效能提升函式庫） 0.28.1 numpy（數值計算套件） 1.11.1 openpyxl（一個用於處理Excel的Python庫） 2.3.2
熊貓 0.19.2 pathlib2 2.1.0 替罪羊 0.4.1
pexpect (一個用於程序自動化和測試的軟體庫) 4.0.1 皮克爾共享 (Pickleshare) 0.7.4 枕頭 3.3.1
pip（Python 軟體包管理工具） 10.0.1 層 3.9 prompt-toolkit (提示工具組) 1.0.7
psycopg2 2.6.2 pty進程 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser（Python 的 C 語法分析器） 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing（Python 解析庫） 2.2.0 pypng 0.0.18 Python（程式語言） 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz（Python 的時區計算函式庫） 2016年6月1日
請求 2.11.1 s3transfer 0.1.9 scikit-learn（機器學習套件） 0.18.1
scipy科學計算庫 0.18.1 沖刷 0.32 seaborn（統計數據可視化庫） 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1.0
singledispatch (單分派) 3.4.0.3 六 1.10.0 statsmodels (統計模型庫) 0.6.1
龍捲風 5.0.2 特性 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth（字符寬度函數） 0.1.7 輪子 0.31.1
wsgiref 0.1.2

已安裝的 R 函式庫

圖書館 版本 圖書館 版本 圖書館 版本
abind 1.4-5 assertthat (一個用於斷言測試的函數庫) 0.2.0 回補 1.1.2
基礎 3.4.4 BH 1.66.0-1 賓德 0.1.1
bindrcpp 0.2.2 位元 1.1-12 64位元 0.9-7
位元運算 1.0-6 塊狀物 1.1.1 靴子 1.3-20
泡茶 1.0-6 掃帚 0.4.4 汽車 3.0-0
汽車數據 3.0-1 脫字符 6.0-79 cellranger (細胞測序工具) 1.1.0
時序 (chron) 2.3-52 課程 7.3-14 cli（命令列介面） 1.0.0
叢集 2.0.7-1 codetools 0.2-15 色彩空間 1.3-2
通用標記 1.4 編譯器 3.4.4 蠟筆 1.3.4
curl (Unix指令) 3.2 顱內靜脈竇血栓形成 (CVST) 0.2-1 資料表 (data.table) 1.10.4-3
資料集 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1.0-8 描述 1.1.1 devtools 1.13.5
二色視者 2.0-0 摘要 / 消化 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr資料處理套件 0.7.4 DRR 0.0.3
尚未提供所需背景詳情來翻譯"forcats"，如果是專有名詞或特定術語，可以保留原文。 0.3.0 foreach 1.4.4 外國 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 膠水 1.2.0 Gower 0.1.2
圖形 3.4.4 grDevices 3.4.4 格子 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o（水） 3.16.0.2
避風港 1.1.1 如果 "hms" 是一個專有名詞、縮寫或具有特殊意涵的術語，則需要確保對其進行適當的翻譯或說明。 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 艾普瑞德 0.9-6
迭代器 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 標籤 0.3 格子 0.20-35
熔岩 1.6.1 lazyeval 0.2.1 更小的 0.3.3
lme4 1.1-17 「lubridate」 1.7.3 magrittr 1.5
地圖專案 1.2.6 地圖 3.3.0 maptools 0.9-2
質量 7.3-50 矩陣 1.2-14 MatrixModels 0.4-1
記憶化 1.1.0 方法 3.4.4 mgcv 1.8-24
默劇 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 蒙塞爾 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv (數值導數) 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
平行 3.4.4 pbkrtest 0.4-7 支柱 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr (普勒格) 0.2.0
plyr播放器（plyr Player） 1.8.4 讚美 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 原型 1.0.0
心理 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 隨機森林 (randomForest) 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 閱讀器 1.1.1 readxl（讀取Excel檔案） 1.0.0
食譜 0.1.2 重賽 1.0.1 reshape2 1.4.3
里約 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart（R語言中的一個統計計算和機器學習模組） 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 秤 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.1 疏鬆M 1.77
空間 7.3-11 樣條 3.4.4 sqldf 0.4-11
SQUAREM 2017年10月1日 statmod 1.4.30 統計數據 3.4.4
統計學4 3.4.4 字串處理工具包 (stringi) 1.1.7 "stringr" 是 R 語言中的一個處理字串操作的函式庫。 1.3.0
生存 2.42-3 tcltk（程式設計工具包） 3.4.4 教學演示 2.10
testthat(測試工具) 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 時間日期 3043.102 工具 3.4.4
utf8 1.1.3 實用工具 3.4.4 viridisLite 0.3.0
觸鬚 0.3-2 withr代碼庫 (assuming withr refers to a specific codebase or library, use context to clarify) 2.1.2 xml2 1.2.0

已安裝的 Java 和 Scala 連結庫 （Scala 2.11 叢集版本）

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-用戶端 1.7.3
com.amazonaws aws-java-sdk-自動擴展 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront (雲端前端 Java SDK) 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch（雲端搜索） 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy（用於部署的 Java 軟體開發工具包） 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws AWS Java SDK 配置 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect (AWS Java 軟體開發套件 - 直接連接) 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws AWS Java SDK for ElastiCache (AWS Java SDK 用於 ElastiCache) 1.11.313
com.amazonaws AWS Java SDK Elasticbeanstalk（AWS Java 軟體開發套件，Elasticbeanstalk） 1.11.313
com.amazonaws AWS Java SDK 彈性負載平衡 (aws-java-sdk-elasticloadbalancing) 1.11.313
com.amazonaws AWS Java SDK 彈性轉碼器 (aws-java-sdk-elastictranscoder) 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier (AWS Java 軟體開發工具包 - Glacier) 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws AWS Java SDK 匯入匯出 1.11.313
com.amazonaws aws-java-sdk-kinesis（AWS Java 開發工具包-Kinesis） 1.11.313
com.amazonaws aws-java-sdk-kms (AWS Java 軟體開發工具包 - KMS) 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs (Amazon Java SDK 日誌) 1.11.313
com.amazonaws aws-java-sdk-machinelearning（AWS Java SDK 機器學習） 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift (Amazon Web Services 的 Redshift Java 軟體開發工具包) 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws AWS Java SDK 的 SQS 模組 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway (AWS Java SDK 儲存閘道) 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws AWS Java SDK 支援 (aws-java-sdk-support) 1.11.313
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces（AWS Java SDK 工作空間） 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 (無形_2.11) 2.3.2
com.clearspring.analytics 流媒體 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware 克里奧－色調 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.0.0
com.fasterxml.jackson.core Jackson 註解 2.6.7
com.fasterxml.jackson.core jackson-core (資料處理核心) 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor (一個用於CBOR數據格式的Java庫) 2.6.7
com.fasterxml.jackson.datatype 杰克森數據類型-Joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer（Jackson 模組的 Paranamer） 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib 原生引用-java 1.1
com.github.fommil.netlib native_ref-java-原生代碼 1.1
com.github.fommil.netlib 原生系統-Java 1.1
com.github.fommil.netlib native_system-Java原生構件 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.版本
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure Azure Data Lake Store SDK (Azure 資料湖存儲 SDK) 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf（壓縮算法） 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer (參數命名器) 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle（這是一個用於處理Parquet格式數據的Hadoop工具包） 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe 配置 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers（統一解析器的名稱） 2.5.9
com.vlkan FlatBuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec（公共編碼庫） commons-codec（公共編碼庫） 1.10
公共集合 (commons-collections) 公共集合 (commons-collections) 3.2.2
commons-configuration（公共配置庫） commons-configuration（公共配置庫） 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging (共通日誌記錄) commons-logging (共通日誌記錄) 1.1.3
commons-net commons-net 2.2
commons-pool (公共資源庫) commons-pool (公共資源庫) 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift 空氣壓縮機 0.8
io.dropwizard.metrics metrics-core（指標核心） 3.1.5
io.dropwizard.metrics 指標系統-Ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics 指標-健康檢查 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics 指標-JSON 3.1.5
io.dropwizard.metrics 指標-JVM 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlet 3.1.5
io.netty 網蒂 3.9.9.Final
io.netty netty-all（Netty 完整版本） 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_通用 0.0.16
io.prometheus simpleclient_dropwizard (簡易客戶端_dropwizard) 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx 收藏家 0.7
javax.activation 啟用 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
Javolution Javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras（擴展功能） 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties (基底屬性) 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv (開源 CSV 解析庫) 2.3
net.sf.supercsv super-csv 2.2.0
網絡.雪花 Snowflake-JDBC 3.6.3
網絡.雪花 spark-snowflake_2.11 2.4.1
net.sourceforge.f2j arpack_combined_all (程式的函數名稱，通常保持不翻譯) 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime (ANTLR 4 執行時) 4.7
org.antlr 字串模板 3.2.1
org.apache.ant 螞蟻 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant 螞蟻發射器 1.9.2
org.apache.arrow 箭頭格式 0.8.0
org.apache.arrow 箭頭記憶 0.8.0
org.apache.arrow 箭頭向量 0.8.0
org.apache.avro Avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc 測試 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-孵化中
org.apache.calcite calcite-core (方解石核心) 1.2.0-孵化中
org.apache.calcite calcite-linq4j 1.2.0-孵化中
org.apache.commons commons-compress（通用壓縮工具） 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator 策展人-客戶 2.7.1
org.apache.curator curator-framework (策展人框架) 2.7.1
org.apache.curator 策展人食譜 2.7.1
org.apache.derby 德比 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations (Hadoop註釋) 2.7.3
org.apache.hadoop Hadoop 認證 2.7.3
org.apache.hadoop hadoop用戶端 2.7.3
org.apache.hadoop Hadoop 通用組件 2.7.3
org.apache.hadoop hadoop-hdfs (Hadoop 分布式文件系统) 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app（Hadoop MapReduce 用戶端應用程式） 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common（Hadoop 的 MapReduce 用戶端通用模組） 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core（Hadoop MapReduce 客戶端核心） 2.7.3
org.apache.hadoop Hadoop MapReduce 客戶端 工作客戶端 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle（Hadoop MapReduce 客戶端洗牌） 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop Hadoop YARN 客戶端 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-孵化中
org.apache.httpcomponents HttpClient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy 常春藤 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet 帕魯克特格式欄（parquet-column） 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet parquet 編碼 1.8.3-databricks2
org.apache.parquet Parquet 格式 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper 動物園飼育員 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson 傑克遜映射器-ASL 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino 公共編譯器 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core (數據核心) 3.2.10
org.datanucleus 資料核心-RDBMS 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation (持續功能) 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy (代理伺服器) 9.3.20.v20170531
org.eclipse.jetty 噴射碼頭安全性 9.3.20.v20170531
org.eclipse.jetty Jetty伺服器 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty 傑堤工具 (jetty-util) 9.3.20.v20170531
org.eclipse.jetty jetty-webapp（Jetty 網頁應用程式） 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2 定位器 2.4.0-b34
org.glassfish.hk2 hk2實用程式 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator (OSGi 資源定位器) 1.0.1
org.glassfish.hk2.external aopalliance重新打包 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged 澤西-瓜瓦 2.22.2
org.glassfish.jersey.containers jersey-container-servlet (Jersey 容器 servlet) 2.22.2
org.glassfish.jersey.containers jersey 容器 servlet 核心模块 2.22.2
org.glassfish.jersey.core jersey-客戶端 2.22.2
org.glassfish.jersey.core 球衣-通用 2.22.2
org.glassfish.jersey.core Jersey伺服器 2.22.2
org.glassfish.jersey.media jersey-media-jaxb（澤西媒體JAXB） 2.22.2
org.hibernate hibernate-validator（驗證器） 5.1.1.最終版
org.iq80.snappy 迅速 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-日誌記錄 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client（MariaDB Java 客戶端） 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt 測試介面 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline（資料查詢工具） 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore（Hive 資料存儲） 1.2.1.spark2
org.spark-project.spark 未使用 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.版本
org.springframework 春季測試 4.1.4.版本
org.tukaani xz 1.0
org.typelevel 機械師_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml SnakeYAML 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52