共用方式為


Databricks Runtime 10.4 LTS

下列版本資訊提供由 Apache Spark 3.2.1 支援的 Databricks Runtime 10.4 LTS Runtime 10.4 LTS Photon 的相關信息。 Photon 處於 公開預覽狀態。 Databricks 於 2022 年 3 月發行此版本。

注意

LTS 表示此版本受到長期支援。 請參閱 Databricks Runtime LTS 版本生命週期 (英文)。

提示

若要查看已達到終止支援 (EoS) 之 Databricks Runtime 版本的版本資訊,請參閱終止支援 Databricks Runtime 版本資訊。 EoS Databricks Runtime 版本已淘汰,且可能未更新。

新功能和改進

Iceberg to Delta 資料表轉換器 (公開預覽)

轉換為 Delta 現在支援將 Iceberg 資料表轉換為就地 Delta 數據表。 它會使用 Iceberg 原生元數據和檔案指令清單來執行此工作。 請參閱 轉換成 Delta Lake

自動壓縮復原現在預設會啟用

此版本可改善 Delta Lake 寫入的行為,以在同時進行自動壓縮交易時認可。 在此版本之前,這類寫入通常會因為數據表的並行修改而結束。 即使有並行自動壓縮交易,寫入現在仍會成功。

低隨機合併現在預設為啟用

命令 MERGE INTO 現在一律會使用新的低隨機實作。 此行為可大幅改善大部分工作負載的 MERGE INTO 命令效能。 先前用來啟用這項功能的組態設定已移除。 請參閱 Azure Databricks 上的低隨機合併。

插入順序標記現在會保留 s UPDATEDELETEs

UPDATEDELETE 命令現在會針對更新或刪除的檔案保留現有的叢集資訊(包括 Z 順序)。 此行為是最佳方法,而且當檔案太小時,此方法不適用於在更新或刪除期間合併這些檔案的情況。

HikariCP 現在是預設的Hive中繼存放區聯機集區

相較於先前的 BoneCP 連線集區實作,HikariCP 為 Hive 中繼存放區存取帶來了許多穩定性改善,同時維持較少的連線。 根據預設,HikariCP 會在任何使用 Databricks Hive 中繼存放區的 Databricks 運行時間叢集上啟用(例如,未設定時 spark.sql.hive.metastore.jars )。 您也可以藉由設定 spark.databricks.hive.metastore.client.pool.type,明確地切換至其他連接集區實作,例如 BoneCP。

Azure Synapse 連接器現在可設定允許的拒絕數據列數目上限

Azure Synapse 連接器現在支援 maxErrors DataFrame 選項。 此更新可讓您在取消載入作業之前,設定讀取和寫入期間允許的拒絕資料列數目上限。 系統會忽略所有拒絕的數據列。 例如,如果十分之二的記錄有錯誤,則只會處理八筆記錄。

此選項會直接對應至 REJECT_VALUE PolyBase 中 語句的選項 CREATE EXTERNAL TABLE ,以及 MAXERRORS Azure Synapse 連接器 COPY 命令的選項。

根據預設, maxErrors 值會設定為 0:所有記錄都必須是有效的。

異步狀態檢查點現已正式推出

您可以使用大型狀態更新,在具狀態串流查詢中啟用異步狀態檢查點。 這可減少端對端微批次延遲。 此功能現已正式推出。 請參閱 具狀態查詢的異步狀態檢查點。

現在可以為 SQL 使用者定義函式指定參數預設值

當您建立 SQL 使用者定義函數 (SQL UDF) 時,您現在可以指定 SQL UDF 參數的預設表示式。 然後,您可以呼叫 SQL UDF,而不提供這些參數的自變數,Databricks 會填入這些參數的預設值。 請參閱 CREATE FUNCTION (SQL 和 Python)

新的Spark SQL 函式

此版本現在提供下列 Spark SQL 函式:

  • try_multiply:傳回multiplier乘以 multiplicand、或NULL溢位時。
  • try_subtract:從 傳NULL回 或 溢expr1位時減expr2法。

高併行叢集的新工作目錄

在已啟用數據表訪問控制或認證傳遞的高並行叢集上,筆記本的目前工作目錄現在是使用者的主目錄。 先前的工作目錄為 /databricks/driver

差異數據表中的識別數據行支援現已正式推出

Delta Lake 現在支持識別數據行。 當您寫入定義識別數據行的 Delta 資料表,而且您未提供該數據行的值時,Delta 現在會自動指派唯一且以統計方式增加或減少值。 請參閱 CREATE TABLE [USING]

連結庫升級

  • 升級的 Python 連結庫:
    • 從 3.4.2 到 3.6.0 的 filelock
  • 升級的 R 連結庫:
    • 釀造從 1.0-6 到 1.0-7
    • 從 0.7.11 到 0.7.12 的掃把
    • cli 從 3.1.0 到 3.2.0
    • 從 0.7.1 到 0.8.0 的剪輯器
    • 從 2.0-2 到 2.0-3 的 colorspace
    • 從 1.4.2 到 1.5.0 的 crayon
    • dplyr 從 1.0.7 到 1.0.8
    • dtplyr 從 1.2.0 到 1.2.1
    • 從 0.14 評估為 0.15
    • foreach 從 1.5.1 到 1.5.2
    • 未來從 1.23.0 到 1.24.0
    • 從 0.1.1 到 0.1.2 的泛型
    • 從 1.6.0 到 1.6.1 的黏附
    • 從 0.2.2 到 1.0.0 的 gower
    • 從 1.0.13 到 1.0.14 的反覆運算器
    • jsonlite 從 1.7.3 到 1.8.0
    • magrittr 從 2.0.1 到 2.0.2
    • mgcv 從 1.8-38 到 1.8-39
    • 從1.6.4到1.7.0的柱子
    • randomForest 從 4.6-14 到 4.7-1
    • 自 2.1.1 到 2.1.2 的 readr
    • 食譜從 0.1.17 到 0.2.0
    • rlang 從 0.4.12 到 1.0.1
    • 從 4.1-15 到 4.1.16 的 rpart
    • 從 2.2.9 到 2.2.10 的 RSQLite
    • sparklyr 從 1.7.4 到 1.7.5
    • 測試從 3.1.1 到 3.1.2
    • 從 1.1.4 到 1.2.0
    • 從 1.1.1 到 1.1.2 的 tidyselect
    • tinytex from 0.36 to 0.37
    • yaml 從 2.2.1 到 2.3.5
  • 升級的 Java 程式庫:
    • io.delta.delta-sharing-spark_2.12,從 0.3.0 到 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS 包含 Apache Spark 3.2.1。 此版本包含 Databricks Runtime 10.3 (EoS) 中包含的所有 Spark 修正和改善,以及下列對 Spark 進行的其他錯誤修正和改進:

  • [SPARK-38322] [SQL]支援查詢階段以格式化說明模式顯示運行時間統計數據
  • [SPARK-38162] [SQL]在一般和 AQE 優化器中優化一個數據列計劃
  • [SPARK-38229] [SQL]剖析器時,不應該使用 visitReplaceTable 檢查 temp/external/ifNotExists
  • [SPARK-34183] [SS]DataSource V2:在微批次執行中的必要散發和排序
  • [SPARK-37932] [SQL]在套用 DeduplicateRelations 之前,請等候解析遺漏的屬性
  • [SPARK-37904] [SQL]改善優化器規則中的 RebalancePartitions
  • [SPARK-38236] [SQL][3.2][3.1] 在 create/alter 數據表中,檢查數據表位置是否為絕對的 “new Path(locationUri)。isAbsolute”。
  • [SPARK-38035] [SQL]新增適用於內建 JDBC 方言的 Docker 測試
  • [SPARK-38042] [SQL]確定 ScalaReflection.dataTypeFor 適用於別名數位類型
  • [SPARK-38273] [SQL] decodeUnsafeRows'反覆運算器應該關閉基礎輸入數據流
  • [SPARK-38311] [SQL]修正 ANSI 模式下的 DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite
  • [SPARK-38305] [CORE]在呼叫 FileUtil 方法之前,請明確檢查來源是否存在於 unpack() 中
  • [SPARK-38275] [SS]包含 writeBatch 的記憶體使用量,作為 RocksDB 狀態存放區的總記憶體使用量
  • [SPARK-38132] [SQL]拿掉 NotPropagation 規則
  • [SPARK-38286] [SQL]Union 的 maxRows 和 maxRowsPerPartition 可能會溢位
  • [SPARK-38306] [SQL]修正 ANSI 模式下的 ExplainSuite、StatisticsCollectionSuite 和 StringFunctionsSuite
  • [SPARK-38281] [SQL][測試]修正 ANSI 模式下的 AnalysisSuite
  • [SPARK-38307] [SQL][測試]修正 ANSI 模式下的 ExpressionTypeCheckingSuite 和 CollectionExpressionsSuite
  • [SPARK-38300][SQL]用來ByteStreams.toByteArray簡化fileToStringresourceToBytes和在 catalyst.util 中
  • [SPARK-38304] [SQL]如果 ANSI 模式下的 index 為 null,Elt() 應該傳回 null
  • [SPARK-38271] PoissonSampler 可能會輸出比 MaxRows 更多的數據列
  • [SPARK-38297] [PYTHON]在 POS 中明確轉換傳回值DataFrame.to_numpy
  • [SPARK-38295] [SQL][測試]修正 ANSI 模式下的 ArithmeticExpressionSuite
  • [SPARK-38290] [SQL]修正 ANSI 模式下的 JsonSuite 和 ParquetIOSuite
  • [SPARK-38299] [SQL]清除已被取代的使用方式 StringBuilder.newBuilder
  • [SPARK-38060] [SQL]在 JSON 讀取器中剖析引號 NaN 和 Infinity 值時,尊重 allowNonNumericNumbers
  • [SPARK-38276] [SQL]在 ANSI 模式下新增已核准的 TPCDS 方案
  • [SPARK-38206] [SS]在串流串流聯結上比較聯結索引鍵的數據類型時忽略 Null 性
  • [SPARK-37290] [SQL] - 非決定性函式的指數規劃時間
  • [SPARK-38232] [SQL]說明格式化不會在 AQE 的查詢階段下收集子查詢
  • [SPARK-38283] [SQL]在 ANSI 模式下測試無效的日期時間剖析
  • [SPARK-38140] [SQL]時間戳類型的 Desc 數據行統計資料 (min, max) 與時區差異的值不一致
  • [SPARK-38227] [SQL][SS]在時間範圍/工作階段視窗中套用巢狀資料行的嚴格 Null 性
  • [SPARK-38221] [SQL]在將複雜群組表達式移出匯總節點時,急切地逐一查看 groupingExpressions
  • [SPARK-38216] [SQL]如果建立Hive資料表時所有數據行都分割數據行,則提早失敗
  • [SPARK-38214] [SS]當 windowDuration 是 slideDuration 的倍數時,不需要篩選視窗
  • [SPARK-38182] [SQL]修正如果推送篩選不包含任何參考,則修正 NoSuchElementException
  • [SPARK-38159] [SQL]為隱藏的檔案元數據新增 FileSourceMetadataAttribute
  • [SPARK-38123][SQL]統一使用DataTypetargetTypeQueryExecutionErrors#castingCauseOverflowError
  • [SPARK-38118] [SQL]HAVING 子句中的 Func(錯誤數據類型)應該擲回數據不符錯誤
  • [SPARK-35173] [SQL][PYTHON]新增多個數據行以新增支援
  • [SPARK-38177] [SQL]修正優化器中的錯誤轉換Expression
  • [SPARK-38228] [SQL]在 ANSI 模式下發生錯誤時,舊版存放區指派不應該失敗
  • [SPARK-38173] [SQL]當 quotedRegexColumnNa...
  • [SPARK-38130] [SQL]拿掉array_sort可排序的項目檢查
  • [SPARK-38199][SQL]刪除定義中指定的未使用dataTypeIntervalColumnAccessor
  • [SPARK-38203] [SQL]修正 ANSI 模式下的 SQLInsertTestSuite 和 SchemaPruningSuite
  • [SPARK-38163][SQL]在建構函式產生器時保留的錯誤類別SparkThrowable
  • [SPARK-38157] [SQL]在測試 timestampNTZ/timestamp.sql 和 SQLQueryTestSuite 中明確將 ANSI 設定為 false,以符合預期的黃金結果
  • [SPARK-38069] [SQL][SS]改善時間範圍計算
  • [SPARK-38164] [SQL]新的 SQL 函式:try_subtract和try_multiply
  • [SPARK-38176] [SQL]ANSI 模式:允許隱含地將 String 轉換成其他簡單類型
  • [SPARK-37498] [PYTHON]最後新增 test_reuse_worker_of_parallelize_range
  • [SPARK-38198] [SQL][3.2] 修正 QueryExecution.debug#toFile 在 explainMode 為 CodegenMode 時,使用傳入 maxFields 的
  • [SPARK-38131] [SQL]只在使用者面向的例外狀況中使用錯誤類別
  • [SPARK-37652] [SQL]新增測試,以透過聯集優化扭曲聯結
  • [SPARK-37585] [SQL]使用 TaskCompletionListener 更新 DataSourceRDD 中的 InputMetric
  • [SPARK-38113] [SQL]在樞紐分析的執行錯誤中使用錯誤類別
  • [SPARK-38178] [SS]更正邏輯以測量 RocksDB 的記憶體使用量
  • [SPARK-37969] [SQL]HiveFileFormat 應該檢查功能變數名稱
  • [SPARK-37652] 還原 “[SQL]新增測試,以透過聯集優化扭曲聯結”
  • [SPARK-38124] [SQL][SS]引進 StatefulOpClusteredDistribution 並套用至串流聯結
  • [SPARK-38030] [SQL]標準化不應該移除 AttributeReference dataType 的 Null 性
  • [SPARK-37907] [SQL]InvokeLike 支援 ConstantFolding
  • [SPARK-37891] [CORE]新增 scalastyle 檢查以停用 scala.concurrent.ExecutionContext.Implicits.global
  • [SPARK-38150] [SQL]更新 RelationConversions 的批注
  • [SPARK-37943] [SQL]在群組的編譯錯誤中使用錯誤類別
  • [SPARK-37652] [SQL]新增測試,以透過聯集優化扭曲聯結
  • [SPARK-38056] [Web UI][3.2] 使用 LevelDB 時,修正結構化串流無法在歷程記錄伺服器中運作的問題
  • [SPARK-38144] [CORE]拿掉未使用的 spark.storage.safetyFraction 組態
  • [SPARK-38120] [SQL]修正HiveExternalCatalog.listPartitions時,分割區數據行名稱是大寫和分割區值中的點
  • [SPARK-38122] [Docs]更新 DocSearch 的應用程式金鑰
  • [SPARK-37479] [SQL]移轉DROP NAMESPACE以預設使用 V2 命令
  • [SPARK-35703] [SQL]放寬貯體聯結的條件約束,並移除HashClusteredDistribution
  • [SPARK-37983] [SQL]從排序匯總中退出 agg 建置時間計量
  • [SPARK-37915] [SQL]如果聯集之間有專案,請合併聯集
  • [SPARK-38105] [SQL]在剖析聯結的錯誤中使用錯誤類別
  • [SPARK-38073] [PYTHON]更新 atexit 函式以避免晚期系結的問題
  • [SPARK-37941] [SQL]在轉換的編譯錯誤中使用錯誤類別
  • [SPARK-37937] [SQL]在剖析橫向聯結的錯誤中使用錯誤類別
  • [SPARK-38100] [SQL]在中移除未使用的私人方法 Decimal
  • [SPARK-37987] [SS]修正重新啟動查詢時不穩定的測試 StreamingAggregationSuite.changing 狀態架構
  • [SPARK-38003] [SQL]LookupFunctions 規則應該只查閱純量函式登錄中的函式
  • [SPARK-38075] [SQL]修正 hasNext 中的 HiveScriptTransformationExec進程輸出反覆運算器
  • [SPARK-37965] [SQL]在 Orc 中讀取/寫入現有數據時,移除檢查功能變數名稱
  • [SPARK-37922] [SQL]如果我們可以安全地向上轉型兩個轉換,請結合成一個轉換(適用於 dbr-branch-10.x)
  • [SPARK-37675] [SPARK-37793]在洗牌完成之後,防止覆寫推送隨機合併的檔案
  • [SPARK-38011] [SQL]拿掉 ParquetFileFormat 中重複且無用的組態
  • [SPARK-37929] [SQL]支援 API 的 dropNamespace 串聯模式
  • [SPARK-37931] [SQL]如有需要,請引述數據行名稱
  • [SPARK-37990] [SQL]支援 RowToColumnConverter 中的 TimestampNTZ
  • [SPARK-38001] [SQL]將與不支援功能相關的錯誤類別取代為 UNSUPPORTED_FEATURE
  • [SPARK-37839] [SQL]DS V2 支援部分匯總下推 AVG
  • [SPARK-37878] [SQL]移轉 SHOW CREATE TABLE 以預設使用 v2 命令
  • [SPARK-37731] [SQL]分析器中的重構和清除函式查閱
  • [SPARK-37979] [SQL]切換至 AES 函式中的更多泛型錯誤類別
  • [SPARK-37867] [SQL]編譯內建 JDBC 方言的聚合函數
  • [SPARK-38028] [SQL]從 ArrowColumnVector 公開箭號向量
  • [SPARK-30062] [SQL]將 IMMEDIATE 語句新增至 DB2 方言截斷實作
  • [SPARK-36649] [SQL]支援 Trigger.AvailableNow Kafka 數據源
  • [SPARK-38018] [SQL]修正 ColumnVectorUtils.populate 以正確處理 CalendarIntervalType
  • [SPARK-38023][CORE] ExecutorMonitor.onExecutorRemoved應該以已完成的身分處理ExecutorDecommission
  • [SPARK-38019] [CORE]確定 ExecutorMonitor.timedOutExecutors
  • [SPARK-37957] [SQL]正確傳遞 V2 純量函式的決定性旗標
  • [SPARK-37985] [SQL]修正SPARK-37578的浮點測試
  • [SPARK-37986] [SQL]支援以基度排序的 TimestampNTZ
  • [SPARK-37967] [SQL]Literal.create 支援 ObjectType
  • [SPARK-37827] [SQL]將一些內建數據表屬性放入 V1Table.propertie 以適應 V2 命令
  • [SPARK-37963] [SQL]在 InMemoryCatalog 中重新命名數據表之後,需要更新資料分割 URI
  • [SPARK-35442] [SQL]支援透過匯總/等位傳播空關聯
  • [SPARK-37933] [SQL]變更 V2ScanRelationPushDown 下推規則的周遊方法
  • [SPARK-37917] [SQL]如果聯結條件是空的,則左半/反聯結右側的下推限制 1
  • [SPARK-37959] [ML] 修正 KMeans 和 BiKMeans 中檢查規範的 UT
  • [SPARK-37906] [SQL] spark-sql 不應該將最後一個批注傳遞至後端
  • [SPARK-37627] [SQL]在 BucketTransform 中新增已排序的數據行

維護更新

請參閱 Databricks Runtime 10.4 LTS 維護更新

系統環境

  • 操作系統:Ubuntu 20.04.4 LTS
  • Java:Zulu 8.56.0.21-CA-linux64
  • Scala:2.12.14
  • Python:3.8.10
  • R:4.1.2
  • Delta Lake:1.1.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 筆記本 6.3.0 numpy 1.20.1
packaging 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

已安裝的 R 程式庫

R 連結庫會從 2022-02-24 Microsoft CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
叢集 2.1.2 codetools 0.2-18 colorspace 2.0-3
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.5.0 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 遞減 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
省略符號 0.3.2 evaluate 0.15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 泛型 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.37 labeling 0.4.2
later 1.3.0 lattice 0.20-45 Lava 1.6.10
生命週期 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-55
矩陣 1.4-0 memoise 2.0.1 方法 4.1.2
mgcv 1.8-39 mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 進度 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.0
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.3.1 whisker 0.4 withr 2.4.3
xfun 0.29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.咖啡因 caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 分析工具 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.版
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlet 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents HttpClient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structure 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper ZooKeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap 墊片 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用的 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel 巨集-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1