共用方式為


Databricks Runtime 10.1 (不支援)

下列版本資訊提供由 Apache Spark 3.2.0 提供的 Databricks Runtime 10.1 和 Databricks Runtime 10.1 Photon 的相關信息。 Databricks 於 2021 年 11 月發行了這些映像。 Photon 處於 公開預覽狀態

新功能和改善

壓縮小型檔案的新 Delta 數據表設定

Delta 數據表屬性delta.autoOptimize.autoCompact現在除了 和 的現有值之外,還接受 和 legacyfalse的新值autotrue。 當設定為 auto (建議)時,自動壓縮會使用較佳的預設值,例如將 32 MB 設定為目標檔案大小(雖然預設行為在未來可能會變更)。 當設定為 legacytrue時,自動壓縮會使用 128 MB 作為目標檔案大小。

您可以 spark.databricks.delta.autoCompact.enabled 設定為 autolegacytrue 啟用所有 Delta 資料表的自動壓縮,而不是設定個別資料表的這個屬性。 此設定優先於目前工作階段期間的相關資料表屬性。

您可以使用組態來控制 spark.databricks.delta.autoCompact.maxFileSize 自動壓縮的目標檔案大小。

如需自動壓縮的詳細資訊,請參閱 Azure Databricks 上 Delta Lake 的自動壓縮。

Parquet 查詢掃描的新數據列群組計量

使用 Parquet 掃描的查詢現在會在 Spark UI 中呈現數據列群組計量。 這些資料列群組計量如下:

  • parquet 數據列群組的總數
  • 讀取的 parquet 數據列群組數目

Delta 來源串流查詢的 Trigger.AvailableNow

這項變更支援 Scala 中差異來源串流查詢的新觸發程式類型: Trigger.AvailableNow。 就像 Trigger.Once,它會處理所有可用的數據,然後停止查詢。 不過, Trigger.AvailableNow 提供更佳的延展性,因為數據可以在多個批次中處理,而不是一個批次。 這項變更不會引進新的介面;它會實作現有的Spark API。 此觸發程式也支援 Delta 已支援作為來源的所有速率限制選項。

範例:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

請參閱什麼是自動載入器?中的涵蓋範圍Trigger.AvailableNow

Auto Loader 的 Trigger.AvailableNow

Trigger.AvailableNow 是類似於 Trigger.Once的新串流觸發程式模式。 Trigger.Once 處理所有可用的數據,然後停止查詢。 Trigger.AvailableNow 有更好的延展性,因為數據可以在多個批次中處理,而不是一個。 自動載入器現在同時支援 Trigger.AvailableNow Scala 的目錄清單和檔案通知模式。 請參閱什麼是自動載入器?中的涵蓋範圍Trigger.AvailableNow

透過 DataFrame 選項傳遞的 Hadoop 文件系統組態差異支援

與 Parquet 類似,Delta 現在支援使用 或 讀取或寫入數據表時,從 DataFrameReaderDataFrameWriter 選項讀取 Hadoop 檔案系統組態DataFrameWriter.save(path)DataFrameReader.load(path) 請參閱 設定差異記憶體認證

具狀態串流作業現在支援異步狀態檢查點處理 (公開預覽)

異步狀態檢查點檢查是一項新功能,可降低具有大型狀態更新之具狀態串流作業的端對端微批次延遲。 請參閱 具狀態查詢的異步狀態檢查點。

具有認證傳遞的 Sparklyr

您現在可以使用sparklyr API,透過認證傳遞來回讀取和寫入雲端記憶體的數據。 此功能僅限於具有單一使用者存取的標準叢集。 請參閱使用 Microsoft Entra ID(先前稱為 Azure Active Directory)認證傳遞(舊版)存取 Azure Data Lake 儲存體。

Databricks 公用程式數據摘要精確度控制 (公開預覽)

用於控制摘要結果精確度的新 precise 參數 dbutils.data.summarize 。 當 precise 設定為 false (預設值),摘要會傳回相異計數、百分位數和頻繁項目計數的近似結果。 當 設定為 true 時 precise ,摘要現在會以完全相同的相異計數和頻繁的專案計數來計算,並具有更精確的百分位數估計值。 請參閱 summarize 命令 (dbutils.data.summarize)

Azure Databricks Notebook 現在可以與 IPython 核心搭配使用

您現在可以設定 Azure Databricks 叢集,以使用 IPython 核心來執行 Python 程式代碼。 在 Azure Databricks 上使用 IPython 核心可新增 IPython 顯示和輸出工具的支援。 此外,IPython 核心會擷取筆記本所建立之子進程的 stdout 和 stderr 輸出,讓該輸出包含在筆記本的命令結果中。

如需詳細資訊,請參閱 IPython 核心

Spark SQL 中的新函式

已新增下列物件和命令,以在 Unity 目錄中使用資料 (預覽版)

已針對 Delta Sharing(預覽)新增下列命令,可讓您與組織外部的收件者共用唯讀數據:

錯誤修正

  • 已修正可能導致查詢失敗 IOException 的競爭條件,例如 No FileSystem for scheme ,或可能會導致修改 sparkContext.hadoopConfiguration 在查詢中不生效。

連結庫升級

  • 升級的 Python 連結庫:
    • filelock from 3.0.12 to 3.3.1
    • 從 1.8.1 到 1.8.2 的考拉
    • 從 5.1.0 到 5.3.0 的繪圖
  • 升級的 R 連結庫:
    • bslib 從 0.3.0 到 0.3.1
    • 從 6.0-88 到 6.0-90 的插入號
    • cpp11 從 0.3.1 到 0.4.0
    • 從 1.14.0 到 1.14.2 的 data.table
    • desc 從 1.3.0 到 1.4.0
    • diffobj 從 0.3.4 到 0.3.5
    • 摘要從 0.6.27 到 0.6.28
    • 泛型從 0.1.0 到 0.1.1
    • 從 1.1.0 到 1.1.1 的 hms
    • 從 1.34 到 1.36 的針織器
    • 從 0.20-44 到 0.20-45 的格子
    • 從 1.0.0 到 1.0.1 的生命週期
    • 從 1.7.10 到 1.8.0 的 lubridate
    • mgcv 從 1.8-37 到 1.8-38
    • mime 從 0.11 到 0.12
    • 從 1.2.2 到 1.2.3 的 pkgload
    • progressr from 0.8.0 to 0.9.0
    • 從 1.3.3 到 1.4.0 的 rcmdcheck
    • 自 2.0.1 到 2.0.2 的 readr
    • 食譜從 0.1.16 到 0.1.17
    • 從 2.4.0 到 2.4.1 的 remotes
    • rlang 從 0.4.11 到 0.4.12
    • 從 1.0.1 到 1.0.2 的rvest
    • 閃亮從 1.6.0 到 1.7.1
    • stringi 從 1.7.4 到 1.7.5
    • 測試從 3.0.4 到 3.1.0
    • 從 1.1.3 到 1.1.4
    • tinytex from 0.33 to 0.34
    • usethis from 2.0.1 to 2.1.2
    • 從 0.26 到 0.27 的 xfun
  • 升級的 Java 連結庫:
    • com.zaxxer.HikariCP,從 3.1.0 到 4.0.3

Apache Spark

Databricks Runtime 10.1 包含 Apache Spark 3.2.0。 此版本包含 Databricks Runtime 10.0 (不支援)中包含的所有 Spark 修正和改善,以及下列對 Spark 所做的其他錯誤修正和改進:

  • [SPARK-37037] [SQL]藉由統一 UTF8String 和 ByteArray 的 compareTo 函式來改善位元組陣列排序
  • [SPARK-37091] [R] 要包含 Java < 18 的 SystemRequirements
  • [SPARK-37041] [SQL]Backport HIVE-15025:HMS 的安全套接字層 (SSL) 支援
  • [SPARK-37098] [SQL]改變數據表屬性應該使快取失效
  • [SPARK-36992] [SQL]藉由統一 UTF8String 和 ByteArray 的 getPrefix 函式來改善位元組數位排序效能
  • [SPARK-37047] [SQL]新增二進位字串的 lpad 和 rpad 函式
  • [SPARK-37076] [SQL]明確實作 Scala 2.13 的 StructType.toString
  • [SPARK-37075] [SQL]將 UDAF 表達式建置從 sql/catalyst 移至 sql/core
  • [SPARK-37084] [SQL]將spark.sql.files.openCostInBytes 設定為 bytesConf
  • [SPARK-37088] [PYSPARK][SQL]工作完成接聽程式傳回之後,寫入器線程不得存取輸入
  • [SPARK-37069] [SQL]當Hive.getWithoutRegisterFns 無法使用時,正確後援
  • [SPARK-37050] [PYTHON]更新 Conda 安裝指示
  • [SPARK-37067] [SQL]使用 ZoneId.of() 來處理 DatetimeUtils 中的時區字串
  • [SPARK-35925] [SQL]支援 width-bucket 函式中的 DayTimeIntervalType
  • [SPARK-35926] [SQL]新增width_bucket的支援 YearMonthIntervalType
  • [SPARK-35973] [SQL]新增命令 SHOW CATALOGS
  • [SPARK-36922] [SQL]SIGN/SIGNUM 函式應該支援 ANSI 間隔
  • [SPARK-37078] [CORE]支援舊的 3 參數接收建構函式
  • [SPARK-37061] [SQL]使用內部類別時修正 CustomMetrics
  • [SPARK-35918] [AVRO]整合讀取/寫入的架構不相符處理,並增強錯誤訊息
  • [SPARK-36871] [SQL]將 CreateViewStatement 遷移至 v2 命令
  • [SPARK-36898] [SQL]讓隨機哈希聯結因數設定
  • [SPARK-36921] [SQL]支援 ANSI 間隔依據 DIV
  • [SPARK-36794] [SQL]建置 SEMI/ANTI 隨機哈希聯結的關聯時,忽略重複的聯結索引鍵
  • [SPARK-36867] [SQL]修正 GROUP BY 別名的錯誤訊息
  • [SPARK-36914] [SQL]在 JDBC 中實作 dropIndex 和 listIndexes (MySQL 方言)
  • [SPARK-35531] [SQL]呼叫 getPartitions 時,直接將 Hive 數據表傳遞至 HiveClient,以避免從 HiveTable - CatalogTable -> -> HiveTable 不必要的轉換
  • [SPARK-36718] [SQL]只有在我們不複製昂貴的表達式時,才會折疊專案
  • [SPARK-37046] [SQL]: 改變檢視不會保留資料行大小寫
  • [SPARK-36978] [SQL]InferConstraints 規則應該在存取的巢狀字段上建立 IsNotNull 條件約束,而不是根巢狀類型
  • [SPARK-37052] [CORE]當 是 sql Shell 時,Spark 應該只會將 –verbose 自變數傳遞至 main 類別
  • [SPARK-37017] [SQL]減少同步處理的範圍,以防止潛在的死結
  • [SPARK-37032] [SQL]修正 SQL 參考頁面中中斷的 SQL 語法連結
  • [SPARK-36905] [SQL]修正讀取沒有明確數據行名稱的Hive檢視
  • [SPARK-36678] 移轉 SHOW TABLES 以預設使用 V2 命令
  • [SPARK-36943] [SQL]改善遺漏數據行錯誤訊息的可讀性
  • [SPARK-36980] [SQL]使用 CTE 插入支持查詢
  • [SPARK-37001] [SQL]默認停用兩個層級的對應,以進行最終哈希匯總
  • [SPARK-36970][SQL]手動停用的date_format函式格式B,讓 Java 17 與 Java 8 相容
  • [SPARK-36546] [SQL]依名稱將數位支援新增至等位
  • [SPARK-36979] [SQL]將 RewriteLateralSubquery 規則新增至 nonExcludableRules
  • [SPARK-36949] [SQL]不允許使用 ANSI 間隔的 Hive 提供者數據表
  • [SPARK-36849] [SQL]將UseStatement遷移至 v2 命令架構
  • [SPARK-36868] [SQL]將 CreateFunctionStatement 遷移至 v2 命令架構
  • [SPARK-36841] [SQL]新增 ansi 語法 set catalog xxx 以變更目前的目錄
  • [SPARK-36821] [SQL]Make class ColumnarBatch extendable - addendum
  • [SPARK-36963] [SQL]將max_by/min_by新增至 sql.functions
  • [SPARK-36913] [SQL]在 DS V2 JDBC 中實作 createIndex 和 IndexExists (MySQL 方言)
  • [SPARK-36848] [SQL]將 ShowCurrentNamespaceStatement 遷移至 v2 命令架構
  • [SPARK-36526] [SQL]DSV2 索引支援:新增 supportsIndex 介面
  • [SPARK-36960] [SQL]將 ANSI 間隔值下推篩選至 ORC
  • [SPARK-36929] [SQL]拿掉未使用的方法 RemoveSubqueryAliasesSuite#assertEquivalent
  • [SPARK-36931] [SQL]支援從 ORC 數據源讀取和寫入 ANSI 間隔
  • [SPARK-34980] [SQL]透過 AQE 中的聯集支援聯合分割區
  • [SPARK-36809] [SQL]拿掉 DPP 中使用的 InSubqueryExec 廣播
  • [SPARK-36813] [SQL][PYTHON]建議加入和 imlement 的基礎結構ps.merge_asof
  • [SPARK-36918] [SQL]比較 unionByName 的結構時忽略類型
  • [SPARK-36891] [SQL]重構 SpecificParquetRecordReaderBase,並在向量化 Parquet 譯碼上新增更多涵蓋範圍
  • [SPARK-36920] [SQL]支援 ANSI 間隔依據 ABS()
  • [SPARK-36888] [SQL] 新增 sha2 函式的測試案例
  • [SPARK-36889][SQL]受 v2 parquet 掃描產生器的尊重spark.sql.parquet.filterPushdown
  • [SPARK-36830] [SQL]支援從 JSON 數據源讀取和寫入 ANSI 間隔
  • [SPARK-36870] [SQL]引進INTERNAL_ERROR錯誤類別
  • [SPARK-36831] [SQL]支援從 CSV 數據源讀取和寫入 ANSI 間隔。
  • [SPARK-36550] [SQL]UDF 反映失敗時的傳播原因
  • [SPARK-36866] [SQL]將 ANSI 間隔值下推篩選至 parquet
  • [SPARK-33832] [SQL]強制扭曲聯結程式代碼簡化和改進
  • [SPARK-36642] [SQL]新增 df.withMetadata pyspark API
  • [SPARK-35765] [SQL]不同的 aggs 不會重複區分
  • [SPARK-36825] [SQL]使用 ANSI 間隔從/到 parquet 檔案讀取/寫入數據框架
  • [SPARK-36829] [SQL]重構 collectionOperators 的 NULL 檢查
  • [SPARK-32712] [SQL]支援撰寫 Hive 貯體資料表(使用 Hive 哈希的 Hive 檔案格式)
  • [SPARK-36797] [SQL]聯集應將巢狀數據行解析為最上層數據行
  • [SPARK-36838] [SQL]改善 InSet 產生的程式碼效能
  • [SPARK-36683] [SQL]新增內建 SQL 函式:SEC 和 CSC
  • [SPARK-36721] [SQL]如果一邊是常值,請簡化布爾等號
  • [SPARK-36760] [SQL]新增介面 SupportsPushDownV2Filters
  • [SPARK-36652] [SQL]AQE 動態聯結選取不應套用至非等聯結
  • [SPARK-36745] [SQL]ExtractEquiJoinKeys 應該傳回聯結索引鍵上的原始述詞
  • [SPARK-36107] [SQL]重構第一組 20 個查詢執行錯誤,以使用錯誤類別
  • [SPARK-32709] [SQL]支援使用 Hive 哈希撰寫 Hive 貯體資料表 (Parquet/ORC 格式)
  • [SPARK-36735] [SQL]調整 DPP 快取關聯的額外負荷
  • [SPARK-33832] [SQL]即使引進額外的隨機顯示,也支援優化扭曲聯結
  • [SPARK-36822] [SQL]BroadcastNestedLoopJoinExec 應該使用所有條件,而不是非等價條件
  • [SPARK-35221] [SQL]新增支持的聯結提示檢查
  • [SPARK-36814] [SQL]Make 類別 ColumnarBatch 可擴充
  • [SPARK-36663] [SQL]支援 ORC 資料源中僅限數字的數據行名稱
  • [SPARK-36751] [SQL][PYTHON][R] 將位/octet_length API 新增至 Scala、Python 和 R
  • [SPARK-36733] [SQL]修正當結構有許多欄位時,SchemaPruning 中的效能問題
  • [SPARK-36724] [SQL]支援timestamp_ntz作為 SessionWindow 的時間數據行類型
  • [SPARK-36556] [SQL]新增 DSV2 篩選
  • [SPARK-36687] [SQL][CORE]使用_ERROR後綴重新命名錯誤類別
  • [SPARK-35803] [SQL]支援 DataSource V2 CreateTempViewUsing
  • [SPARK-36642] [SQL]新增 df.withMetadata:更新數據框架元數據的語法要求

維護更新

請參閱 Databricks Runtime 10.1 維護更新

系統環境

  • 作業系統:Ubuntu 20.04.3 LTS
  • Java:Zulu 8.56.0.21-CA-linux64
  • Scala:2.12.14
  • Python:3.8.10
  • R:4.1.1
  • Delta Lake:1.0.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bleach 3.3.0 boto3 1.16.7 botocore 1.19.7
certifi 2020.12.5 cffi 1.14.5 chardet 4.0.0
cycler 0.10.0 Cython 0.29.23 dbus-python 1.2.16
decorator 5.0.6 defusedxml 0.7.1 distlib 0.3.3
distro-info 0.23ubuntu1 entrypoints 0.3 facets-overview 1.0.0
filelock 3.3.1 idna 2.10 ipykernel 5.3.4
ipython 7.22.0 ipython-genutils 0.2.0 ipywidgets 7.6.3
jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.7.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 koalas 1.8.2 MarkupSafe 2.0.1
matplotlib 3.4.2 mistune 0.8.4 nbclient 0.5.3
nbconvert 6.0.7 nbformat 5.1.3 nest-asyncio 1.5.1
notebook 6.3.0 numpy 1.19.2 封裝 20.9
pandas 1.2.4 pandocfilters 1.4.3 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 5.3.0
prometheus-client 0.10.1 prompt-toolkit 3.0.17 protobuf 3.17.2
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pycparser 2.20 Pygments 2.8.1 PyGObject 3.36.0
pyparsing 2.4.7 火熱 0.17.3 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 六次 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 自動升級 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

已安裝的 R 連結庫

R 連結庫會從 2021-10-26 上的 Microsoft CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.9
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
叢集 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.1 config 0.3.1
cpp11 0.4.0 crayon 1.4.1 credentials 1.3.1
curl 4.3.2 data.table 1.14.2 datasets 4.1.1
DBI 1.1.1 dbplyr 2.1.1 遞減 1.4.0
devtools 2.4.2 diffobj 0.3.5 digest 0.6.28
dplyr 1.0.7 dtplyr 1.1.0 e1071 1.7-9
省略符號 0.3.2 evaluate 0.14 fansi 0.5.0
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-81
forge 0.2.0 fs 1.5.0 future 1.22.1
future.apply 1.8.1 漱口 1.2.0 泛型 0.1.1
格特 1.4.1 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-2 globals 0.14.0
glue 1.4.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 graphics 4.1.1 grDevices 4.1.1
grid 4.1.1 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 避風港 2.4.3 highr 0.9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.3 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.2 KernSmooth 2.23-20
針織機 1.36 labeling 0.4.2 later 1.3.0
lattice 0.20-45 Lava 1.6.10 生命週期 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 矩陣 1.3-4
備忘 2.0.0 方法 4.1.1 mgcv 1.8-38
mime 0.12 ModelMetrics 1.2.2.2 modelr 0.1.8
蒙塞爾 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.5 parallel 4.1.1
parallelly 1.28.1 pillar 1.6.4 pkgbuild 1.2.0
pkgconfig 2.0.3 pkgload 1.2.3 plogr 0.2.0
plyr 1.8.6 讚美 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
進度 1.2.2 progressr 0.9.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.2
readxl 1.3.1 recipes 0.1.17 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.1 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.12 rmarkdown 2.11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0.13 rversions 2.1.1 rvest 1.0.2
sass 0.4.0 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.6 shiny 1.7.1
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.1 stats4 4.1.1
stringi 1.7.5 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testthat 3.1.0 tibble 3.1.5 tidyr 1.1.4
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.34 tools 4.1.1 tzdb 0.1.2
usethis 2.1.2 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 waldo 0.3.1 晶須 0.4
withr 2.4.2 xfun 0.27 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

已安裝的 Java 和 Scala 連結庫 (Scala 2.12 叢集版本)

群組識別碼 成品標識碼 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.咖啡因 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink 小 叮噹 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava 番 石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.2.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlet 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收藏家 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator 策展人-食譜 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 常春藤 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structure 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core 澤西-通用 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap 墊片 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 閑置 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml 蛇形 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1