次の方法で共有


Databricks Runtime 10.5 (サポート対象外)

次のリリース ノートには、Apache Spark 3.2.1 で稼働する Databricks Runtime 10.5 に関する情報が記載されています。 Databricks は、2022 年 5 月にこれらのイメージをリリースしました。

新機能と機能強化

SQL: 新しい関数 to_numbertry_to_number

to_number 関数try_to_number 関数を使用すると、さまざまな形式の数値の文字表現を DECIMAL に変換できます。

SQL: 新しい関数 try_sum

sum とは異なり、try_sum 集計関数は、オーバーフローが発生したときにエラーの代わりに NULL を返します。

SQL: ceilceiling、および floor 関数への更新

ceil 関数ceiling 関数、および floor 関数で、2 番目の省略可能な引数をサポートして、ターゲットのスケールを指定できるようになりました。

SQL: 新しい集計関数 regr_avgxregr_avgy

新しい regr_avgx 集計関数regr_avgy 集計関数 は、線形回帰をサポートします。

SQL: containsstartswith、および endswith 関数への更新

contains 関数startswith 関数endswith 関数が、文字列に加えて入力としてバイナリ データ型をサポートするようになりました。

SQL: 新しい関数 array_size

新しい array_size 関数 は、配列のサイズを計算します。

Unity カタログ: SQL LIST の出力によって is_directory 列が削除され、ディレクトリ パスの末尾 / が追加されます (パブリック プレビュー)

Unity Catalog によって管理されるパスを一覧表示するための SQL LIST ステートメントの出力が変更されました。 is_directory 列が表示されなくなります。 代わりに、ディレクトリを表すパスには、pathname の列の末尾にスラッシュ (/) が付けられるようになりました。 この変更は、dbutils.fs.ls コマンドの出力と一貫性を保つためです。

自動ローダー: 新しい SQL 関数 CLOUD_FILES_STATE

新しい CLOUD_FILES_STATE 関数を使用して、自動ローダー ストリームの内部状態のクエリを実行できます。「自動ローダーによって検出されたファイルのクエリ」を参照してください。

自動ローダー: ファイル通知のサポートが GA になりました

Google Cloud での自動ローダーのファイル通知のサポートが一般公開されました。

Delta Lake: 1 つのファイルに書き込まれる最大レコード数の新しい maxRecordsPerFile オプション

DataFrame API を使用して Delta テーブルに書き込む場合は、maxRecordsPerFile オプションを使用して、1 つのファイルに書き込むレコードの最大数を指定できます。 0 または負の値の値を指定すると、制限がないことを示します。 「データ ファイル サイズを制御するように Delta Lake を構成する」を参照してください。

Koalas の非推奨

Koalas は非推奨となりました。 Koalas は、Apache Spark の上に pandas API を提供します。 Koalas はコミュニティによって提供され、Apache Spark 3.2 以降の Spark で pandas API として利用できるようになりました。 Koalas は引き続き Databricks Runtime 10.5 用にプレインストールされますが、次の Databricks Runtime バージョン以降では、Koalas はプレインストールされなくなります。

Spark 上の pandas API の詳細については、次を参照してください。

すべてのファイル形式に対する新しい _metadata

_metadata 列を使用して、入力ファイルのメタデータ情報を取得できます。 _metadata 列は非表示です。 この列は、すべての入力ファイル形式で使用できます。 返される _metadataDataFrame 列を含めるには、クエリでこの列を明示的に参照する必要があります。 「ファイル メタデータ列」を参照してください。

Databricks Runtime 10.5 を使用して Delta Live Tables パイプラインをテストする

Databricks Runtime 10.5 が Delta Live テーブルでサポートされている preview バージョンになりました。 Databricks Runtime 10.5 でパイプラインをテストするには、パイプライン設定で channel 設定を preview にします。

バグの修正

  • 変更データ キャプチャ (CDC) が有効になっている差分テーブルに対する更新操作の表示 numUpdatedRowsnumCopiedRows メトリック結果を修正しました。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • plotly (5.5.0 から 5.6.0 へ)
  • アップグレードされた R ライブラリ:
    • base (4.1.2 から 4.1.3 へ)
    • caret (6.0-90 から 6.0-91 へ)
    • cluster (2.1.2 から 2.1.3 へ)
    • commonmark (1.7 から 1.8.0 へ)
    • compiler (4.1.2 から 4.1.3 へ)
    • crayon (1.5.0 から 1.5.1 へ)
    • datasets (4.1.2 から 4.1.3 へ)
    • desc (1.4.0 から 1.4.1 へ)
    • fansi (1.0.2 から 1.0.3 へ)
    • glue (1.6.1 から 1.6.2 へ)
    • graphics (4.1.2 から 4.1.3 へ)
    • grDevices (4.1.2 から 4.1.3 へ)
    • grid (4.1.2 から 4.1.3 へ)
    • knitr (1.37 から 1.38 へ)
    • MASS (7.3-55 から 7.3-56 へ)
    • Matrix (1.4-0 から 1.4-1 へ)
    • methods (4.1.2 から 4.1.3 へ)
    • mgcv (1.8-39 から 1.8-40 へ)
    • nlme (3.1-155 から 3.1-157 へ)
    • openssl (1.4.6 から 2.0.0 へ)
    • parallel (4.1.2 から 4.1.3 へ)
    • plyr (1.8.6 から 1.8.7 へ)
    • processx (3.5.2 から 3.5.3 へ)
    • r2d3 (0.2.5 から 0.2.6 へ)
    • Rcpp (1.0.8 から 1.0.8.3 へ)
    • rlang (1.0.1 から 1.0.2 へ)
    • rmarkdown (2.11 から 2.13 へ)
    • RSQLite (2.2.10 から 2.2.11 へ)
    • sass (0.4.0 から 0.4.1 へ)
    • splines (4.1.2 から 4.1.3 へ)
    • stats (4.1.2 から 4.1.3 へ)
    • stats4 (4.1.2 から 4.1.3 へ)
    • tcltk (4.1.2 から 4.1.3 へ)
    • tools (4.1.2 から 4.1.3 へ)
    • utils (4.1.2 から 4.1.3 へ)
    • uuid (1.0-3 から 1.0-4 へ)
    • waldo (0.3.1 から 0.4.0 へ)
    • withr (2.4.3 から 2.5.0 へ)
    • xfun (0.29 から 0.30 へ)
  • アップグレードされた Java ライブラリ:
    • com.h2database.h2 (1.4.195 から 2.1.210 へ)
    • org.apache.hadoop.hadoop-client-api (3.3.1-databricks から 3.3.2-databricks へ)
    • org.apache.hadoop.hadoop-client-runtime (3.3.1 から 3.3.2 へ)
    • org.rocksdb.rocksdbjni (6.24.2 から 6.20.3 へ)

Apache Spark

Databricks Runtime 10.5 には、Apache Spark 3.2.1 が含まれています。 このリリースには、Databricks Runtime 10.4 LTS に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-38354] [SC-97886] "[SQL] シャッフルされたハッシュ結合のハッシュ プローブ メトリックを追加する" を元に戻す
  • [SPARK-38484] [SAS-103][SAS-111][SAS-113][SC-98102][Cherry-Pick] 一般的な使用ロガーを備えた PySpark SQL モジュールをインストルメント化する
  • [SPARK-38333] [SQL] PlanExpression 式は Executor の addExprTree 関数をスキップする必要がある
  • [SPARK-38646] [PYTHON][10.x] Python 関数の特性を引き出す
  • [SPARK-38674] [PHOTON] PhotonSubqueryBroadcastExec にメトリックを追加する
  • [SPARK-38787] [SS] 見つかった値をキーの残りのリストの null 以外の要素に置き換え、ストリーム ストリーム結合の keyWithIndexToValue ストアの値から残りの null 要素を削除する
  • [SPARK-38446] [Core] Log4j によって発生する ExecutorClassLoader と FileDownloadCallback の間のデッドロックを修正
  • [SPARK-38705] [SQL] CREATE FUNCTION と DROP FUNCTION のコマンドで関数識別子を使用する
  • [SPARK-38684] [SS] RocksDB 状態ストア プロバイダーとのストリーム同士の外部結合の正確性の問題を修正
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase 入力が null でないオフセット行が見つからない
  • [SPARK-38204] [SS] 下位互換性を考慮してステートフル演算子に StatefulOpClusteredDistribution を使用する
  • [SPARK-38616] [SQL] Catalyst TreeNode で SQL クエリ テキストを追跡する
  • [SPARK-38600] [SQL] TIMESTAMPADD/DIFF の SQL 文字列に unit を含める
  • [SPARK-34805] [SQL] [エイリアス] の入れ子になった列からメタデータを伝達する
  • [SPARK-38535] [SQL] datetimeUnit 列挙型を追加し、TIMESTAMPADD/DIFF でそれを使用する
  • [SPARK-38415] [SQL] histogram_numeric (x, y) の結果の型を更新して、x == を入力型にする
  • [SPARK-38148] [SQL] 静的パーティションの排除が存在する場合は、動的パーティションの排除を追加しない
  • [SPARK-37527] [SQL] H2DialetCOVAR_POPCOVAR_SAMPCORR をコンパイルする
  • [SPARK-38510] [SQL] 循環参照を回避するために ClassSymbol.selfType を再試行する
  • [SPARK-38509] [SQL] TIMESTAMPADD/DIFF 関数の登録を解除して DATE_ADD/DIFF を削除する
  • [SPARK-38504] [SQL] TimestampNTZ を TimestampLTZ として読み取ることができない
  • [SPARK-38526] [SQL] RuntimeReplaceable の誤解を招く関数エイリアス名を修正
  • [SPARK-38335] [SQL] DEFAULT 列の値のパーサー サポートを実装する
  • [SPARK-38593] [SS] 破棄された遅延イベントの数のメトリックを SessionWindowStateStoreSaveExec に引き継ぐ
  • [SPARK-38549] [SS] SessionWindowStateStoreRestoreExecnumRowsDroppedByWatermark を追加する
  • [SPARK-38583] [SQL] 数値型を許可する to_timestamp の動作を復元する
  • [SPARK-38481] [SQL] Spark 例外による TIMESTAMPADD から Java オーバーフロー例外に置き換える
  • [SPARK-37753] [SQL] DynamicJoinSelection でブロードキャスト ハッシュ結合を降格するロジックを微調整する
  • [SPARK-37582] [SPARK-37583][SQL] CONTAINS、STARTSWITH、ENDSWITH は文字列型とバイナリ型の両方をサポートする必要がある
  • [SPARK-38345] [SQL] SQL 関数 ARRAY_SIZE を導入する
  • [SPARK-38385] [SQL] 空のステートメントと ParseException における <EOF> のエラー メッセージを改善する
  • [SPARK-37614] [SQL] ANSI 集計関数 regr_avgx および regr_avgy をサポートする
  • [SPARK-38560] [SQL] SumCountAny が個別の場合、部分的な集計プッシュ ダウンを実行できない。
  • [SPARK-38360] [SQL][SS][PYTHON] TreeNodeexists 関数を導入して重複するコード パターンを排除する
  • [SPARK-38385] [SQL] ANTLR からの "入力の不一致" ケースのエラー メッセージを改善する
  • [SPARK-38240] [SQL] RuntimeReplaceable を改善し、新しい関数を追加するためのガイドラインを追加する
  • [SPARK-38542] [SQL] UnsafeHashedRelation で numKeys out をシリアル化する必要がある
  • [SPARK-38521] [SQL] Scala で partitionOverwriteMode を文字列から変数に変更する
  • [SPARK-38558] [SQL] IntegerType と IntDecimal の間の不要なキャストを削除する
  • [SPARK-38489] [SQL] Aggregate.groupOnly でたたみ込み可能な式をサポートする
  • [SPARK-38410] [SQL] 再調整の初期パーティション番号の指定をサポートする
  • [SPARK-38107] [SQL] python/pandas UDF のコンパイル エラーでエラー クラスを使用する
  • [SPARK-38354] [SQL] シャッフルされたハッシュ結合のハッシュ プローブ メトリックを追加する
  • [SPARK-38112] [SQL] 日付/タイムスタンプ処理の実行エラーでエラー クラスを使用する
  • [SPARK-38361] [SQL] ファクトリ メソッド getConnectionJDBCDialect に追加する
  • [SPARK-37865] [SQL] 和集合の重複除去の正確さのバグを修正
  • [SPARK-38298] [SQL][Tests] ANSI モードでの DataExpressionSuite、NullExpressionsSuite、StringExpressionsSuite、complexTypesSuite、CastSuite を修正
  • [SPARK-38407] [SQL] ANSI Cast: null 以外の複合型のキャストの制限を緩和する
  • [SPARK-38352] [SQL] ANSI モードでの DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite を修正
  • [SPARK-38054] [SQL] JDBC v2 MySQL 言語で名前空間の一覧をサポート
  • [SPARK-37960] [SQL] DS v2 API の Catalyst の式を表す新しいフレームワーク
  • [SPARK-38103] [SQL] 変換の解析エラーを新しいエラー フレームワークに移行する
  • [SPARK-38519] [SQL] AQE スロー例外は SparkFatalException を考慮する必要がある
  • [SPARK-38528] [SQL] ExtractGenerator でプロジェクト リストをビルドするときに集計シーケンスを一括して反復処理する
  • [SPARK-38320] [SS] キーのデータを使用して flatMapGroupsWithState タイムアウトをバッチで修正
  • [SPARK-38442] [SQL] ANSI モードでの ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite を修正
  • [SPARK-38268] [SQL] Abs/CheckOverflow の toString メソッドで "failOnError" フィールドを非表示にする
  • [SPARK-37949] [SQL] 再調整統計の推定を改善する
  • [SPARK-38450] [SQL] ANSI モードでの HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite を修正
  • [SPARK-38501] [SQL] ANSI モードでの thriftserver テスト エラーを修正
  • [SPARK-37895] [SQL] 引用符で囲まれた列を含むプッシュ ダウン列をフィルター処理する
  • [SPARK-38449] [SQL] ignoreIfExists=true でテーブルが存在する場合は createTable を呼び出さないようにする
  • [SPARK-38406] [SQL] ShufflePartitionsUtil createSkewPartitionSpecs のパフォーマンスを改善する
  • [SPARK-37947] [SQL] Generate 演算子に含まれる GeneratorOuter 式からジェネレーターを抽出する。
  • [SPARK-38309] [CORE] SHS shuffleTotalReadsshuffleTotalBlocks パーセンタイル メトリックを修正
  • [SPARK-38412] [SS] StateSchemaCompatibilityChecker との間のスワップされたシーケンスを修正
  • [SPARK-38267] [CORE][SQL][SS] ブール式のパターン一致を条件付きステートメントに置き換える
  • [SPARK-38104] [SQL] ウィンドウの解析エラーを新しいエラー フレームワークに移行する
  • [SPARK-38434] [SQL] CheckAnalysis.getDataTypesAreCompatibleFn メソッドの正しいセマンティック
  • [SPARK-38033] [SS] com...のために、SS の処理を開始できない
  • [SPARK-38378] [SQL] ANTLR 文法定義を個別のパーサー と Lexer のファイルにリファクタリングする
  • [SPARK-37475] [SQL] floor 関数と ceil 関数にスケール パラメーターを追加する
  • [SPARK-38411] [CORE] doMergeApplicationListingInternal によるイベント ログの読み取り時に UTF-8 を使用する
  • [SPARK-36553] [ML] KMeans は大規模な K の補助統計の計算を回避する
  • [SPARK-38393] [SQL] GenSeq/GenMap の非推奨の使用をクリーンアップ
  • [SPARK-38389] [SQL] TIMESTAMPDIFF()DATEDIFF() および DATE_DIFF() エイリアスを追加
  • [SPARK-33206] [CORE][3.2] 小さいインデックス ファイルのシャッフル インデックス キャッシュの重みの計算を修正
  • [SPARK-38353] [PYTHON] Spark 上の Pandas API の 開始 および 終了 のマジック メソッドをインストルメント化する
  • [SPARK-38323] [SQL][Streaming] Streaming で隠しファイル メタデータをサポートする
  • [SPARK-38138] [SQL] QueryPlan サブクエリを具体化する
  • [SPARK-38094] フィールド ID によるスキーマ列名の照合を有効にする
  • [SPARK-37923] [SQL] パーサー内の BucketSpec のパーティション変換を生成する
  • [SPARK-38363] [SQL] ANSI モードがオンのときに Dataset.summary()/Dataset.describe() でランタイム エラーを回避する
  • [SPARK-38284] [SQL] TIMESTAMPDIFF() 関数を追加
  • [SPARK-38251] [SQL] ANSI モードでの Cast.toString を "ansi_cast" ではなく "cast" に変更する
  • [SPARK-38314] [SQL] 非表示のファイル メタデータを書き込んだ後に Parquet ファイルを読み取れなかった問題を修正

Databricks Runtime 10.5 メンテナンス更新プログラム」を参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.3
  • Delta Lake: 1.2.1

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 ノートブック 6.3.0 numpy 1.20.1
パッケージング 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 6 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

インストールされている R ライブラリ

R ライブラリは、2022 年 3 月 28 日に Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob (blob) 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
キャレット 6.0-91 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 資格情報 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.38 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
ライフサイクル 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-56
Matrix 1.4-1 memoise 2.0.1 methods 4.1.3
mgcv 1.8-40 mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.0
parallel 4.1.3 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.3
prodlim 2019.11.13 progress 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.2 rmarkdown 2.13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.1
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.3 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.3 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.4.0 whisker 0.4 withr 2.5.0
xfun 0.30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shims 1.6.13
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1