Databricks Runtime 10.2 (サポート対象外)
次のリリース ノートには、Apache Spark 3.2.0 で稼働する Databricks Runtime 10.2 と Databricks Runtime 10.2 Photon に関する情報が記載されています。 Databricks は、2021 年 12 月にこれらのイメージをリリースしました。 Photon はパブリック プレビュー段階にあります。
新機能と機能強化
- Repos 内のファイルを Spark Streaming と一緒に使用する
- Databricks Utilities がマウントの更新コマンドを追加する
- Delta Lake では、列の名前変更がサポートされます (パブリック プレビュー)
- Delta Lake テーブル履歴によって、Databricks Runtime のバージョン情報が追加されます
- Databricks Utilities では、ディレクトリが一覧表示された場合に最新の変更時刻情報が追加される
- Spark SQL は、最上位の項目とその数を返す
approx_top_k関数を追加します - Trigger.AvailableNow が Python と Scala で利用可能になりました
- 自動ローダーで Avro のスキーマの展開がサポートされるようになりました (パブリック プレビュー)
Repos 内のファイルを Spark Streaming と一緒に使用する
Spark Streaming から Repos 内のファイルにアクセスできます。
Databricks Utilities がマウントの更新コマンドを追加する
新しい dbutils.fs.updateMount コマンドは、dbutils.fs.mount に似ていますが、この新しいコマンドは、新しいマウント ポイントを作成するのではなく、既存のマウント ポイントを更新します。 「updateMount コマンド (dbutils.fs.updateMount)」を参照してください。
Delta Lake では、列の名前変更がサポートされます (パブリック プレビュー)
Delta Lake では、列の名前変更がサポートされるようになりました。 Delta テーブルの列の名前を変更するには、Delta テーブルのバージョンをアップグレードし、列マッピング モードを名前マッピングに設定する必要があります。 「Delta Lake の列マッピングを使用して列の名前変更と削除を行う」をご覧ください。
Delta Lake テーブル履歴によって、Databricks Runtime のバージョン情報が追加されます
Delta テーブルへの書き込み時に、書き込みを実行する Databricks Runtime バージョンに関する情報も記録されます。 バージョン情報を取得するには、テーブルで DESCRIBE HISTORY コマンドを実行し、出力に engineInfo 列を表示します。 「DESCRIBE HISTORY」と「Delta Lake テーブル履歴を操作する」を参照してください。
Databricks Utilities では、ディレクトリが一覧表示された場合に最新の変更時刻情報が追加される
ディレクトリの内容を一覧に表示する dbutils.fs.ls コマンドで、modificationTime フィールドが出力されます。 このフィールドには、一覧表示されている各ファイルまたはディレクトリの最新の変更時刻が含まれます。 「ls command (dbutils.fs.ls)」を参照してください。
Spark SQL は、最上位の項目とその数を返す approx_top_k 関数を追加します
新しい approx_top_k 関数は、指定された式について、最も頻繁に発生する項目の値とその概数を返します。 次に例をいくつか示します。
df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')
display(df)
import pyspark.sql.functions as F
df = spark.createDataFrame([
(0,), (1,), (1,), (2,), (2,), (2,)
]).select(F.expr('approx_top_k(_1, 10)'))
display(df)
いずれかの例を実行した結果は、次のようになります。
[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]
「approx_top_k 集計関数」を参照してください。
Trigger.AvailableNow が Python と Scala で利用可能になりました
この変更では、Python と Scala の Delta ソース ストリーミングのクエリ Trigger.AvailableNow がサポートされています。 Databricks Runtime 10.1 では、Scala でこのトリガーが新たにサポートされました。 Databricks Runtime 10.2 でも、Python でこのトリガーがサポートされるようになりました。 「自動ローダー」で Trigger.AvailableNow の取り扱い部分を参照してください。
自動ローダーで Avro のスキーマの展開がサポートされるようになりました (パブリック プレビュー)
「自動ローダーでのスキーマの推論と展開の構成」を参照してください。
ライブラリのアップグレード
- アップグレードされた Python ライブラリ:
- filelock が 3.3.1 から 3.4.0 へ
- plotly が 5.3.0 から 5.3.1 へ
- アップグレードされた R ライブラリ:
- ベースが 4.1.1 から 4.1.2 へ
- コンパイラが 4.1.1 から 4.1.2 へ
- データセットが 4.1.1 から 4.1.2 へ
- グラフィックスが 4.1.1 から 4.1.2 へ
- grDevices が 4.1.1 から 4.1.2 へ
- グリッドが 4.1.1 から 4.1.2 へ
- メソッドが 4.1.1 から 4.1.2 へ
- 並列が 4.1.1 から 4.1.2 へ
- Rserve が 1.8-8 から 1.8-10 へ
- スプラインが 4.1.1 から 4.1.2 へ
- stats が 4.1.1 から 4.1.2 へ
- stats4 が 4.1.1 から 4.1.2 へ
- tcltk が 4.1.1 から 4.1.2 へ
- ツールが 4.1.1 から 4.1.2 へ
- utils が 4.1.1 から 4.1.2 へ
- バックポートが 1.2.1 から 1.4.0 へ
- broom が 0.7.9 から 0.7.10 へ
- cli が 3.0.1 から 3.1.0 へ
- cpp11 が 0.4.0 から 0.4.1 へ
- crayon が 1.4.1 から 1.4.2 へ
- 資格情報が 1.3.1 から 1.3.2 へ
- future が 1.22.1 から 1.23.0 へ
- gert が 1.4.1 から 1.4.3 へ
- glmnet が 4.1-2 から 4.1-3 へ
- glue が 1.4.2 から 1.5.0 へ
- memoise が 2.0.0 から 2.0.1 へ
- parallelly が 1.28.1 から 1.29.0 へ
- readr が 2.0.2 から 2.1.0 へ
- sessioninfo が 1.1.1 から 1.2.1 へ
- stringi が 1.7.5 から 1.7.6 へ
- tibble が 3.1.5 から 3.1.6 へ
- tinytex が 0.34 から 0.35 へ
- tzdb が 0.1.2 から 0.2.0 へ
- usethis が 2.1.2 から 2.1.3 へ
- uuid が 0.1-4 から 1.0-3 へ
- vroom が 1.5.5 から 1.5.6 へ
- xfun が 0.27 から 0.28 へ
- アップグレードされた Java ライブラリ:
- com.fasterxml.jackson が 2.12.2 から 2.12.3 へ
- io.airlift.aircompressor from が 0.19 から 0.21 へ
- io.netty.netty-all が 4.1.63.Final から 4.1.68.Final へ
- joda-time.joda-time が 2.10.5 から 2.10.10 へ
- org.apache.commons.commons-compress が 1.20 から 1.21 へ
- org.apache.orc が 1.6.10 から 1.6.12 へ
- org.eclipse.jetty が 9.4.40.v20210413 から 9.4.43.v20210629 へ
- org.scalanlp.breeze-macros_2.12 が 1.0 から 1.2 へ
- org.scalanlp.breeze_2.12 が 1.0 から 1.2 へ
- org.org.typelevel.algebra_2.12 が 2.0.0 から 2.0.1 へ
- org.typelevel.cats-kernel_2.12 が 2.0.0 から 2.0.1 へ
Apache Spark
Databricks Runtime 10.2 には、Apache Spark 3.2.0 が含まれています。 このリリースには、Databricks Runtime 10.1 (サポート対象外) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。
- [SPARK-37447] [SQL] LogicalPlan.isStreaming() のキャッシュの結果がレイジーな val になる
- [SPARK-37468] [SQL] UnionEstimation の ANSI 間隔と TimestampNTZ のサポート
- [SPARK-37464] [SQL] SCHEMA と DATABASE は NAMESPACE の別名である必要がある
- [SPARK-37452] [SQL] Char と Varchar が v3.1 と v2 との下位互換性を途絶させる
- [SPARK-36861] [SQL] は
yyyy-MM-ddをパーティション検出で日付パターンとして使用する - [SPARK-37456] [SQL] CREATE NAMESPACE は v2 コマンドの資格のある場所である必要がある
- [SPARK-37357] [SQL] パーティションを再調整する小さなパーティション係数を追加する
- [SPARK-37446] [SQL] getWithoutRegisterFns にリフレクションを使用して、さまざまな Hive バージョンの構築を許可する
- [SPARK-37444] [SQL] ALTER NAMESPACE … SET LOCATION は、v1 および v2 コマンド間で一貫して空の場所を処理する必要がある
- [SPARK-36357] [SQL] orc のタイムゾーンのないプッシュダウン タイムスタンプをサポートする
- [SPARK-36346] [SQL] Orc ファイル ソースでの TimestampNTZ 型のサポート
- [SPARK-36646] [SQL] 集計のパーティション列をプッシュダウンする
- [SPARK-34960] [SQL] ORC の集計プッシュ ダウン
- [SPARK-37386] [SQL] コスト エバリュエーターを実行しないように OptimizeSkewedJoin を簡略化する
- [SPARK-36073] [SQL] EquivalentExpressions の修正と機能強化
- [SPARK-35352] [SQL] 完全外部並べ替えマージ結合のために code-gen を追加する
- [SPARK-37292] [SQL] 別名を持つストリーム側でのみ DISTINCT がある場合、外部結合を削除する
- [SPARK-37371] [SQL] UnionExec は、すべての子が列形式をサポートしている場合は、列形式をサポートする必要がある
- [SPARK-36645] [SQL] 集計 (Min/Max/Count) の Parquet 向けのプッシュ ダウン
- [SPARK-37379] [SQL] ツリーパターン排除を CTESubstitution ルールに追加する
- [SPARK-37332] [SQL] ANSI 間隔を
ALTER TABLE .. ADD COLUMNSで許可する - [SPARK-37224] [SS] RocksDB 状態ストア プロバイダーでの書き込みパスを最適化する
- [SPARK-37304] [SQL] ANSI 間隔を v2
ALTER TABLE .. REPLACE COLUMNSで許可する - [SPARK-36924] [SQL] ANSI 間隔と IntegralType の間の CAST
- [SPARK-37289] [SQL]
partitionSchemaOption関数を削除する - [SPARK-37270] [SQL] elseValue が空の場合、CaseWhen 分岐へのプッシュたたみ込み可能を修正する
- [SPARK-35345] [SQL] Parquet テストを BloomFilterBenchmark に追加する
- [SPARK-37341] [SQL] 不要なバッファーを回避し、完全外部並べ替えマージ結合でコピーする
- [SPARK-37266] [SQL] テキストの表示は SELECT クエリにのみ可能
- [SPARK-37288] [PYTHON][3.2] 注釈の更新以降のバックポート
- [SPARK-37262] [SQL] JDBCScan で空の集計と group by を ログに記録しない
- [SPARK-37283] [SQL] ANSI 間隔を含む V1 テーブルを Hive 互換形式で格納しようとしない
- [SPARK-37221] [SQL] SparkPlan での収集に似た API は、列形式の出力をサポートする必要がある
- [SPARK-37202] [SQL] AnalysisContext を使用して、参照される一時関数を追跡する
- [SPARK-37023] [CORE] 再試行中に shuffleDependency の shuffleMergeEnabled が false の場合、マージ ステータスがフェッチされるのを回避する
- [SPARK-37307] [CORE] 空のパーティションの JDBC 接続を取得しない
- [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions サポートによる非ルート ノードの最適化
- [SPARK-36799] [SQL] CLI で queryExecution 名を渡す
- [SPARK-37261] [SQL] DSv2 内で ANSI 間隔でパーティションを追加できるようにする
- [SPARK-37203] [SQL] TypedImperativeAggregate を使用する監視時の NotSerializableException を修正する
- [SPARK-37199] [SQL] 決定論的なフィールドを QueryPlan に追加する
- [SPARK-37253] [PYTHON]
try_simplify_tracebackはtb_frame.f_linenoが None の場合に失敗すべきではない - [SPARK-37214] [SQL] 無効な識別子を使用したクエリ分析が失敗する
- [SPARK-37240] [SQL]
ColumnVectorUtils.populate()によって ANSI 間隔を処理する - [SPARK-35437] [SQL] 式を使用してクライアント側で Hive パーティションをフィルター処理する
- [SPARK-32940] [SQL] collect、first、last は決定論的集計関数である必要がある
- [SPARK-37231] [SQL] ANSI 間隔パーティションの動的書き込み/読み取り
- [SPARK-37038] [SQL] DSV2 サンプル プッシュ ダウン
- [SPARK-36665] [SQL] Not 演算子の簡略化を追加する
- [SPARK-37150] [SQL] 既定で V2 コマンドを使用するように、DESCRIBE NAMESPACE を移行する
- [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale が null 値を返すのに失敗する
- [SPARK-37212] [SQL] 集計プッシュダウンの実装を強化します。
- [SPARK-37190] [SQL] ANSI モードでのキャストのエラー メッセージを改善する
- [SPARK-37161] [SQL] RowToColumnConverter の AnsiIntervalType サポート
- [SPARK-37160] [SQL] char 型の埋め込みを無効にするための構成を追加する (省略可能)
- [SPARK-36554] [SQL][PYTHON] functions.scala での make_date 式の公開
- [SPARK-37200] [SQL] データソース V2 のインデックスのドロップをサポートする
- [SPARK-37179] [SQL] ANSI モード: Datetime と Numeric の間のキャストを可能にするための構成を追加する
- [SPARK-37168] [SQL] ANSI モードで SQL 関数および演算子のエラー メッセージを改善する
- [SPARK-36935] [SQL] Parquet の繰り返しと定義レベルを計算するように ParquetSchemaConverter を拡張する
- [SPARK-37066] [SQL] 次のファイルの読み取りに失敗したときに、ファイル パスを表示するようにエラー メッセージを改善する
- [SPARK-32567] [SQL] 完全外部シャッフル ハッシュ結合のコード生成を追加する
- [SPARK-37176] [SQL] JsonInferSchema#infer メソッドの例外ハンドル ロジックを JacksonParser#parse メソッドと同期する
- [SPARK-37149] [SQL] ANSI モードでの算術オーバーフロー例外のエラー メッセージを改善する
- [SPARK-37136] [SQL] hive buildin 関数に関するコードを削除するが、SPARK では実装しない
- [SPARK-16280][SPARK-37082] [SQL] 部分的な集計をサポートする histogram_numeric 集計関数を実装します。
- [SPARK-36975] [SQL] HiveClientImpl でのハイブ クライアント呼び出しのメトリックを修正する
メンテナンスの更新
「Databricks Runtime 10.2 メンテナンス更新プログラム」を参照してください。
システム環境
- オペレーティング システム: Ubuntu 20.04.3 LTS
- Java: Zulu 8.58.0.13-CA-linux64
- Scala: 2.12.14
- Python: 3.8.10
- R: 4.1.2
- Delta Lake: 1.1.0
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 | argon2-cffi | 20.1.0 |
| async-generator | 1.10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bidict | 0.21.4 | bleach | 3.3.0 | boto3 | 1.16.7 |
| botocore | 1.19.7 | certifi | 2020.12.5 | cffi | 1.14.5 |
| chardet | 4.0.0 | cycler | 0.10.0 | Cython | 0.29.23 |
| dbus-python | 1.2.16 | decorator | 5.0.6 | defusedxml | 0.7.1 |
| distlib | 0.3.3 | distro-info | 0.23ubuntu1 | entrypoints | 0.3 |
| facets-overview | 1.0.0 | filelock | 3.4.0 | idna | 2.10 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | jedi | 0.17.2 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 | koalas | 1.8.2 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.2 | mistune | 0.8.4 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | ノートブック | 6.3.0 | numpy | 1.19.2 |
| パッケージング | 20.9 | pandas | 1.2.4 | pandocfilters | 1.4.3 |
| parso | 0.7.0 | patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 8.2.0 | pip | 21.0.1 |
| plotly | 5.3.1 | prometheus-client | 0.10.1 | prompt-toolkit | 3.0.17 |
| protobuf | 3.17.2 | psycopg2 | 2.8.5 | ptyprocess | 0.7.0 |
| pyarrow | 4.0.0 | pycparser | 2.20 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | pyparsing | 2.4.7 | pyrsistent | 0.17.3 |
| python-apt | 2.0.0+ubuntu0.20.4.6 | python-dateutil | 2.8.1 | python-engineio | 4.3.0 |
| python-socketio | 5.4.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
| requests | 2.25.1 | requests-unixsocket | 0.2.0 | s3transfer | 0.3.7 |
| scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
| Send2Trash | 1.5.0 | setuptools | 52.0.0 | 6 | 1.15.0 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | tenacity | 8.0.1 |
| terminado | 0.9.4 | testpath | 0.4.4 | threadpoolctl | 2.1.0 |
| tornado | 6.1 | traitlets | 5.0.5 | unattended-upgrades | 0.1 |
| urllib3 | 1.25.11 | virtualenv | 20.4.1 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | wheel | 0.36.2 | widgetsnbextension | 3.5.1 |
インストールされている R ライブラリ
R ライブラリは、2021 年 11 月 30 日の Microsoft CRAN スナップショットからインストールされます。
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.0 |
| base | 4.1.2 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob (blob) | 1.2.2 | boot | 1.3-28 |
| brew | 1.0-6 | brio | 1.1.2 | broom | 0.7.10 |
| bslib | 0.3.1 | cachem | 1.0.6 | callr | 3.7.0 |
| キャレット | 6.0-90 | cellranger | 1.1.0 | chron | 2.3-56 |
| class | 7.3-19 | cli | 3.1.0 | clipr | 0.7.1 |
| cluster | 2.1.2 | codetools | 0.2-18 | colorspace | 2.0-2 |
| commonmark | 1.7 | compiler | 4.1.2 | config | 0.3.1 |
| cpp11 | 0.4.1 | crayon | 1.4.2 | 資格情報 | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | datasets | 4.1.2 |
| DBI | 1.1.1 | dbplyr | 2.1.1 | desc | 1.4.0 |
| devtools | 2.4.2 | diffobj | 0.3.5 | digest | 0.6.28 |
| dplyr | 1.0.7 | dtplyr | 1.1.0 | e1071 | 1.7-9 |
| ellipsis | 0.3.2 | evaluate | 0.14 | fansi | 0.5.0 |
| farver | 2.1.0 | fastmap | 1.1.0 | fontawesome | 0.2.2 |
| forcats | 0.5.1 | foreach | 1.5.1 | foreign | 0.8-81 |
| forge | 0.2.0 | fs | 1.5.0 | future | 1.23.0 |
| future.apply | 1.8.1 | gargle | 1.2.0 | generics | 0.1.1 |
| gert | 1.4.3 | ggplot2 | 3.3.5 | gh | 1.3.0 |
| gitcreds | 0.1.1 | glmnet | 4.1-3 | globals | 0.14.0 |
| glue | 1.5.0 | googledrive | 2.0.0 | googlesheets4 | 1.0.0 |
| gower | 0.2.2 | graphics | 4.1.2 | grDevices | 4.1.2 |
| grid | 4.1.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | haven | 2.4.3 | highr | 0.9 |
| hms | 1.1.1 | htmltools | 0.5.2 | htmlwidgets | 1.5.4 |
| httpuv | 1.6.3 | httr | 1.4.2 | hwriter | 1.3.2 |
| hwriterPlus | 1.0-3 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-12 | isoband | 0.2.5 | iterators | 1.0.13 |
| jquerylib | 0.1.4 | jsonlite | 1.7.2 | KernSmooth | 2.23-20 |
| knitr | 1.36 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | lava | 1.6.10 | ライフサイクル | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.1 |
| markdown | 1.1 | MASS | 7.3-54 | Matrix | 1.3-4 |
| memoise | 2.0.1 | methods | 4.1.2 | mgcv | 1.8-38 |
| mime | 0.12 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.5 | parallel | 4.1.2 |
| parallelly | 1.29.0 | pillar | 1.6.4 | pkgbuild | 1.2.0 |
| pkgconfig | 2.0.3 | pkgload | 1.2.3 | plogr | 0.2.0 |
| plyr | 1.8.6 | praise | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.18.0 | processx | 3.5.2 | prodlim | 2019.11.13 |
| progress | 1.2.2 | progressr | 0.9.0 | promises | 1.2.0.1 |
| proto | 1.0.0 | proxy | 0.4-26 | ps | 1.6.0 |
| purrr | 0.3.4 | r2d3 | 0.2.5 | R6 | 2.5.1 |
| randomForest | 4.6-14 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.7 | RcppEigen | 0.3.3.9.1 |
| readr | 2.1.0 | readxl | 1.3.1 | recipes | 0.1.17 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.1 |
| reprex | 2.0.1 | reshape2 | 1.4.4 | rlang | 0.4.12 |
| rmarkdown | 2.11 | RODBC | 1.3-19 | roxygen2 | 7.1.2 |
| rpart | 4.1-15 | rprojroot | 2.0.2 | Rserve | 1.8-10 |
| RSQLite | 2.2.8 | rstudioapi | 0.13 | rversions | 2.1.1 |
| rvest | 1.0.2 | sass | 0.4.0 | scales | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.1 | shape | 1.4.6 |
| shiny | 1.7.1 | sourcetools | 0.1.7 | sparklyr | 1.7.2 |
| SparkR | 3.2.0 | spatial | 7.3-11 | splines | 4.1.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.1.2 |
| stats4 | 4.1.2 | stringi | 1.7.6 | stringr | 1.4.0 |
| survival | 3.2-13 | sys | 3.4 | tcltk | 4.1.2 |
| TeachingDemos | 2.10 | testthat | 3.1.0 | tibble | 3.1.6 |
| tidyr | 1.1.4 | tidyselect | 1.1.1 | tidyverse | 1.3.1 |
| timeDate | 3043.102 | tinytex | 0.35 | tools | 4.1.2 |
| tzdb | 0.2.0 | usethis | 2.1.3 | utf8 | 1.2.2 |
| utils | 4.1.2 | uuid | 1.0-3 | vctrs | 0.3.8 |
| viridisLite | 0.4.0 | vroom | 1.5.6 | waldo | 0.3.1 |
| whisker | 0.4 | withr | 2.4.2 | xfun | 0.28 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 | zip | 2.2.0 |
インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | ストリーム (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.12.3 |
| com.fasterxml.jackson.core | jackson-core | 2.12.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.12.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.12.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.12.3 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.0-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.0 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.istack | istack-commons-runtime | 3.0.8 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.8.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 1.3.2 |
| dev.ludovic.netlib | blas | 1.3.2 |
| dev.ludovic.netlib | lapack | 1.3.2 |
| hive-2.3__hadoop-3.2 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.2.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.68.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | コレクタ | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.10 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-3.2 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | avro | 1.10.2 |
| org.apache.avro | avro-ipc | 1.10.2 |
| org.apache.avro | avro-mapred | 1.10.2 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.1-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.1 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.htrace | htrace-core4 | 4.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.6.12 |
| org.apache.orc | orc-mapreduce | 1.6.12 |
| org.apache.orc | orc-shims | 1.6.12 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0003 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-continuation | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-http | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-io | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-jndi | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-plus | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-proxy | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-security | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-server | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlet | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlets | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-webapp | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-xml | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.43.v20210629 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jaxb | jaxb-runtime | 2.3.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
| org.glassfish.jersey.core | jersey-client | 2.34 |
| org.glassfish.jersey.core | jersey-common | 2.34 |
| org.glassfish.jersey.core | jersey-server | 2.34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.2.19 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |