次の方法で共有


Databricks Runtime 10.1 (サポート対象外)

次のリリース ノートには、Apache Spark 3.2.0 で稼働する Databricks Runtime 10.1 と Databricks Runtime 10.1 Photon に関する情報が記載されています。 Databricks は、2021 年 11 月にこれらのイメージをリリースしました。 Photonパブリック プレビュー段階にあります。

新機能と機能強化

小さいファイルを圧縮する新しい Delta テーブルの設定

Delta テーブル プロパティ delta.autoOptimize.autoCompact は、truefalse の既存の値の他に、autolegacy の新しい値を受け入れるようになりました。 自動圧縮を auto (推奨) に設定すると、ターゲット ファイル サイズとして 32 MB を設定するなど、より優れた既定値が使用されます (ただし、既定の動作は今後変更される可能性があります)。 自動圧縮を legacy または true に設定すると、ターゲット ファイル サイズとして 128 MB が使用されます。

個々のテーブルにこのプロパティを設定する代わりに、spark.databricks.delta.autoCompact.enabled 構成を autolegacy、または true に設定することで、すべての Delta テーブルに対して自動圧縮を有効にできます。 この構成は、現在のセッション中は関連するテーブル プロパティよりも優先されます。

自動圧縮のターゲット ファイル サイズは、spark.databricks.delta.autoCompact.maxFileSize 構成で制御できます。

自動圧縮の詳細については、「Delta Lake on Azure Databricks の自動圧縮」を参照してください。

Parquet クエリ スキャンの新しい行グループのメトリック

Parquet スキャンを使用したクエリで、Spark UI に行グループのメトリックが表示されます。 これらの行グループのメトリックは次のとおりです。

  • Parquet 行グループの総数
  • Parquet 行グループの読み取り数

Delta ソース ストリーミング クエリに対する Trigger.AvailableNow

この変更では、Scala での Delta ソース ストリーミング クエリの新しい種類のトリガー Trigger.AvailableNow がサポートされています。 これは、Trigger.Once のように、使用できるすべてのデータを処理した後で、クエリを停止します。 ただし、Trigger.AvailableNow では、データを 1 つではなく複数のバッチで処理できるため、スケーラビリティが向上します。 この変更では、新しいインターフェイスは導入されず、既存の Spark API が実装されます。 このトリガーでは、ソースとして Delta ですでにサポートされているレート制限オプションもすべてサポートされます。

例:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

自動ローダー」で Trigger.AvailableNow の取り扱い部分を参照してください。

自動ローダーの Trigger.AvailableNow

Trigger.AvailableNow は、Trigger.Once に似た新しいストリーミング トリガー モードです。 Trigger.Once は、使用できるすべてのデータを処理した後、クエリを停止します。 Trigger.AvailableNow では、データを 1 つではなく複数のバッチで処理できるため、スケーラビリティが向上しています。 自動ローダーでは、Scala のディレクトリ リストとファイル通知モードの両方で Trigger.AvailableNow がサポートされるようになりました。 「自動ローダー」で Trigger.AvailableNow の取り扱い部分を参照してください。

DataFrame オプションを介して渡される Hadoop ファイル システム構成に対する Delta のサポート

Parquet と同様に、Delta では、DataFrameReader.load(path) または DataFrameWriter.save(path) を使用して、テーブルの読み取りまたは書き込みを行う場合に DataFrameReader オプションと DataFrameWriter オプションからの Hadoop ファイル システム構成の読み取りがサポートされるようになりました。 「Delta ストレージの資格情報を構成する」を参照してください。

ステートフル ストリーミング ジョブでの非同期状態のチェックポイント処理のサポートを実現 (パブリック プレビュー)

非同期状態のチェックポイント処理は新しい機能であり、大規模な状態更新プログラムを使用するステートフル ストリーミング ジョブでのエンドツーエンドのマイクロバッチ待機時間が短縮される可能性があります。 「ステートフル クエリの非同期状態チェックポイント処理」を参照してください。

資格情報パススルーを使用した Sparklyr

Sparklyr API を使用すると、クラウド ストレージに対するデータの読み書きが資格情報パススルーを使用してできるようになりました。 この機能は、1 つのユーザー アクセス権を持つ標準クラスターに限定されます。 「Microsoft Entra ID (旧称 Azure Active Directory) の資格情報パススルーを使って Azure Data Lake Storage にアクセスする (レガシ)」をご覧ください。

Databricks ユーティリティのデータ集計精度の制御 (パブリック プレビュー)

dbutils.data.summarize 列の新しい precise パラメーターは、概要結果の精度を制御します。 precise がfalse (既定値) に設定されている場合、概要には、個別のカウント、パーセンタイル、および頻繁に使用される項目数のおおよその結果が返されます。 precise が true に設定されている場合、正確な個別のカウントと頻繁に使用される項目数を使用して集計が計算されるようになり、より正確なパーセンタイルの推定値が得られるようになりました。 「summarize コマンド (dbutils.data.summarize)」を参照してください。

IPython カーネルでの Azure Databricks ノートブックの使用の実現

Python コードを実行するために IPython カーネルを使用して Azure Databricks クラスターを構成できるようになりました。 IPython カーネルを Azure Databricks で使用すると、IPython の表示および出力ツールのサポートが追加されます。 また、IPython カーネルは、ノートブックによって作成された子プロセスの stdout 出力と stderr 出力をキャプチャし、その出力をノートブックのコマンド結果に含めることもできます。

詳細については、「IPython カーネル」を参照してください。

Spark SQL の新しい関数

Unity Catalog (プレビュー) のデータを操作するために、次のオブジェクトとコマンドが追加されました。

Delta Sharing (プレビュー) 用に次のコマンドが追加されました。これにより、読み取り専用データを組織外の受信者と共有できます。

バグの修正

  • No FileSystem for scheme のような IOException でのクエリ エラーを発生させる可能性や、クエリでは反映されない sparkContext.hadoopConfiguration への変更を発生させる可能性のある競合状態を修正しました。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • filelock (3.0.12 から 3.3.1 へ)
    • koalas (1.8.1 から 1.8.2 へ)
    • plotly (5.1.0 から 5.3.0 へ)
  • アップグレードされた R ライブラリ:
    • bslib (0.3.0 から 0.3.1 へ)
    • caret (6.0-88 から 6.0-90 へ)
    • cpp11 (0.3.1 から 0.4.0 へ)
    • data.table (1.14.0 から 1.14.2 へ)
    • desc (1.3.0 から 1.4.0 へ)
    • diffobj (0.3.4 から 0.3.5 へ)
    • digest (0.6.27 から 0.6.28 へ)
    • generics (0.1.0 から 0.1.1 へ)
    • hms (1.1.0 から 1.1.1 へ)
    • knitr (1.34 から 1.36 へ)
    • lattice (0.20-44 から 0.20-45 へ)
    • lifecycle (1.0.0 から 1.0.1 へ)
    • lubridate (1.7.10 から 1.8.0 へ)
    • mgcv (1.8-37 から 1.8-38 へ)
    • mime (0.11 から 0.12 へ)
    • pkgload (1.2.2 から 1.2.3 へ)
    • progressr (0.8.0 から 0.9.0 へ)
    • rcmdcheck (1.3.3 から 1.4.0 へ)
    • readr (2.0.1 から 2.0.2 へ)
    • recipes (0.1.16 から 0.1.17 へ)
    • remotes (2.4.0 から 2.4.1 へ)
    • rlang (0.4.11 から 0.4.12 へ)
    • rvest (1.0.1 から 1.0.2 へ)
    • shiny (1.6.0 から 1.7.1 へ)
    • stringi (1.7.4 から 1.7.5 へ)
    • testthat (3.0.4 から 3.1.0 へ)
    • tidyr (1.1.3 から 1.1.4 へ)
    • tinytex (0.33 から 0.34 へ)
    • usethis (2.0.1 から 2.1.2 へ)
    • xfun (0.26 から 0.27 へ)
  • アップグレードされた Java ライブラリ:
    • com.zaxxer.HikariCP (3.1.0 から 4.0.3 へ)

Apache Spark

Databricks Runtime 10.1 には、Apache Spark 3.2.0 が含まれています。 このリリースには、Databricks Runtime 10.0 (サポート対象外) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-37037] [SQL] UTF8String と ByteArray の compareTo 関数を統一することでバイト配列の並べ替えを改善する
  • [SPARK-37091] [R] Java < 18 を SystemRequirements に含める
  • [SPARK-37041] [SQL] Backport HIVE-15025: Secure-Socket-Layer (SSL) で HMS をサポートする
  • [SPARK-37098] [SQL] テーブルのプロパティを変更するとキャッシュを無効にする
  • [SPARK-36992] [SQL] UTF8String と ByteArray の getPrefix 関数を統一することでバイト配列の並べ替えを改善する
  • [SPARK-37047] [SQL] バイナリ文字列に lpad 関数と rpad 関数を追加する
  • [SPARK-37076] [SQL] StructType.toString を明示的に Scala 2.13 に実装する
  • [SPARK-37075] [SQL] UDAF 式の構築を sql/catalyst から sql/core に移動する
  • [SPARK-37084] [SQL] spark.sql.files.openCostInBytes を bytesConf に設定する
  • [SPARK-37088] [PYSPARK][SQL] タスク完了リスナーが返された後はライター スレッドを入力にアクセスさせない
  • [SPARK-37069] [SQL] Hive.getWithoutRegisterFns が使用できない場合に適切にフォールバックする
  • [SPARK-37050] [PYTHON] Conda のインストール手順を更新する
  • [SPARK-37067] [SQL] ZoneId.of() を使用して DatetimeUtils 内のタイムゾーン文字列を処理する
  • [SPARK-35925] [SQL] width-bucket 関数での DayTimeIntervalType をサポートする
  • [SPARK-35926] [SQL] width_bucket 関数の YearMonthIntervalType をサポートする
  • [SPARK-35973] [SQL] コマンド SHOW CATALOGS を追加する
  • [SPARK-36922] [SQL] SIGN/SIGNUM 関数で ANSI 間隔をサポートする
  • [SPARK-37078] [CORE] 古い 3 パラメーター シンク コンストラクターをサポートする
  • [SPARK-37061] [SQL] 内部クラスを使用するときの CustomMetrics を修正する
  • [SPARK-35918] [AVRO] 読み取り/書き込みのスキーマ不一致処理を統一し、エラー メッセージを強化する
  • [SPARK-36871] [SQL] CreateViewStatement を v2 コマンドに移行する
  • [SPARK-36898] [SQL] シャッフル ハッシュ結合係数を構成可能にする
  • [SPARK-36921] [SQL] DIV で ANSI 間隔をサポートする
  • [SPARK-36794] [SQL] SEMI/ANTI シャッフル ハッシュ結合の関係を構築するときに重複する結合キーを無視する
  • [SPARK-36867] [SQL] GROUP BY の別名でエラー メッセージを修正する
  • [SPARK-36914] [SQL] JDBC で dropIndex と listIndexes を実装する (MySQL 言語)
  • [SPARK-35531] [SQL] getPartitions を呼び出すときに Hive テーブルを直接 HiveClient へ渡して HiveTable から > CatalogTable、> HiveTable への不要な変換を回避する
  • [SPARK-36718] [SQL] 高コストの言語式を重複させない場合は、プロジェクトのみを折りたたむ
  • [SPARK-37046] [SQL]: ビューを変更すると、列の大文字と小文字の区別は保持されない
  • [SPARK-36978] [SQL] InferConstraints ルールでは、ルートの入れ子になった型ではなく、アクセスされた入れ子のフィールドに IsNotNull 制約を作成する必要がある
  • [SPARK-37052] [CORE] SQL シェルの場合、Spark は –verbose 引数のみをメイン クラスに渡す必要がある
  • [SPARK-37017] [SQL] 潜在的なデッドロックを防ぐために同期のスコープを削減する
  • [SPARK-37032] [SQL] SQL 参照ページ内の破損した SQL構文リンクを修正する
  • [SPARK-36905] [SQL] 列名が明示的に指定されていない Hive ビューの読み取りを修正する
  • [SPARK-36678] SHOW TABLES を移行して既定で V2 コマンドを使用する
  • [SPARK-36943] [SQL] 列の欠落エラー メッセージの読みやすさを向上させる
  • [SPARK-36980] [SQL] CTE を使用してサポート クエリを挿入する
  • [SPARK-37001] [SQL] 既定で最終的なハッシュ集計のために 2 レベルのマップを無効にする
  • [SPARK-36970] [SQL] date_format 関数の 形式 B を手動で無効にして Java 8 との互換性を Java 17 に持たせる
  • [SPARK-36546] [SQL] 名前による和集合に配列のサポートを追加する
  • [SPARK-36979] [SQL] RewriteLateralSubquery ルールを nonExcludableRules に追加する
  • [SPARK-36949] [SQL] ANSI 間隔で Hive プロバイダー テーブルを禁止する
  • [SPARK-36849] [SQL] UseStatement を v2 コマンド フレームワークに移行する
  • [SPARK-36868] [SQL] CreateFunctionStatement を v2 コマンド フレームワークに移行する
  • [SPARK-36841] [SQL] ANSI 構文set catalog xxx を追加して現在のカタログを変更する
  • [SPARK-36821] [SQL] クラス ColumnarBatch を拡張可能にする - 補遺
  • [SPARK-36963] [SQL] smax_by/min_by を sql.functions に追加する
  • [SPARK-36913] [SQL] DS V2 JDBC で createIndex と IndexExists を実装する (MySQL 言語)
  • [SPARK-36848] [SQL] ShowCurrentNamespaceStatement を v2 コマンド フレームワークに移行する
  • [SPARK-36526] [SQL] DSV2 インデックスのサポート: supportsIndex インターフェイスを追加する
  • [SPARK-36960] [SQL] ANSI 間隔値が ORC に設定されたフィルターのプッシュダウン
  • [SPARK-36929] [SQL] 使用されていないメソッド EliminateSubqueryAliasesSuite#assertEquivalent を削除する
  • [SPARK-36931] [SQL] ORC データソースに対する ANSI 間隔の読み取りと書き込みをサポートする
  • [SPARK-34980] [SQL] AQE で和集合を使用して coalesce partition をサポートする
  • [SPARK-36809] [SQL] DPP で使用される InSubqueryExec のブロードキャストを削除する
  • [SPARK-36813] [SQL][PYTHON] as-of join のインフラストラクチャを提案し、ps.merge_asof を実装する
  • [SPARK-36918] [SQL] unionByName の構造体を比較するときに型を無視する
  • [SPARK-36891] [SQL] SpecificParquetRecordReaderBase をリファクターし、ベクター化された Parquet デコードのカバレッジを追加する
  • [SPARK-36920] [SQL] ABS() で ANSI 間隔をサポートする
  • [SPARK-36888] [SQL] sha2 関数のテストケースを追加する
  • [SPARK-36889] [SQL] v2 Parquet スキャン ビルダーで spark.sql.parquet.filterPushdown を優先する
  • [SPARK-36830] [SQL] JSON データソースに対する ANSI 間隔の読み取りと書き込みをサポートする
  • [SPARK-36870] [SQL] INTERNAL_ERROR エラークラスを導入する
  • [SPARK-36831] [SQL] CSV データソースに対する ANSI 間隔の読み取りと書き込みをサポートする
  • [SPARK-36550] [SQL] UDF リフレクションが失敗した場合の伝達の原因
  • [SPARK-36866] [SQL] ANSI 間隔値が Parquetに設定されたフィルターのプッシュダウン
  • [SPARK-33832] [SQL] スキュー結合コードの簡略化と改善を適用する
  • [SPARK-36642] [SQL] df.withMetadata pyspark API を追加する
  • [SPARK-35765] [SQL] 個別の集計は重複を認識しない
  • [SPARK-36825] [SQL] Parquet ファイに対する ANSI 間隔を含むデータフレームの読み取り/書き込み
  • [SPARK-36829] [SQL] collectionOperators の NULL チェックをリファクターする
  • [SPARK-32712] [SQL] Hive バケット化テーブル (Hive ハッシュを使用した Hive ファイル形式) の書き込みをサポートする
  • [SPARK-36797] [SQL] 和集合では、入れ子の列を上位列として解決する必要がある
  • [SPARK-36838] [SQL] InSet 生成コードのパフォーマンスを向上させる
  • [SPARK-36683] [SQL] 新しい組み込み SQL 関数を追加する: SEC と CSC
  • [SPARK-36721] [SQL] 一方の側がリテラルの場合は、ブール等値を簡略化する
  • [SPARK-36760] [SQL] インターフェイス SupportsPushDownV2Filters を追加する
  • [SPARK-36652] [SQL] AQL の動的結合の選択は非当結合には適用しない
  • [SPARK-36745] [SQL] ExtractEquiJoinKeys は、結合キーの元の述語を返す必要がある
  • [SPARK-36107] [SQL] エラークラスを使用するために 20 個のクエリ実行エラーの最初のセットをリファクターする
  • [SPARK-32709] [SQL] Hive バケット化テーブル (Hive ハッシュを使用した Parquet/ORC ファイル形式) の書き込みをサポートする
  • [SPARK-36735] [SQL] DPP のキャッシュされた関係のオーバーヘッドを調整する
  • [SPARK-33832] [SQL] 追加シャッフルを導入する場合でも、スキュー結合の最適化をサポートする
  • [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec は、非等条件ではなく、すべての条件を使用する必要がある
  • [SPARK-35221] [SQL] サポートされている結合ヒントの検査を追加する
  • [SPARK-36814] [SQL] クラス ColumnarBatch を拡張可能にする
  • [SPARK-36663] [SQL] ORC データ ソース内の数値のみの列名をサポートする
  • [SPARK-36751] [SQL][PYTHON][R] bit/octet_length API を Scala、Python、R に追加する
  • [SPARK-36733] [SQL] 構造体に多数のフィールドがある場合に SchemaPruning のパフォーマンスの問題を修正する
  • [SPARK-36724] [SQL] SessionWindow の時間列の種類として timestamp_ntz をサポートする
  • [SPARK-36556] [SQL] DSV2 フィルターを追加する
  • [SPARK-36687] [SQL] [CORE] _ERROR サフィックスを持つエラークラスの名前を変更する
  • [SPARK-35803] [SQL] DataSource V2 の CreateTempViewUsing をサポートする
  • [SPARK-36642] [SQL] データフレームのメタデータを更新する糖衣構文である df. withmetadata を追加する

メンテナンスの更新

Databricks Runtime 10.1メンテナンス更新プログラム」を参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bleach 3.3.0 boto3 1.16.7 botocore 1.19.7
certifi 2020.12.5 cffi 1.14.5 chardet 4.0.0
cycler 0.10.0 Cython 0.29.23 dbus-python 1.2.16
decorator 5.0.6 defusedxml 0.7.1 distlib 0.3.3
distro-info 0.23ubuntu1 entrypoints 0.3 facets-overview 1.0.0
filelock 3.3.1 idna 2.10 ipykernel 5.3.4
ipython 7.22.0 ipython-genutils 0.2.0 ipywidgets 7.6.3
jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.7.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 koalas 1.8.2 MarkupSafe 2.0.1
matplotlib 3.4.2 mistune 0.8.4 nbclient 0.5.3
nbconvert 6.0.7 nbformat 5.1.3 nest-asyncio 1.5.1
ノートブック 6.3.0 numpy 1.19.2 パッケージング 20.9
pandas 1.2.4 pandocfilters 1.4.3 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 5.3.0
prometheus-client 0.10.1 prompt-toolkit 3.0.17 protobuf 3.17.2
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pycparser 2.20 Pygments 2.8.1 PyGObject 3.36.0
pyparsing 2.4.7 pyrsistent 0.17.3 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 6 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

インストールされている R ライブラリ

R ライブラリは、2021 年 10 月 26 日に Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob (blob) 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.9
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
キャレット 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.1 config 0.3.1
cpp11 0.4.0 crayon 1.4.1 資格情報 1.3.1
curl 4.3.2 data.table 1.14.2 datasets 4.1.1
DBI 1.1.1 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.2 diffobj 0.3.5 digest 0.6.28
dplyr 1.0.7 dtplyr 1.1.0 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.14 fansi 0.5.0
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-81
forge 0.2.0 fs 1.5.0 future 1.22.1
future.apply 1.8.1 gargle 1.2.0 generics 0.1.1
gert 1.4.1 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-2 globals 0.14.0
glue 1.4.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 graphics 4.1.1 grDevices 4.1.1
grid 4.1.1 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 haven 2.4.3 highr 0.9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.3 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.2 KernSmooth 2.23-20
knitr 1.36 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 ライフサイクル 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Matrix 1.3-4
memoise 2.0.0 methods 4.1.1 mgcv 1.8-38
mime 0.12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.5 parallel 4.1.1
parallelly 1.28.1 pillar 1.6.4 pkgbuild 1.2.0
pkgconfig 2.0.3 pkgload 1.2.3 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
progress 1.2.2 progressr 0.9.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.2
readxl 1.3.1 recipes 0.1.17 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.1 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.12 rmarkdown 2.11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0.13 rversions 2.1.1 rvest 1.0.2
sass 0.4.0 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.6 shiny 1.7.1
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.1 stats4 4.1.1
stringi 1.7.5 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testthat 3.1.0 tibble 3.1.5 tidyr 1.1.4
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.34 tools 4.1.1 tzdb 0.1.2
usethis 2.1.2 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 waldo 0.3.1 whisker 0.4
withr 2.4.2 xfun 0.27 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.2.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1