次の方法で共有


Databricks Runtime 10.4 LTS (販売終了)

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

次のリリース ノートでは、Apache Spark 3.2.1 を搭載した Databricks Runtime 10.4 と Databricks Runtime 10.4 Photon に関する情報を提供します。 Photonパブリック プレビュー段階にあります。 Databricks は、2022 年 3 月にこのバージョンをリリースしました。

新機能と機能強化

Apache Iceberg から Delta へのテーブル コンバーター (パブリック プレビュー)

「Convert to Delta」機能では、Apache Iceberg テーブルをその場で Delta テーブルに変換することがサポートされるようになりました。 これを行うには、Iceberg ネイティブ メタデータとファイル マニフェストを使用します。 「Delta Lake に変換する」を参照してください。

自動圧縮ロールバックが既定で有効になりました

このリリースでは、自動圧縮トランザクションが同時に発生した場合にコミットする Delta Lake 書き込みの動作が改善されています。 このリリースの前は、テーブルの同時変更により、このような書き込みが終了することがよくあります。 自動圧縮トランザクションが同時に存在する場合でも、書き込みが成功するようになりました。

Low Shuffle Merge がデフォルトで有効になりました

MERGE INTO コマンドは、常に新しいローシャッフルの実装を使用するようになりました。 この動作により、ほとんどのワークロードで MERGE INTO コマンドのパフォーマンスが大幅に向上します。 この機能を有効にするためにこれまで使用されていた構成設定は削除されました。 「Azure Databricks での低シャッフル マージ」をご覧ください。

挿入順序タグが UPDATEDELETE で保持されるようになりました

UPDATE および DELETE コマンドで、更新または削除されたファイルの既存のクラスタリング情報 (Z オーダーを含む) が保持されるようになりました。 この動作はベスト エフォートアプローチであり、この方法は、ファイルが非常に小さいため、更新または削除中にこれらのファイルが結合される場合には適用されません。

HikariCP が既定の Hive メタストア接続プールになりました

HikariCP は、以前の BoneCP 接続プールの実装と比較して、接続を少なく維持しながら、Hive メタストア アクセスに対して多くの安定性を向上させます。 HikariCP は、Databricks Hive メタストアを使用するすべての Databricks ランタイム クラスターで既定で有効になります (たとえば、 spark.sql.hive.metastore.jars が設定されていない場合)。 spark.databricks.hive.metastore.client.pool.type を設定して、BoneCP など、他の接続プールの実装に明示的に切り替えることもできます。

Azure Synapse コネクタで、許可されている拒否行の最大数を設定できるようになりました

Azure Synapse コネクタは、maxErrors DataFrame オプションをサポートするようになりました。 この更新プログラムを使用すると、読み込み操作が取り消される前に読み取りと書き込み中に許可される拒否された行の最大数を構成できます。 拒否された行はすべて無視されます。 たとえば、10 レコード中 2 レコードにエラーがある場合、処理されるのは 8 レコードのみです。

このオプションは、PolyBase の REJECT_VALUE ステートメントのCREATE EXTERNAL TABLE オプションと、Azure Synapse コネクタの MAXERRORS コマンドのCOPY オプションに直接マップされます。

既定では、 maxErrors 値は 0 に設定されます。すべてのレコードが有効であることが期待されます。

非同期状態のチェックポイント処理が一般提供されるようになりました

大量の状態を更新するステートフル ストリーミング クエリで、非同期状態チェックポイントを有効にすることができます。 これにより、エンドツーエンドのマイクロ バッチ待機時間が短縮されます。 この機能が一般提供になりました。 「ステートフル クエリの非同期状態チェックポイント処理」を参照してください。

SQL ユーザー定義関数に対してパラメーターの既定値を指定できるようになりました

SQL ユーザー定義関数 (SQL UDF) を作成するときに、SQL UDF のパラメーターに既定の式を指定できるようになりました。 その後、これらのパラメーターの引数を指定せずに SQL UDF を呼び出すことができます。Databricks はこれらのパラメーターの既定値を入力します。 「CREATE FUNCTION (SQL および Python)」をご覧ください。

Spark SQL の新しい関数

このリリースでは、次の Spark SQL 関数を使用できるようになりました。

  • try_multiply: multiplier によって乗算、またはオーバーフロー時に multiplicand によって乗算された NULL を返します。
  • try_subtract: expr2 から expr1 の減算、またはオーバーフロー時に NULL の減算を返します。

高コンカレンシー クラスターの新しい作業ディレクトリ

テーブル アクセス制御または資格情報パススルーが有効になっている高コンカレンシー クラスターでは、ノートブックの現在の作業ディレクトリがユーザーのホーム ディレクトリになります。 以前は、作業ディレクトリは /databricks/driver でした。

Delta テーブルでの ID 列のサポートが一般公開されました

Delta Lake で ID 列がサポートされるようになりました。 ID 列を定義する Delta テーブルに書き込み、その列の値を指定しない場合、Delta は一意で統計的に増加または減少する値を自動的に割り当てるようになりました。 CREATE TABLE [USING]を参照してください。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • filelock (3.4.2 から 3.6.0 へ)
  • アップグレードされた R ライブラリ:
    • brew (1.0-6 から 1.0-7 へ)
    • broom (0.7.11 から 0.7.12 へ)
    • cli (3.1.0 から 3.2.0 へ)
    • clipr (0.7.1 から 0.8.0 へ)
    • colorspaceのバージョンを2.0-2から2.0-3へ更新
    • crayon (1.4.2 から 1.5.0 へ)
    • dplyr (1.0.7 から 1.0.8 へ)
    • dtplyr (1.2.0 から 1.2.1 へ)
    • 0.14から0.15まで評価する
    • foreach (1.5.1 から 1.5.2 へ)
    • future (1.23.0 から 1.24.0 へ)
    • generics (0.1.1 から 0.1.2 へ)
    • glue (1.6.0 から 1.6.1 へ)
    • gower バージョン 0.2.2 から 1.0.0 へ
    • iterators (1.0.13 から 1.0.14 へ)
    • jsonlite (1.7.3 から 1.8.0 へ)
    • magrittr (2.0.1 から 2.0.2 へ)
    • mgcv (1.8-38 から 1.8-39 へ)
    • pillar (1.6.4 から 1.7.0 へ)
    • randomForest (4.6-14 から 4.7-1 へ)
    • readr (2.1.1 から 2.1.2 へ)
    • レシピ 0.1.17から0.2.0へ
    • rlang (0.4.12 から 1.0.1 へ)
    • rpart バージョン 4.1-15 から 4.1.16 への移行
    • RSQLite (2.2.9 から 2.2.10 へ)
    • sparklyr (1.7.4 から 1.7.5 へ)
    • testthat (3.1.1 から 3.1.2 へ)
    • tidyr (1.1.4 から 1.2.0 へ)
    • tidyselect (1.1.1 から 1.1.2 へ)
    • tinytex (0.36 から 0.37 へ)
    • yaml (2.2.1 から 2.3.5 へ)
  • アップグレードされた Java ライブラリ:
    • io.delta.delta-sharing-spark_2.12 (0.3.0 から 0.4.0 へ)

Apache Spark

Databricks Runtime 10.4 LTS には、Apache Spark 3.2.1 が含まれています。 このリリースには、Databricks Runtime 10.3 (サポート期間終了) に含まれる Spark のすべての修正プログラムと機能強化に加え、Spark に対して行われた以下の追加のバグ修正と機能強化が含まれています。

  • [SPARK-38322] [SQL] サポート クエリ ステージで、書式設定された Explain モードでのランタイム統計の表示
  • [SPARK-38162] [SQL] 通常および AQE オプティマイザーで 1 つの行プランを最適化する
  • [SPARK-38229] [SQL] パーサー時に visitReplaceTable で temp/external/ifNotExists をチェックしないでください
  • [SPARK-34183] [SS] DataSource V2: マイクロバッチ実行で必要な配布と順序
  • [SPARK-37932] [SQL] DeduplicateRelations を適用する前に、不足している属性の解決を待機
  • [SPARK-37904] [SQL] オプティマイザーのルールで RebalancePartitions を改善
  • [SPARK-38236] [SQL][3.2][3.1] create/alter table の "new Path(locationUri).isAbsolute" でテーブルの場所が絶対かどうかを確認する
  • [SPARK-38035] [SQL] 組み込みの JDBC 言語用の docker テストを追加
  • [SPARK-38042] [SQL] ScalaReflection.dataTypeFor がエイリアス化された配列型で動作するように保証
  • [SPARK-38273] [SQL] decodeUnsafeRowsの反復子は基になる入力ストリームを閉じる必要がある
  • [SPARK-38311] [SQL] ANSI モードの DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite を修正
  • [SPARK-38305] [CORE] FileUtil メソッドを呼び出す前に、unpack() でソースが存在するかどうかを明示的に検査
  • [SPARK-38275] [SS] RocksDB 状態ストアのメモリ使用量の合計として writeBatch のメモリ使用量を含める
  • [SPARK-38132] [SQL] NotPropagation 規則の削除
  • [SPARK-38286] [SQL] Union の maxRows と maxRowsPerPartition がオーバーフローする可能性がある
  • [SPARK-38306] [SQL] ANSI モードの ExplainSuite、StatisticsCollectionSuite、StringFunctionsSuite を修正
  • [SPARK-38281] [SQL][tests] ANSI モードでの AnalysisSuite の修正
  • [SPARK-38307] [SQL][tests] Ansi モードでの ExpressionTypeCheckingSuite と CollectionExpressionsSuite の修正
  • [SPARK-38300] [SQL] catalyst.util で ByteStreams.toByteArray を使用して fileToStringresourceToBytes を簡略化
  • [SPARK-38304] [SQL] Elt() は、ANSI モードでインデックスが null の場合は null を返す必要がある
  • [SPARK-38271] PoissonSampler で MaxRows よりも多くの行が出力される場合がある
  • [SPARK-38297] [PYTHON] POS での DataFrame.to_numpy の戻り値を明示的にキャストする
  • [SPARK-38295] [SQL][tests] ANSI モードでの ArithmeticExpressionSuite の修正
  • [SPARK-38290] [SQL] ANSI モードの JsonSuite と ParquetIOSuite を修正
  • [SPARK-38299] [SQL] StringBuilder.newBuilder の非推奨の使用をクリーンアップ
  • [SPARK-38060] [SQL] JSON リーダーで引用符で囲まれた NaN 値と Infinity 値を解析するときに allowNonNumericNumbers を尊重する
  • [SPARK-38276] [SQL] ANSI モードで承認済みの TPCDS プランを追加
  • [SPARK-38206] [SS] ストリーム-ストリーム結合で結合キーのデータ型を比較するときに、NULL 値の許容を無視
  • [SPARK-37290] [SQL]-非決定論的関数の場合の指数関数的な計画時間
  • [SPARK-38232] [SQL] AQE のクエリステージにおいて、説明の書式機能はサブクエリを収集しません。
  • [SPARK-38283] [SQL] ANSI モードでの無効な datetime 解析をテスト
  • [SPARK-38140] [SQL] タイムスタンプ型の Desc 列の統計 (最小、最大) が、タイム ゾーンの違いにより値と一致しない
  • [SPARK-38227] [SQL][ss] 時間枠またはセッション枠で入れ子になっている列の厳密な NULL 値の許容を適用
  • [SPARK-38221] [SQL] 複雑なグループ化式を Aggregate ノードから移動するときに groupingExpressions をしきりに反復
  • [SPARK-38216] [SQL] Hive テーブルの作成時にすべての列がパーティション分割された列である場合、早期に失敗する
  • [SPARK-38214] [SS] windowDuration が slideDuration の倍数の場合、ウィンドウをフィルター処理する必要はない
  • [SPARK-38182] [SQL] プッシュされたフィルターに参照が含まれていない場合に NoSuchElementException を修正
  • [SPARK-38159] [SQL] 非表示のファイル メタデータに新しい FileSourceMetadataAttribute を追加
  • [SPARK-38123] [SQL] DataTypetargetTypeQueryExecutionErrors#castingCauseOverflowError として統一的に使用
  • [SPARK-38118] [SQL] HAVING 句の Func(誤ったデータ型) でデータ不一致エラーをスローする必要がある
  • [SPARK-35173] [SQL][python] サポートを追加する複数の列を追加する
  • [SPARK-38177] [SQL] オプティマイザーで誤った transformExpressions を修正
  • [SPARK-38228] [SQL] レガシ ストアの割り当ては、ANSI モードでエラーが発生しても失敗しないようにする必要がある
  • [SPARK-38173] [SQL] 引用符で囲まれた列が正しく認識されないのは、quotedRegexColumnNa…
  • [SPARK-38130] [SQL] array_sort の順序可能なエントリのチェックを削除
  • [SPARK-38199] [SQL] dataType の定義で指定されている未使用の IntervalColumnAccessor を削除
  • [SPARK-38203] [SQL] ANSI モードで SQLInsertTestSuite と SchemaPruningSuite を修正
  • [SPARK-38163] [SQL] 関数ビルダーの構築中に SparkThrowable のエラー クラスを保持
  • [SPARK-38157] [SQL] テスト timestampNTZ/timestamp.sql と SQLQueryTestSuite で ANSI を false に明示的に設定して、予想されるゴールデン結果に一致させる
  • [SPARK-38069] [SQL][ss] 時間枠の計算を改善する
  • [SPARK-38164] [SQL] 新しい SQL 関数: try_subtract と try_multiply
  • [SPARK-38176] [SQL] ANSI モード: 文字列の他のシンプルな型への暗黙的なキャストを許可
  • [SPARK-37498] [PYTHON] test_reuse_worker_of_parallelize_range の最終的な追加
  • [SPARK-38198] [SQL][3.2] explainMode が CodegenMode のとき、渡された maxFields が QueryExecution.debug#toFile で使用されるように修正
  • [SPARK-38131] [SQL] ユーザー向けの例外でのみエラー クラスを使用
  • [SPARK-37652] [SQL] UNION による傾斜結合を最適化するためのテストを追加
  • [SPARK-37585] [SQL] DataSourceRDD の InputMetric を TaskCompletionListener で更新する
  • [SPARK-38113] [SQL] ピボットの実行エラーでエラー クラスを使用
  • [SPARK-38178] [SS] RocksDB のメモリ使用量を測定するロジックを修正
  • [SPARK-37969] [SQL] HiveFileFormat でフィールド名の検査が必要
  • [SPARK-37652] “[SQL] UNION による傾斜結合を最適化するためのテストを追加” を取り消し
  • [SPARK-38124] [SQL][ss] StatefulOpClusteredDistribution を導入し、ストリーム-ストリーム結合に適用
  • [SPARK-38030] [SQL] 正規化では AttributeReference dataType の null 値許容を削除しないでください
  • [SPARK-37907] [SQL] InvokeLike は ConstantFolding をサポート
  • [SPARK-37891] [CORE] scala.concurrent.ExecutionContext.Implicits.global を無効にするための scalastyle 検査を追加
  • [SPARK-38150] [SQL] RelationConversions の更新コメント
  • [SPARK-37943] [SQL] グループ化のコンパイル エラーでエラー クラスを使用
  • [SPARK-37652] [SQL]ユニオンを介して偏った結合を最適化するためのテストを追加する
  • [SPARK-38056] [Web UI][3.2] LevelDB を使用しているときに、履歴サーバーで構造化ストリーミングが動作しない問題を修正
  • [SPARK-38144] [CORE] 使用されていない spark.storage.safetyFraction 構成を削除する
  • [SPARK-38120] [SQL] パーティション列名が大文字で、パーティション値がドットである場合に HiveExternalCatalog.listPartitions を修正する
  • [SPARK-38122] [Docs] DocSearch のアプリ キーを更新する
  • [SPARK-37479] [SQL] DROP NAMESPACE を既定で V2 コマンドを使用するように移行
  • [SPARK-35703] [SQL] バケット結合の制約を緩和し、HashClusteredDistribution を削除する
  • [SPARK-37983] [SQL] 並べ替え集計から agg build time メトリックを取り消し
  • [SPARK-37915] [SQL] UNION と UNION の間にプロジェクトがある場合は、UNION を統合
  • [SPARK-38105] [SQL] 結合の解析エラーでエラー クラスを使用
  • [SPARK-38073] [PYTHON] 遅延バインディングの問題を回避するために atexit 関数を更新する
  • [SPARK-37941] [SQL] 型変換のコンパイルエラーにエラークラスを使用する
  • [SPARK-37937] [SQL] 横結合の解析エラーでエラー クラスを使用する
  • [SPARK-38100] [SQL] で使用されていないプライベート メソッドを削除する Decimal
  • [SPARK-37987] [SS] クエリを再起動するときの不安定なテスト StreamingAggregationSuite.changing schema of state を修正
  • [SPARK-38003] [SQL] LookupFunctions ルールは、スカラー関数レジストリからの関数のみを参照する必要がある
  • [SPARK-38075] [SQL] hasNextのプロセス出力反復子のHiveScriptTransformationExecを修正する
  • [SPARK-37965] [SQL] Orc で既存のデータを読み書きするときにチェック フィールド名を削除する
  • [SPARK-37922] [SQL] 2 つのキャストを安全にアップキャストできる場合は、1 つのキャストに結合 (dbr-branch-10.x の場合)
  • [SPARK-37675] [SPARK-37793] シャッフルが完了した後、マージされたファイルのプッシュ シャッフルが上書きされないようにする
  • [SPARK-38011] [SQL] ParquetFileFormat で重複した不要な構成を削除する
  • [SPARK-37929] [SQL] dropNamespace API のカスケード モードをサポート
  • [SPARK-37931] [SQL] 必要に応じて列名を引用符で囲む
  • [SPARK-37990] [SQL] RowToColumnConverter で TimestampNTZ をサポート
  • [SPARK-38001] [SQL] サポートされていない機能に関連するエラー クラスを UNSUPPORTED_FEATURE に置換
  • [SPARK-37839] [SQL] DS V2 は、部分的な集計プッシュダウン AVG をサポート
  • [SPARK-37878] [SQL] 既定で v2 コマンドを使用するように SHOW CREATE TABLE を移行する
  • [SPARK-37731] [SQL] アナライザーでの関数参照のリファクタリングとクリーンアップ
  • [SPARK-37979] [SQL] AES 関数のより汎用的なエラー クラスに切り替え
  • [SPARK-37867] [SQL] 組み込みの JDBC 言語の集計関数をコンパイル
  • [SPARK-38028] [SQL] ArrowColumnVector から矢印ベクトルを公開
  • [SPARK-30062] [SQL] DB2 言語の切り捨て実装に IMMEDIATE ステートメントを追加
  • [SPARK-36649] [SQL] Kafka データ ソースで Trigger.AvailableNow をサポート
  • [SPARK-38018] [SQL] CalendarIntervalType を正しく処理できるように ColumnVectorUtils.populate を修正
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemovedExecutorDecommission を終了として処理する必要がある
  • [SPARK-38019] [CORE] ExecutorMonitor.timedOutExecutors を決定論的にする
  • [SPARK-37957] [SQL] V2 スカラー関数の決定論的フラグを正しく渡す
  • [spark-37985] [SQL] SPARK-37578 の不安定テストを修正
  • [SPARK-37986] [SQL] 基数の並べ替えで TimestampNTZ をサポート
  • [SPARK-37967] [SQL] Literal.create が ObjectType をサポート
  • [SPARK-37827] [SQL] 組み込みのテーブル プロパティをいくつか V1Table.propertie に配置して V2 コマンドに適応させる
  • [SPARK-37963] [SQL] InMemoryCatalog でテーブルの名前を変更した後にパーティション URI を更新する必要がある
  • [SPARK-35442] [SQL] 集計/UNION を使用して空のリレーションシップの伝播をサポート
  • [SPARK-37933] [SQL] V2ScanRelationPushDown プッシュダウン ルールのトラバーサル メソッドを変更
  • [SPARK-37917] [SQL] 結合条件が空の場合、左半/反結合の右側で制限 1 をプッシュ ダウン
  • [SPARK-37959] [ML] KMeans と BiKMeans におけるノルムの検査の UT を修正
  • [SPARK-37906] [SQL] spark-sql で最後のコメントをバックエンドに渡してはいけない
  • [SPARK-37627] [SQL] BucketTransform に並べ替えられた列を追加する

メンテナンスの更新

Databricks Runtime 10.4 LTS メンテナンス更新プログラムに関するページを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.4 LTS
    • : これは、Databricks ランタイム コンテナーで使用される Ubuntu バージョンです。 Databricks ランタイム コンテナーは、クラウド プロバイダーの仮想マシン上で実行されます。これは、別の Ubuntu バージョンまたは Linux ディストリビューションを使用する可能性があります。
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

インストールされている Python ライブラリ

Library Version Library Version Library Version
Antergos Linux 2015年10月 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 デコレータ 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 ノートブック 6.3.0 numpy 1.20.1
packaging 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 ホイール 0.36.2 widgetsnbextension 3.5.1

インストールされている R ライブラリ

R ライブラリは、2022 年 2 月 24 日の Microsoft CRAN スナップショットからインストールされています。 スナップショットは使用できなくなりました。

Library Version Library Version Library Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
ベース 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 BLOB 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
クラス 7.3-20 cli 3.2.0 clipr 0.8.0
クラスタ 2.1.2 codetools 0.2-18 colorspace 2.0-3
commonmark 1.7 コンパイラ 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.5.0 認証情報 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 ダイジェスト 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
省略記号 0.3.2 evaluate 0.15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 ジェネリック 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.2 grDevices 4.1.2
グリッド 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.37 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
ライフサイクル 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-55
Matrix 1.4-0 memoise 2.0.1 methods 4.1.2
mgcv 1.8-39 mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 progress 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 プロキシ 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.0
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
シェイプ 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 空間の 7.3-11
splines 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.3.1 whisker 0.4 withr 2.4.3
xfun 0.29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

インストールされている Java および Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ識別子 アーティファクト ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーミング 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib コア 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger プロファイラ 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクター 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation アクティブ化 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1