Share via


Databricks Runtime 10.3 (サポート対象外)

次のリリース ノートには、Apache Spark 3.2.1 で稼働する Databricks Runtime 10.3 と Databricks Runtime 10.3 に関する情報が記載されています。 Photonパブリック プレビュー段階にあります。 Databricks は、2022 年 2 月にこれらのイメージをリリースしました。

新機能と機能強化

Parquet データ ソースのタイムスタンプをリベースするときに Parquet と Avro のライターで使用するタイム ゾーンがセッションのものに変更

legacy モードでタイムスタンプをリベースする間、Parquet と Avro のライターでは、JVM のタイム ゾーン (既定) を使用する代わりにセッションのタイム ゾーンを使用するようになりました。 既定では、セッションのタイム ゾーンは JVM のタイム ゾーンに設定されています。

Spark SQL の新しい関数

このリリースでは、次の Spark SQL 関数がサポートされるようになりました。

  • aes_decrypt: AES を使用して入力を暗号化解除します。
  • aes_encrypt: AES を使用して入力を暗号化します。
  • contains: 式に別の式が含まれているかどうかを判定します。
  • endswith: 式が別の式で終わるかどうかを判定します。
  • percentile_cont: パーセンタイル値を返します。
  • startswith: 式が別の式で始まるかどうかを判定します。

低シャッフル マージの一般提供開始

Delta の MERGE INTO コマンドでは、変更されていない行のシャッフルを削減する "低シャッフル マージ" と呼ばれる手法を使用します。 これによってコマンドのパフォーマンスが向上し、テーブルに対する既存のクラスタリング (Z オーダーなど) を保持するのに役立ちます。 この機能はパブリック プレビューとして Databricks Runtime 9.0 に導入されていましたが、このたび一般提供になりました。 低シャッフル マージを有効にするには、spark.databricks.delta.merge.enableLowShuffletrue に設定します。 「Azure Databricks での低シャッフル マージ」を参照してください。

COPY INTO の新しい機能: 検証モードとスキーマの展開

検証モード: COPY INTO で、VALIDATE モードがサポートされるようになりました。このモードでは、テーブルに読み込まれる予定のデータが検証されますが、テーブルへの書き込みは行われません。 次のような検証が行われます。

  • データを解析できるかどうか。
  • スキーマがテーブルのものと一致するかどうか、またはスキーマを展開する必要があるかどうか。
  • NULL 値の許容と CHECK 制約がすべて満たされているかどうか。

使用例:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

既定では、読み込まれるすべてのデータが検証されます。 VALIDATE 15 ROWS のように、ROWS キーワードを使用して、検証する行数を指定できます。 ROWS キーワードで 50 未満の数値を使用すると、COPY INTO ステートメントから、50 行以下のデータのプレビューが返されます。

スキーマの展開: COPY INTO で、COPY_OPTIONSmergeSchema オプションを使用したスキーマの展開がサポートされるようになりました。 テーブルのスキーマを展開するには、テーブルに対する OWN アクセス許可を持っている必要があります。

使用例:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

COPY INTO」を参照してください。

Delta テーブルで ID 列がサポートされるようになりました (パブリック プレビュー)

Delta Lake で ID 列がサポートされるようになりました。 ID 列を定義する Delta テーブルに書き込み、その列の値を指定しない場合、Delta によって、一意で統計的に増減する値が自動的に割り当てられるようになりました。 「CREATE TABLE [USING]」を参照してください。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • distlib (0.3.3 から 0.3.4 へ)
    • filelock (3.4.0 から 3.4.2 へ)
    • numpy (1.19.2 から 1.20.1 へ)
    • plotly (5.3.1 から 5.5.0 へ)
  • アップグレードされた R ライブラリ:
    • backports (1.4.0 から 1.4.1 へ)
    • brio (1.1.2 から 1.1.3 へ)
    • broom (0.7.10 から 0.7.11 へ)
    • class (7.3-19 から 7.3-20 へ)
    • cpp11 (0.4.1 から 0.4.2 へ)
    • DBI (1.1.1 から 1.1.2 へ)
    • devtools (2.4.2 から 2.4.3 へ)
    • digest (0.6.28 から 0.6.29 へ)
    • dtplyr (1.1.0 から 1.2.0 へ)
    • fansi (0.5.0 から 1.0.2 へ)
    • foreign (0.8-81 から 0.8-82 へ)
    • fs (1.5.0 から 1.5.2 へ)
    • gert (1.4.3 から 1.5.0 へ)
    • glue (1.5.0 から 1.6.0 へ)
    • httpuv (1.6.3 から 1.6.5 へ)
    • jsonlite (1.7.2 から 1.7.3 へ)
    • knitr (1.36 から 1.37 へ)
    • MASS (7.3-54 から 7.3-55 へ)
    • Matrix (1.3-4 から 1.4-0 へ)
    • nlme (3.1-152 から 3.1-155 へ)
    • nnet frm (7.3-16 から 7.3-17 へ)
    • openssl (1.4.5 から 1.4.6 へ)
    • parallelly (1.29.0 から 1.30.0 へ)
    • pkgbuild (1.2.0 から 1.3.1 へ)
    • pkgload (1.2.3 から 1.2.4 へ)
    • progressr (0.9.0 から 0.10.0 へ)
    • Rcpp (1.0.7 から 1.0.8 へ)
    • readr (2.1.0 から 2.1.1 へ)
    • remotes (2.4.1 から 2.4.2 へ)
    • RSQLite (2.2.8 から 2.2.9 へ)
    • sessioninfo (1.2.1 から 1.2.2 へ)
    • sparklyr (1.7.2 から 1.7.4 へ)
    • testthat (3.1.0 から 3.1.1 へ)
    • tinytex (0.35 から 0.36 へ)
    • usethis (2.1.3 から 2.1.5 へ)
    • vroom (1.5.6 から 1.5.7 へ)
    • withr (2.4.2 から 2.4.3 へ)
    • xfun (0.28 から 0.29 へ)
    • xml2 (1.3.2 から 1.3.3 へ)
  • アップグレードされた Java ライブラリ:
    • dev.ludovic.netlib.arpack (1.3.2 から 2.2.1 へ)
    • dev.ludovic.netlib.blas (1.3.2 から 2.2.1 へ)
    • dev.ludovic.netlib.lapack (1.3.2 から 2.2.1 へ)
    • io.delta.delta-sharing-spark_2.12 (0.2.0 から 0.3.0 へ)

Apache Spark

Databricks Runtime 10.3 には、Apache Spark 3.2.1 が含まれています。 このリリースには、Databricks Runtime 10.2 (サポート対象外) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-37896] [SQL] ConstantColumnVector を実装し、隠しファイルのメタデータのパフォーマンスを向上
  • [SPARK-37924] [SQL] VIEW (v1) に対する SHOW CREATE TABLE でキーによってテーブルのプロパティを並べ替える
  • [SPARK-37636] [SQL] 既定で V2 コマンドを使用するように CREATE NAMESPACE を移行
  • [SPARK-37381] [SQL] v1 と v2 の SHOW CREATE TABLE のテストを統合
  • [SPARK-37876] [CORE][SQL] SpecificParquetRecordReaderBase.listDirectoryTestUtils に移動
  • [SPARK-37854] [CORE] Spark コードで型チェックをパターン マッチングに置き換える
  • [SPARK-36967] [CORE] 傾斜がある場合に正確なシャッフル ブロック サイズを報告
  • [SPARK-37864] [SQL] Parquet DataPage V2 で RLE エンコードを使用したブール値のベクター化読み取りをサポート
  • [SPARK-37862] [SQL] 整列されていないプラットフォームで RecordBinaryComparator が整列チェックを高速スキップしない
  • [SPARK-37855] [SQL] 入れ子になった構造体内の配列を変換するときの IllegalStateException
  • [SPARK-37858] [SQL] AES 関数からのエラー クラスで SparkRuntimeException をスロー
  • [SPARK-37841] [SQL] スキップされたファイルの状態を BasicWriteTaskStatsTracker が誤って取得しようとする
  • [SPARK-37860] [UI] ステージ ページのタスク イベント タイムラインで taskindex を修正
  • [SPARK-36879] [SQL] ベクター化されたパスに対して Parquet v2 のデータ ページ エンコード (DELTA_BINARY_PACKED) をサポート
  • [SPARK-37828] [SQL] RebalancePartitions を使用したフィルターのプッシュ ダウン
  • [SPARK-37802] [SQL][3.2] 集計プッシュ ダウンで複合フィールド名が機能しない
  • [SPARK-37826] [SQL] Hive ORC 実装用の ORC ファイル名で zstd コーデック名を使用
  • [SPARK-37820] [SQL] 文字列関数の ApacheCommonBase64 を JavaBase64 に置き換える
  • [SPARK-37832] [SQL] ORC 構造体コンバーターで、リンクされたリストではなく配列を使用してフィールド コンバーターを検索する必要がある
  • [SPARK-37786] [SQL] StreamingQueryListener で、対応する SessionState の SQLConf を SQLConf.get を使用して取得する操作をサポート
  • [SPARK-37527] [SQL] より多くの標準集計関数をプッシュダウンのために変換
  • [SPARK-37777] [SQL] SHOW FUNCTIONS の SQL 構文を更新
  • [SPARK-8582] [CORE] 実際にその実行を指示されたときのチェックポイントを厳格化
  • [SPARK-37822] [SQL] StringSplit は null でない要素の配列を返す必要がある
  • [SPARK-37812] [SQL] ORC 構造体を逆シリアル化するときに可能であれば結果行を再利用する
  • [SPARK-37367] [SQL] DDLParserSuite.create ビューで例外テストを再有効化 – 基本
  • [SPARK-37796] [SQL] 整列されていないプラットフォームで ByteArrayMethods arrayEquals が整列チェックを高速スキップしない
  • [SPARK-37817] [SQL][Minor] complexTypeExtractors.scala 内の到達不能なコードを削除
  • [SPARK-37807] [SQL] HttpAuthenticationException メッセージの誤字を修正
  • [SPARK-37750] [SQL] ANSI モード: 配列またはマップに要素が存在しない場合に必要に応じて null の結果を返す
  • [SPARK-37789] [SQL] DS V2 の一般的な集計関数を表すためのクラスを追加
  • [SPARK-37785] [SQL][CORE] Utils.isInRunningSparkTask を追加
  • [SPARK-37780] [SQL] QueryExecutionListener で、対応する SessionState の SQLConf を SQLConf.get を使用して取得する操作をサポート
  • [SPARK-37783] [SS][SQL][CORE] 可能な限り末尾再帰を有効にする
  • [SPARK-37726] [SQL] 並べ替えマージ結合のスピル サイズ メトリックを追加
  • [SPARK-37800] [SQL] TreeNode.argString による Set[_] 型引数のフォーマットが正しくない
  • [SPARK-37716] [SQL] LateralJoin に非決定論的な式があるときのエラー メッセージを改善
  • [SPARK-37779] [SQL] ColumnarToRowExec プランが (逆) シリアル化後に正規化可能に
  • [SPARK-37578] [SQL] タスク メトリックを ds v2 カスタム メトリックから更新
  • [SPARK-37676] [SQL] ANSI 集計関数をサポート: percentile_cont
  • [SPARK-37724] [SQL] ANSI モード: ANSI 予約キーワードを既定で無効化
  • [SPARK-37705] [SQL][3.2] Parquet/Avro メタデータに保存されているセッション タイム ゾーンのタイムスタンプをリベース
  • [SPARK-34755] [SQL] 数値形式の変換のためのユーティリティをサポート
  • [SPARK-36703] [SQL] RepartitionByExpression の子である場合は Sort を削除
  • [SPARK-37369] [SQL] InMemoryTableScan での冗長な ColumnarToRow 遷移を回避
  • [SPARK-37450] [SQL] Generate から不要なフィールドを削除
  • [SPARK-37728] [SQL] 入れ子になった列を ORC ベクター化リーダーで読み取ると ArrayIndexOutOfBoundsException が発生する可能性がある
  • [SPARK-37564] [SQL] キーをグループ化せずに集計を並べ替えるための code-gen を追加
  • [SPARK-37659] [UI][3.2] ログ情報の一覧表示と削除の間で FsHistoryProvider が競合状態に陥る現象を修正
  • [SPARK-37727] [SQL] SparkSession.builder.getOrCreate で既に設定されている構成に関して、無視されている構成を表示し警告を非表示にする
  • [SPARK-37391] [SQL] JdbcConnectionProvider がセキュリティ コンテキストを変更する場合にそのことが通知される
  • [SPARK-37273] [SQL] Spark SQL で隠しファイルのメタデータ列をサポート
  • [SPARK-36876] [SQL] HiveTableScanExec の動的パーティション排除をサポート
  • [SPARK-37546] [SQL] V2 ReplaceTableAsSelect コマンドでは場所の修飾が必要
  • [SPARK-37545] [SQL] V2 CreateTableAsSelect コマンドでは場所の修飾が必要
  • [SPARK-37707] [SQL] datetime 型の間でストア代入と暗黙的なキャストを許可
  • [SPARK-37644] [SQL] datasource v2 の完全な集計プッシュダウンをサポート
  • [SPARK-37695] [CORE][SHUFFLE] プッシュベースのシャッフルからマージされたブロックの診断をスキップ
  • [SPARK-35295] [ML] com.github.fommil.netlib を dev.ludovic.netlib:2.0 で完全に置き換え
  • [SPARK-37694] [SQL] Spark SQL CLI でリソースの削除を禁止
  • [SPARK-37330] [SQL] ReplaceTableStatement を v2 コマンドに移行
  • [SPARK-27974] [SQL] ANSI 集計関数をサポート: array_agg
  • [SPARK-36902] [SQL] CreateTableAsSelectStatement を v2 コマンドに移行
  • [SPARK-37678] [PYTHON] _cleanup_and_return シグネチャを修正
  • [SPARK-37613] [SQL] ANSI 集計関数をサポート: regr_count
  • [SPARK-37689] [SQL] PropagateEmptyRelation で Expand のサポートが必要
  • [SPARK-37654] [SQL] フィールドが Null の場合の Row.getSeq の NPE を修正
  • [SPARK-37496] [SQL] ReplaceTableAsSelectStatement を v2 コマンドに移行
  • [SPARK-37483] [SQL] トップ N から JDBC データ ソース V2 へのプッシュ ダウンをサポート
  • [SPARK-37577] [SQL] ClassCastException を修正: ArrayType を StructType にキャストして排除を生成できない
  • [SPARK-37310] [SQL] 既定で V2 コマンドを使用するように ALTER NAMESPACE … SET PROPERTIES を移行
  • [SPARK-37501] [SQL] v2 コマンドの CREATE/REPLACE TABLE では場所の修飾が必要
  • [SPARK-37343] [SQL] JDBC で createIndex、IndexExists、dropIndex を実装 (Postgres 方言)
  • [SPARK-37060] [CORE][3.2] バックアップ マスターからのドライバー状態応答を処理
  • [SPARK-37629] [SQL] Expression.canonicalized を高速化
  • [SPARK-37633] [SQL] ダウンキャストが失敗した場合にキャストのラップ解除がスキップされない
  • [SPARK-37631] [SQL] 数学関数で文字列を double 型に昇格するときのコード クリーンアップ
  • [SPARK-37569] [SQL] 入れ子になったビュー フィールドを Null 許容としてマークしないこと
  • [SPARK-37557] [SQL] 子が既に並べ替えられている場合はオブジェクト ハッシュを並べ替え集計に置き換える
  • [SPARK-36850] [SQL] CreateTableStatement を v2 コマンド フレームワークに移行
  • [SPARK-37592] [SQL] JoinSelection のパフォーマンスを改善
  • [SPARK-37217] [SQL] 外部テーブルに書き込むときに動的パーティション数の早期チェックが必要
  • [SPARK-37584] [SQL] 新しい SQL 関数: map_contains_key
  • [SPARK-37455] [SQL] 子が既に並べ替えられている場合はハッシュを並べ替え集計に置き換える
  • [SPARK-34735] [SQL][UI] UI での SQL 実行のための変更された構成を追加
  • [SPARK-37540] [SQL] サポートされていないタイム トラベルの検出を強化
  • [SPARK-37376] [SQL] 新しい DataSource V2 インターフェイス HasPartitionKey を導入
  • [SPARK-37666] [SQL] aes_encrypt()/aes_decrypt()GCM を既定のモードとして設定
  • [SPARK-37573] [SQL] IsolatedClientLoader は (常に hadoop-2.7.4 ではなく) 適切なバージョンにフォールバックする必要がある
  • [SPARK-37561] [SQL] ハイブの DelegationToken を取得するときにすべての関数を読み込むのを避ける
  • [SPARK-37370] [SQL] 3.3 で新しく追加された結合 code-gen を制御するための SQL 構成を追加
  • [SPARK-37311] [SQL] 既定で V2 コマンドを使用するように ALTER NAMESPACE … SET LOCATION を移行
  • [SPARK-37192] [SQL] 既定で V2 コマンドを使用するように SHOW TBLPROPERTIES を移行
  • [SPARK-37219] [SQL] AS OF 構文のサポートを追加
  • [SPARK-37316] [SQL] 既存の並べ替えマージ結合のための code-gen を追加
  • [SPARK-37591] [SQL] aes_encrypt()/aes_decrypt() による GCM モードをサポート
  • [SPARK-37586] [SQL] mode および padding 引数を aes_encrypt()/aes_decrypt() に追加
  • [SPARK-12567] [SQL] aes_encrypt および aes_decrypt 組み込み関数を追加
  • [SPARK-37392] [SQL] Generate の制約を推論するときのパフォーマンスのバグを修正
  • [SPARK-37481] [Core][WebUI] スキップしたステージが再試行後に消失する現象を修正
  • [SPARK-37533] [SQL] 新しい SQL 関数: try_element_at
  • [SPARK-37451] [SQL] spark.sql.legacy.allowNegativeScaleOfDecimal が有効な場合のキャスト文字列型を 10 進型に修正
  • [SPARK-37062] [SS] マイクロバッチごとに一貫した行のセットを提供するための新しいデータ ソースを導入
  • [SPARK-37552] [SQL] convert_timezone() 関数を追加
  • [SPARK-37555] [SQL] spark-sql で最後の閉じていないコメントをバックエンドに渡す必要がある
  • [SPARK-37286] [SQL] compileAggregates を JDBCRDD から JdbcDialect に移動
  • [SPARK-37485] [CORE][SQL] 結果を生成しない式を含む mapforeach に置き換え
  • [SPARK-37556] [SQL] Deser void クラスが Java シリアル化で失敗する
  • [SPARK-37520] [SQL] startswith() および endswith() 文字列関数を追加
  • [SPARK-37471] [SQL] 入れ子の角かっこで囲まれたコメント内の ; を spark-sql がサポート
  • [SPARK-37360] [SQL] JSON データ ソースで TimestampNTZ をサポート
  • [SPARK-37508] [SQL] CONTAINS() 文字列関数を追加
  • [SPARK-37494] [SQL] SHOW CREATE TABLE コマンドの v1 および v2 オプションの出力を統合
  • [SPARK-37524] [SQL] 動的なパーティションの排除をテストした後はすべてのテーブルを削除する必要がある。
  • [SPARK-37389] [SQL] 閉じていないブラケット付きコメントのチェック
  • [SPARK-37220] [SQL] 集計プッシュ ダウンで Parquet リーダー用の入力ファイルを分割しない
  • [SPARK-37326] [SQL] CSV データ ソースで TimestampNTZ をサポート
  • [SPARK-35867] [SQL] VectorizedPlainValuesReader.readBooleans のベクター化された読み取りを有効化
  • [SPARK-37484] [CORE][SQL] get および getOrElsegetOrElse に置き換え
  • [SPARK-37492] [SQL] withAllNativeOrcReaders を使用して ORC テスト コードを最適化
  • [SPARK-37458] [SS] foreachBatch のプランから不要な SerializeFromObject を削除

メンテナンスの更新

Databricks Runtime 10.3 メンテナンス更新プログラム」を参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.4.2 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 ノートブック 6.3.0 numpy 1.20.1
パッケージング 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 6 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

インストールされている R ライブラリ

R ライブラリは、2022 年 1 月 19 日に Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob (blob) 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.3 broom 0.7.11
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
キャレット 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.1.0 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.4.2 資格情報 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.7 dtplyr 1.2.0 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.14 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.23.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.1
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.0 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 graphics 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 haven 2.4.3 highr 0.9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 KernSmooth 2.23-20
knitr 1.37 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 ライフサイクル 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1.1 MASS 7.3-55 Matrix 1.4-0
memoise 2.0.1 methods 4.1.2 mgcv 1.8-38
mime 0.12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-155 nnet 7.3-17
numDeriv 2016.8-1.1 openssl 1.4.6 parallel 4.1.2
parallelly 1.30.0 pillar 1.6.4 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
progress 1.2.2 progressr 0.10.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
readr 2.1.1 readxl 1.3.1 recipes 0.1.17
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.1 reshape2 1.4.4 rlang 0.4.12
rmarkdown 2.11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0.13 rversions 2.1.1
rvest 1.0.2 sass 0.4.0 scales 1.1.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.1 sourcetools 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 spatial 7.3-11 splines 4.1.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.1.2
stats4 4.1.2 stringi 1.7.6 stringr 1.4.0
survival 3.2-13 sys 3.4 tcltk 4.1.2
TeachingDemos 2.10 testthat 3.1.1 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
timeDate 3043.102 tinytex 0.36 tools 4.1.2
tzdb 0.2.0 usethis 2.1.5 utf8 1.2.2
utils 4.1.2 uuid 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 vroom 1.5.7 waldo 0.3.1
whisker 0.4 withr 2.4.3 xfun 0.29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1 zip 2.2.0

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.3.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1