Databricks Runtime 10.0 (サポート対象外)

次のリリース ノートには、Apache Spark 3.2.0 で稼働する Databricks Runtime 10.0 と Databricks Runtime 10.0 Photon に関する情報が記載されています。 Databricks は、2021 年 10 月にこれらのイメージをリリースしました。 Photonパブリック プレビュー段階にあります。

新機能と機能強化

新しいバージョンの Apache Spark

Databricks Runtime 10.0 と Databricks Runtime 10.0 Photon には、Apache Spark 3.2.0 が含まれています。 詳細については、「Apache Spark」を参照してください。

SELECT テートメントが、ウィンドウ関数の結果をフィルター処理するための QUALIFY 句をサポートするようになりました

SELECT ステートメントで QUALIFY 句がサポートされるようになりました。 QUALIFY は、ウィンドウ関数の結果をフィルター処理するために使用できます。 1 つまたは複数のウィンドウ関数が SELECT リストまたは QUALIFY 条件のいずれかに存在する必要があります。 次に例を示します。

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

JDK 11 のクラスター サポート (パブリック プレビュー)

Databricks は、Java Development Kit (JDK) 11 のクラスター サポートを提供するようになりました。

クラスターを作成するときに、クラスターで JDK 11 (ドライバーと実行プログラムの両方) を使用するように指定できます。 これを行うには、次の環境変数を [詳細オプション] > [Spark] > [環境変数] に追加します。

JNAME=zulu11-ca-amd64

自動ローダーがスキーマを Null 許容として扱うようになりました

自動ローダーでは、推論されたすべてのスキーマとユーザー指定のスキーマが既定で null 値として扱われるようになりました。 これは、データに null 非許容列の null フィールドが含まれている場合にデータが破損する可能性を回避するためのものです。 この動作 spark.databricks.cloudFiles.schema.forceNullable を追跡するために、新しい構成が導入されました。 既定では、この構成には spark.sql.streaming.fileSource.schema.forceNullable の設定が含まれており、これを Apache Spark の FileStreamSource は使用し、既定で true に設定されています。

重大な変更

すべての Spark SQL ユーザーに対する破壊的変更

  • 新しい spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled 構成: true に設定すると、サブクエリが集計されるときに相関等値述語のサブセットが許可されます。 既定の設定は trueです。
  • 新しい spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled 構成: true に設定すると、ビューの作成時の別名の自動生成がブロックされます。 既定の設定は trueです。
  • 新しい spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled 構成: true に設定されていると、空でない場所を持つ CREATE TABLE AS SELECT は許可されません。 既定の設定は trueです。 spark.sql.legacy.allowNonEmptyLocationInCTAStrue にも設定されている場合、この構成は無効であり、空でない場所を持つ CREATE TABLE AS SELECT は常に許可されることに注意してください。

ANSI モードを有効にする Spark SQL ユーザーに対する破壊的変更

ANSI モードについては、「Databricks Runtime での ANSI 準拠」を参照してください。

  • 新しい spark.databricks.behaviorChange.SC83587NextDayDOW.enabled 構成: true に設定すると、next_day 関数への無効な dayOfWeek 引数によって、ANSI モードで IllegalArgumentException がスローされます。それ以外の場合は、null が返されます。 既定の設定は trueです。
  • 新しい spark.databricks.behaviorChange.SC83796CanCast.enabled 構成: true に設定すると、新しい明示的なキャスト構文規則が ANSI モードで有効になります。 既定の設定は trueです。
  • 新しい spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled 構成: true に設定すると、文字列をブール値にキャストするときに解析エラー例外がスローされます。それ以外の場合は、null が返されます。 既定の設定は trueです。
  • 新しい spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled 構成: true に設定すると、入力が範囲外の場合、abs 関数は例外をスローします。 既定の設定は trueです。

すべての Python ユーザーに対する破壊的変更

  • Python API delta.tables.DeltaTable.convertToDelta は、Delta Lake コマンドの実行に使用できる正しい DeltaTable Python オブジェクトを返すようになりました。 以前は、直接呼び出すことができなかった内部オブジェクトを返していました。

ライブラリのアップグレード

Apache Hadoop 3 のアップグレード

  • Databricks Runtime 10.0 では、Hadoop の依存関係を Hadoop 2.7.4 から Hadoop 3.3.1 にアップグレードします。

動作の変更

  • Hadoop 3 は、hadoop-client-api ライブラリと hadoop-client-runtime ライブラリを、hadoop-common ライブラリの代わりに使用します。これは、Hadoop パブリック API または拡張機能で使用される可能性がある特定のサードパーティの依存関係を網掛けします。
  • Hadoop 3 の構成オプションは、Hadoop 2 以降に変更されています。 Hadoop 3.3.1 オプションについては、「core-default.xml」を参照してください。
  • Databricks は、hadoop 3 の既定の構成の一部を Hadoop 2 と整合させ、ストレージ コネクタの既定の認証設定とパフォーマンス レベルが同じであることを確認するために更新しました。
    • fs.azure.authorization.caching.enable = false
    • fs.s3a.attempts.maximum = 10
    • fs.s3a.block.size = 67108864
    • fs.s3a.connection.timeout = 50000
    • fs.s3a.max.total.tasks = 1000
    • fs.s3a.retry.limit = 20
    • fs.s3a.retry.throttle.interval = 500ms
    • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
    • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
  • Google Cloud Storage (GCS) コネクタは、2.1.6 から 2.2.2 にアップグレードされました。
  • Amazon Redshift コネクタは、s3a:// スキームを使用するようになりました。 s3n:// スキームは非推奨とされます。
  • 網掛けされたクラスに加えて、Amazon S3 MetadataStore API の OSS クラス名を処理します。 これにより、名前の付いたクラス名を必要とせずに、OSS 構成を処理できます。
    • たとえば、Hadoop 構成で org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore クラスを指定できます。
  • new Configuration()sparkContext.hadoopConfiguration との一貫性を保ちます。
    • 新しい Hadoop 構成が作成されるたびに、ファイル システム スキームとその既定の構成を含めて、Databricks Runtime 内の sparkContext.hadoopConfiguration の事前定義された Hadoop 構成との一貫性が保たれるようになりました。
  • Databricks Runtime に含まれる Hadoop ストレージ コネクタは Hadoop 3.3.1 と完全に互換性がありますが、OSS Hadoop 3.3.1 コネクタとの同期が保証されておらず、動作が異なる可能性があります。
    • Amazon S3 コネクタは、(警告があっても) user:secret 認証を S3 URL で引き続き許可します。これに対し、HADOOP-14833 はそれを削除します。
  • globStatus は現在並べ替えられた結果を返す(HADOOP-10798)
  • fs.s3a.endpoint が設定されておらず、fs.s3a.endpoint リージョンが null 値の場合、fs.s3a.endpoint が追加された (SPARK-35878)
    • Databricks が提供する Amazon S3 リージョンの自動解決は、グローバル エンドポイントが設定されているためにトリガーされない場合があります。 AWS SDK によってリージョンが正しく解決されるため、これは問題ではありません。
  • 設定されていない場合は fs.s3a.downgrade.syncable.exceptions を追加する (SPARK-35868)
  • LZ4 と Snappy のコーデックはネイティブの Hadoop ライブラリに依存しない (HADOOP-17125)

既知の問題

  • SPARK-36681 Hadoop 3.3.1 の既知の問題 (HADOOP-17891) により、シーケンス ファイルの書き込みに SnappyCodec を使用すると、UnsatisfiedLinkError でエラーが発生する

Apache Spark

Databricks Runtime 10.0 には、Apache Spark 3.2.0 が含まれています。

このセクションの内容は次のとおりです。

ハイライト

  • PySpark での Pandas API レイヤーのサポート (SPARK-34849)
  • EventTime ベースのセッションの最適化 (セッション ウィンドウ) (SPARK-10816)
  • ANSI SQL INTERVAL 型のサポート (SPARK-27790)
  • ANSI モード GA (SPARK-35030)
  • Spark での例外メッセージの標準化 (SPARK-33539)

コアと Spark SQL

ANSI SQL 互換性の強化

  • ANSI SQL INTERVAL 型のサポート (SPARK-27790)
  • ANSI モードでの新しい型の強制変換構文規則 (SPARK-34246)

パフォーマンスの向上

  • クエリ最適化
    • オプティマイザーでの冗長集計の削除 (SPARK-33122)
    • 結合を使用したプロジェクト全体でのプッシュ ダウンの制限 (SPARK-34622)
    • 共用体、並べ替え、範囲演算子のカーディナリティ推定 (SPARK-33411)
    • UnwrapCastInBinaryComparison support In/InSet predicate(SPARK-35316)
    • パーティションの削除後に必要な統計を保持する (SPARK-34119)
  • クエリの実行
    • Zstandard バッファー プールを既定で有効にする (SPARK-34340SPARK-34390)
    • 並べ替えマージ結合のすべての結合の種類にコード生成を追加する (SPARK-34705)
    • ブロードキャスト入れ子になったループ結合の改善 (SPARK-34706)
    • 最終的なハッシュ集計のために 2 レベルのハッシュ マップをサポートする (SPARK-35141)
    • 動的パーティションとバケット テーブルを書き込む同時ライターを許可する (SPARK-26164)
    • Thriftserver での FETCH_PRIOR の処理のパフォーマンスを向上する (SPARK-33655)

コネクタの機能強化

  • Parquet
    • Parquet を 1.12.1 にアップグレードする (SPARK-36726)
    • parquet で int32 物理型として格納されている parquet 符号なし型を読み取る (SPARK-34817)
    • 符号付き int64 物理型として格納されている Parquet 符号なし int64 論理型を decimal(20, 0) に読み取る (SPARK-34786)
    • Parquet In フィルター プッシュダウンの改善 (SPARK-32792)
  • ORC
    • ORC をバージョン 1.6.11 にアップグレードする (SPARK-36482)
    • ORC 強制位置展開のサポート (SPARK-32864)
    • ORC ベクター化リーダーでの入れ子になった列のサポート (SPARK-34862)
    • ORC データ ソースでの ZSTD および LZ4 圧縮のサポート (SPARK-33978SPARK-35612)
  • Avro
    • Avro をバージョン 1.10.2 にアップグレードする (SPARK-34778)
    • "avro.schema.literal" を持つパーティション分割された Hive テーブルの Avro スキーマ展開のサポート (SPARK-26836)
    • 読み取りで datetime のリベースを制御するための新しい Avro データ ソース オプションの追加 (SPARK-34404)
    • Avro でのユーザー指定のスキーマ URL のサポートの追加 (SPARK-34416)
    • 位置指定の Catalyst-to-Avro スキーマ照合のサポートを追加 (SPARK-34365)
  • JSON
    • Jackson をバージョン 2.12.3 にアップグレードする (SPARK-35550)
    • Json データ ソースで非 ASCII 文字をコードポイントとして書き込むことを許可する (SPARK-35047)
  • JDBC
    • JDBCRelation でより正確なパーティション ストライドを計算する (SPARK-34843)
  • Hive メタストア サポート filter by not-in (SPARK-34538)

機能強化

  • サブクエリ
  • 新しい組み込み関数
  • 既定で Apache Hadoop 3.3.1 を使用する (SPARK-29250)
  • シャッフル ブロックのチェックサムを追加する (SPARK-35275)
  • 既定で spark.storage.replication.proactive を有効にする (SPARK-33870)
  • SparkContext の停止中のフォールバック ストレージ クリーンアップのサポート(SPARK-34142)
  • Scala Dataset API からの Java 列挙型のサポート (SPARK-23862)
  • ivy 座標を持つ ADD JAR は Hive 推移的動作と互換性がある必要がある (SPARK-34506)
  • ADD ARCHIVE および LIST ARCHIVES コマンドのサポート (SPARK-34603)
  • ADD FILE/JAR/ARCHIVE コマンドの複数のパスのサポート (SPARK-35105)
  • CREATE FUNCTION USING 構文のリソースとしてのアーカイブ ファイルのサポート (SPARK-35236)
  • SparkSessionExtensions の ServiceLoader からの読み込み(SPARK-35380)
  • functions.{scala,py} に sentences 関数を追加する (SPARK-35418)
  • パーティション管理のために Hive メタストアを使用する Hive 以外のテーブルに spark.sql.hive.metastorePartitionPruning を適用する (SPARK-36128)
  • 実行損失の理由を Web UI に伝達する (SPARK-34764)
  • 非決定論的な With-CTE のインライン化を避ける (SPARK-36447)
  • 特定のデータベース内のすべてのテーブルの分析のサポート (SPARK-33687)
  • Spark での例外メッセージの標準化 (SPARK-33539)
  • LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE に対する (IGNORE | RESPECT) NULLS のサポート (SPARK-30789)

その他の注目すべき変更点

  • モニター
    • ExternalShuffleService への新しいメトリック (SPARK-35258)
    • 新しいステージ レベルの REST API とパラメーターを追加する (SPARK-26399)
    • REST API でのタスクと Executor の Metrics Distributions Metrics Distributions のサポート (SPARK-34488)
    • ハッシュ集計のフォールバック メトリックを追加する (SPARK-35529)
  • count_distinct を Dataset#summary へのオプションとして追加する (SPARK-34165)
  • sql/core に ScriptTransform を実装する (SPARK-31936)
  • BlockManagerMaster ドライバーのハートビート タイムアウトを構成可能にする (SPARK-34278)
  • クライアント側でシャッフル サービス名を構成可能にし、サーバー側でクラスパスベースの構成オーバーライドを許可する (SPARK-34828)
  • ExecutorMetricsPoller は、ハートビートが発生するまでステージ エントリを stageTCMP に保持する必要がある (SPARK-34779)
  • RewriteDistinctAggregates で if を filter 句に置き換える (SPARK-34882)
  • 自己結合に CostBasedJoinReorder を適用するときに失敗する問題を修正 (SPARK-34354)
  • CREATE TABLE LIKE は、予約テーブルのプロパティを尊重する必要がある (SPARK-34935)
  • YARN クラスター モードで ivySettings ファイルをドライバーに配送する (SPARK-34472)
  • USING/NATURAL JOIN から重複する共通列を解決する (SPARK-34527)
  • describe table cmd の内部ビュー プロパティを非表示にする (SPARK-35318)
  • 分散/クラスター別/再パーティション分割のヒントの不足している属性の解決をサポート (SPARK-35331)
  • FileStreamSink.hasMetadata でパスを確認するときにエラーを無視する (SPARK-34526)
  • 不足している構成を推論して s3a マジック コミット機能のサポートを向上する (SPARK-35383)
  • STRUCT 型文字列で : の省略を許可する (SPARK-35706)
  • AQE が安全に最適化可能かどうかを区別する新しい演算子を追加する (SPARK-35786)
  • unionByName の null 埋めでの並べ替えでなく、新しい入れ子になった構造体フィールドを追加する (SPARK-35290)
  • ArraysZip で、アナライザー/オプティマイザーによって再書き込みされるのを避けるために、フィールド名を保持する必要がある (SPARK-35876)
  • NullType の型名として Void を使用する (SPARK-36224)
  • FileCommitProtocol に新しい API を導入し、柔軟なファイルの名前付けを許可する (SPARK-33298)

動作の変更

各コンポーネントの移行ガイド (Spark Core) を参照してください。

構造化ストリーミング

主な機能

  • EventTime ベースのセッションの最適化 (セッション ウィンドウ) (SPARK-10816)
  • Kafka クライアントを 2.8.0 にアップグレードする (SPARK-33913)
  • Scala の複数のバッチ内で Trigger.Once などのストリーミング クエリを実行のための Trigger.AvailableNow (SPARK-36533)

その他の注目すべき変更点

  • トリガーごとに読み取るレコードの最小数を指定するために Kafka ソースで新しいオプションを導入する (SPARK-35312)
  • ソースの進行状況に最新のオフセットを追加する (SPARK-33955)

PySpark

Project Zen

  • Spark 上の Pandas API (SPARK-34849)
  • クラッシュした Python worker のための faulthanlder サポート (SPARK-36062)
  • 関数 API 全体で Snake 名前付けルールを使用する (SPARK-34306)
  • 既定での park.sql.execution.pyspark.udf.simplifiedTraceback.enabled 有効化(SPARK-35419)
  • DataFrame の作成時に、入れ子になった dict の構造体としての推論をサポートする (SPARK-35929)

その他の注目すべき変更点

  • 固定スレッド モードを既定で有効にする (SPARK-35303)
  • Arrow の実行に NullType のサポートを追加する (SPARK-33489)
  • Arrow self_destruct サポートを toPandas に追加する (SPARK-32953)
  • pyspark ピン スレッド モード用のスレッド ターゲット ラッパー API を追加する (SPARK-35498)

動作の変更

移行ガイドを参照してください。

MLlib

パフォーマンスの向上

  • BucketedRandomProjectionLSH transform optimization(SPARK-34220)
  • w2v findSynonyms 最適化 (SPARK-34189)
  • バインドされたチェックをスキップしてスパース GEMM を最適化する (SPARK-35707)
  • ML ALS recommendForAll の GEMV によるパフォーマンスの向上 (SPARK-33518)

モデル トレーニングの機能強化

  • Refactor Logistic Aggregator - 仮想センターのサポート (SPARK-34797)
  • インターセプト サポート センターを使用した Binary Logistic Regression (SPARK-34858SPARK-34448)
  • インターセプト サポート センターを使用した Multinomial Logistic Regression (SPARK-34860)

BLAS の機能強化

  • com.github.fommil.netlib を dev.ludovic.netlib:2.0 で完全に置き換える (SPARK-35295)
  • ベクター化された BLAS 実装を追加する (SPARK-33882)
  • dev.ludflix.netlib を使用して BLAS のフォールバックを加速する (SPARK-35150)

その他の注目すべき変更点

  • OVR 変換による列競合の可能性を修正 (SPARK-34356)

非推奨と削除

  • spark.launcher.childConnectionTimeout の非推奨 (SPARK-33717)
  • GROUP BY … の非推奨 GROUPING SETS (…) と GROUP BY GROUPING SETS (…) の昇格 (SPARK-34932)
  • ps.broadcast API の非推奨 (SPARK-35810)
  • num_files 引数の非推奨 (SPARK-35807)
  • DataFrame.to_spark_io の非推奨 (SPARK-35811)

メンテナンスの更新

Databricks Runtime 10.0 メンテナンス更新プログラム」を参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 distlib 0.3.3
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
setuptools 52.0.0 6 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 tenacity 8.0.1 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

インストールされている R ライブラリ

R ライブラリは、2021 年 9 月 21 日の Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob (blob) 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.9
bslib 0.3.0 cachem 1.0.6 callr 3.7.0
キャレット 6.0-88 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.1 config 0.3.1
cpp11 0.3.1 crayon 1.4.1 資格情報 1.3.1
curl 4.3.2 data.table 1.14.0 datasets 4.1.1
DBI 1.1.1 dbplyr 2.1.1 desc 1.3.0
devtools 2.4.2 diffobj 0.3.4 digest 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 ellipsis 0.3.2
evaluate 0.14 fansi 0.5.0 farver 2.1.0
fastmap 1.1.0 forcats 0.5.1 foreach 1.5.1
foreign 0.8-81 forge 0.2.0 fs 1.5.0
future 1.22.1 future.apply 1.8.1 gargle 1.2.0
generics 0.1.0 gert 1.4.1 ggplot2 3.3.5
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
globals 0.14.0 glue 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 gower 0.2.2 graphics 4.1.1
grDevices 4.1.1 grid 4.1.1 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.4.3
highr 0.9 hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.3 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 knitr 1.34 labeling 0.4.2
later 1.3.0 lattice 0.20-44 lava 1.6.10
ライフサイクル 1.0.0 listenv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 markdown 1.1 MASS 7.3-54
Matrix 1.3-4 memoise 2.0.0 methods 4.1.1
mgcv 1.8-37 mime 0.11 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 parallelly 1.28.1 pillar 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.2
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 progress 1.2.2 progressr 0.8.0
promises 1.2.0.1 proto 1.0.0 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl 1.3.1 recipes 0.1.16 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.0 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.11 rmarkdown 2.11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0.13 rversions 2.1.1 rvest 1.0.1
sass 0.4.0 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.6 shiny 1.6.0
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.1 stats4 4.1.1
stringi 1.7.4 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.33 tools 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 waldo 0.3.1 whisker 0.4
withr 2.4.2 xfun 0.26 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1