次の方法で共有

Databricks Runtime 11.3 LTS (サポート終了)

注

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

次のリリース ノートでは、Apache Spark 3.3.0 を搭載した Databricks Runtime 11.3 LTS に関する情報を提供します。 Databricks は 2022 年 10 月にこのバージョンをリリースしました。

注

LTS は、このバージョンが 長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。

動作の変更

[破壊的変更]新しい Python バージョンでは、Databricks Connect V1 Python クライアントを更新する必要があります

注

以降の更新では、Databricks Runtime 11.3 LTS の Python バージョンが 3.9.21 に移動されます。 3.9.21 バージョンでは、動作の変更はありません。

必要なセキュリティ パッチを適用するために、Databricks Runtime 11.3 LTS の Python バージョンが 3.9.5 から 3.9.19 に更新されます。 これらの変更により、特定の PySpark 関数を使用するクライアントでエラーが発生する可能性があるため、Databricks Runtime 11.3 LTS で Databricks Connect V1 for Python を使用するすべてのクライアントを Python 3.9.7 以降に更新する必要があります。

新機能と機能強化

Python が 3.9.19 から 3.9.21 にアップグレードされました

Databricks Runtime 11.3 LTS の Python バージョンが 3.9.19 から 3.9.21 に更新されました。

構造化ストリーミング トリガーの 1 回の使用は非推奨

Trigger.Once設定は非推奨になりました。 Databricks では、 Trigger.AvailableNowを使用することをお勧めします。 「構造化ストリーミングのトリガー間隔を構成する」を参照してください。

自動ローダーのソース パスを変更する

新しいチェックポイント ディレクトリを選択しなくても、ディレクトリ一覧モードで構成された自動ローダーのディレクトリ入力パスを変更できるようになりました。 自動ローダーのソース パスの変更を参照してください。

Databricks Kinesis コネクタで、EFO モードでの Kinesis データ ストリームからの読み取りがサポートされるようになりました

Databricks Runtime 11.3 LTS の Databricks Kinesis 構造化ストリーミング ソースを使用して、拡張ファンアウト モードで Kinesis データ ストリームから読み取るクエリを実行できるようになりました。 これにより、シャードあたりの専用スループット、コンシューマーごと、およびプッシュ モードでのレコード配信が可能になります。

新しい H3 地理空間関数と、すべての H3 関数に対する Photon のサポートが追加されました

4 つの新しい H3 関数、 h3_maxchild、 h3_minchild、 h3_pointash3、および h3_pointash3stringが導入されました。 これらの関数は、SQL、Scala、Python で使用できます。 すべての H3 式が Photon でサポートされるようになりました。 「H3 地理空間の関数」を参照してください。

予測 I/O の新機能

Photon では、 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROWを使用してフレームを実行するための範囲モードがサポートされています。 Photon は、 RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }を使用してフレームを拡大するための範囲モードもサポートしています。

選択的クエリをスキャンするための初期パーティションの増加

初期パーティションのスキャン値は、Photon 対応クラスターでのtake/tail/limitおよびDatabricks SQLでのLIMITを使用した選択的クエリ用として10に引き上げられました。 10 個のパーティションを使用すると、複数の小さなジョブを起動するオーバーヘッドと、遅いスケールアップを回避できます。 spark.sql.limit.selectiveInitialNumPartitionsを使用して構成することもできます。

新しい AQE プランバージョンの視覚化

アダプティブ クエリ実行 (AQE) からランタイム プランの更新を視覚化できる AQE プランのバージョンが導入されました。

新しい非同期進行状況の追跡モードとログ消去モード

非同期進行状況追跡と非同期ログ消去と呼ばれる構造化ストリーミング モードについて説明します。 非同期ログ消去モードでは、バックグラウンドでの進行状況の追跡に使用されるログを削除することで、ストリーミング クエリの待機時間が短縮されます。

Unity カタログでの構造化ストリーミングがサポートされるようになりました display()

構造化ストリーミングを使用して Unity カタログに登録されているテーブルを操作するときに、 display() を使用できるようになりました。

パイプライン イベントが JSON 形式でログに記録されるようになりました

Azure Databricks では、パイプライン イベントが JSON 形式でドライバー ログに書き込まれるようになりました。 各イベントは JSON で解析できますが、大きなイベントにすべてのフィールドが含まれていない場合や、フィールドが切り捨てられる場合があります。 各イベントは、プレフィックスが Event received: された 1 行で記録されます。 イベントの例を次に示します。

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Python を使用した構造化ストリーミングでの任意のステートフル処理

PySpark で任意のステートフル処理を実行するために使用できる applyInPandasWithState 関数について説明します。 これは、Java API の flatMapGroupsWithState 関数と同じです。

CSV ファイルでの日付の推定

CSV ファイル内の日付型列の推論が改善されました。 列のレコード全体で日付形式が一貫している場合、それらの列は DateTypeとして推論できます。 異なる列に日付形式を組み合わせることもできます。 Azure Databricks では、各列の日付形式を自動的に推論できます。 Databricks Runtime 11.3 LTS より前の CSV ファイルの日付列は、 StringTypeのままにされます。

Apache Parquet テーブルおよび Apache Iceberg テーブルのクローン機能のサポート (パブリックプレビュー)

複製を使用して、Apache Parquet テーブルと Apache Iceberg テーブルをミラー化する Delta テーブルを作成および増分更新できるようになりました。 clone コマンドを使用して、ソース Parquet テーブルを更新し、複製された Delta テーブルに変更を増分適用できます。 「Parquet テーブルと Apache Iceberg テーブルを Delta Lake に増分複製する」を参照してください。

SQL を使用して Unity カタログ マネージド テーブルのスキーマ レベルとカタログ レベルのストレージの場所を指定する

MANAGED LOCATION SQL コマンドを使用して、カタログ レベルとスキーマ レベルでマネージド テーブルのクラウド ストレージの場所を指定できるようになりました。 「CREATE CATALOG」と「CREATE SCHEMA」を参照してください。

動作の変更

Databricks Connect 11.3.2

Databricks Connect クライアント更新プログラム 11.3.2 がサポートされるようになりました。 Databricks Connect と Databricks Connect のリリース ノートを参照してください。

更新された Azure Databricks Snowflake コネクタ

Azure Databricks Snowflake コネクタは、オープン ソース リポジトリである Snowflake Data Source for Apache Spark の最新バージョンのコードに更新されました。 オープン ソース バージョンのすべての機能を維持しながら、述語のプッシュダウンや内部クエリ プランのプッシュダウンなど、Databricks Runtime 11.3 LTS と完全に互換性があります。

S3A の Hadoop キャッシュが無効になりました

S3A の Hadoop キャッシュ (FileSystem Apache Hadoop Main 3.3.4 API) が無効になりました。 これは、他のクラウド ストレージ コネクタと連携するためです。 ファイル システムのキャッシュに依存するワークロードの場合は、資格情報プロバイダーを含む、新しく作成されたファイル システムに適切な Hadoop 構成が提供されていることを確認します。

Delta Lake 統計コレクション スキーマがテーブル スキーマ定義の列の順序と一致するようになりました

この変更は、DataFrame とテーブル列の順序が一致していないために列の統計が収集されなかった Delta Lake プロトコルのバグに対処します。 場合によっては、以前に追跡されていないフィールドの統計収集が原因で、書き込みパフォーマンスが低下することがあります。 「Delta Lake に対するデータのスキップ」を参照してください。

applyInPandasWithState は、演算子の後にクエリにシャッフルが含まれる場合にエラーをスローします。

演算子 applyInPandasWithState の後にクエリに shuffle がある場合、エラーを発生させます。 これは、ユーザーが操作の後に shuffle を追加するか、オプティマイザーまたはシンクが暗黙的に shuffle 追加した場合に発生します。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • distlib を 0.3.5 から 0.3.6 に更新
  • アップグレードされた R ライブラリ:
    • broom 1.0.0 から 1.0.1へのアップグレード
    • callr を 3.7.1 から 3.7.2 に更新
    • dplyr 1.0.9 から 1.0.10
    • dtplyr 1.2.1 から 1.2.2
    • forcats バージョン 0.5.1 から 0.5.2 への更新
    • 1.27.0 から 1.28.0 までの将来
    • future.applyのバージョン 1.9.0 から 1.9.1 へ
    • gertパッケージのバージョン1.7.0から1.8.0への更新
    • グローバルのバージョンを0.16.0から0.16.1に更新
    • 0.3.0 から 0.3.1 まで
    • haven バージョン 2.5.0 から 2.5.1 への移行
    • hms 1.1.1から1.1.2へ
    • httr 1.4.3 から 1.4.4
    • knitr 1.39 から 1.40 へのバージョンアップ
    • modelr 0.1.8から0.1.9への更新
    • 1.8.0 から 1.8.1 までの柱
    • progressrパッケージのバージョンが0.10.1から0.11.0に更新されました。
    • readxl を 1.4.0 から 1.4.1 に
    • reprex 2.0.1 から 2.0.2 へのアップデート
    • rlang を 1.0.4 から 1.0.5 に
    • 2.14 から 2.16 への rmarkdown
    • 2.2.15 から 2.2.16 までの RSQLite
    • rstudioapi を 0.13 から 0.14 にアップデート
    • バージョン2.1.1から2.1.2への変遷
    • rvest バージョン 1.0.2 から 1.0.3 へ
    • バージョン 1.2.0 から 1.2.1 にスケーリング
    • sparklyr 1.7.7 から 1.7.8
    • stringr (1.4.0 から 1.4.1)
    • 3.2-13 から 3.4-0 までの生存率の変化
    • tinytex 0.40 から 0.41
    • viridisLite バージョン 0.4.0 から 0.4.1 にアップデート
  • アップグレードされた Java ライブラリ:
    • com.fasterxml.jackson.core.jackson-annotations 2.13.3から2.13.4に
    • com.fasterxml.jackson.core.jackson-core を 2.13.3 から 2.13.4 へ更新
    • com.fasterxml.jackson.core.jackson-databind 2.13.3 から 2.13.4
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 2.13.3 から 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-joda バージョン 2.13.3 から 2.13.4 にアップデート
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 2.13.3 から 2.13.4
    • com.fasterxml.jackson.module.jackson-module-paranamer バージョンを 2.13.3 から 2.13.4 に更新
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 バージョン 2.13.3 から 2.13.4 へ
    • org.apache.hadoop.hadoop-client-api を 3.3.2-databricks から 3.3.4-databricks に
    • org.apache.hadoop.hadoop-client-runtime バージョン 3.3.2 から 3.3.4
    • org.apache.orc.orc-core 1.7.5 から 1.7.6
    • org.apache.orc.orc-mapreduce バージョン 1.7.5 から 1.7.6
    • org.apache.orc.orc-shims を 1.7.5 から 1.7.6 に
    • org.apache.parquet.parquet-column を 1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ
    • org.apache.parquet.parquet-common (1.12.0-databricks-0004 から 1.12.0-databricks-0007)
    • "org.apache.parquet.parquet-encodingを1.12.0-databricks-0004から1.12.0-databricks-0007に更新します。"
    • org.apache.parquet.parquet-format-structures を 1.12.0-databricks-0004 から 1.12.0-databricks-0007 に
    • org.apache.parquet.parquet-hadoop 1.12.0-databricks-0004 から 1.12.0-databricks-0007 への
    • org.apache.parquet.parquet-jackson を 1.12.0-databricks-0004 から 1.12.0-databricks-0007 に
    • org.glassfish.jersey.containers.jersey-container-サーブレット (2.34 から 2.36)
    • org.glassfish.jersey.containers.jersey-container-サーブレットコア 2.34 から 2.36
    • org.glassfish.jersey.core.jersey-client 2.34 から 2.36
    • org.glassfish.jersey.core.jersey-common をバージョン 2.34 から 2.36 に更新
    • org.glassfish.jersey.core.jersey-server バージョン 2.34 からバージョン 2.36 へ
    • org.glassfish.jersey.inject.jersey-hk2 を 2.34 から 2.36

Apache Spark

Databricks Runtime 11.3 LTS には、Apache Spark 3.3.0 が含まれています。 このリリースには、 Databricks Runtime 11.2 (EoS) に含まれるすべての Spark の修正と機能強化、および Spark に対する次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-39957] [WARMFIX][sc-111425][CORE] ドライバーが ExecutorExitCode を受信できるようにするために、onDisconnected を遅らせる
  • [SPARK-39955] [WARMFIX][sc-111424][CORE] LaunchTask プロセスを改善して、LaunchTask メッセージの送信失敗によって発生するステージエラーを回避する
  • [SPARK-40474] [SC-106248][cherry-pick] datetime 列の CSV スキーマ推論動作を修正し、日付フィールドの自動検出を導入する
  • [SPARK-40535] [SC-111243][sql] 入力行が空の場合、AggregatingAccumulator のバッファーが作成されないバグを修正
  • [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] pySpark に applyInPandasWithState を実装する
  • [SPARK-40460] [SC-110832][ss] 選択時のストリーミング メトリックを修正する _metadata
  • [SPARK-40324] [SC-109943][sql] のクエリ コンテキストを指定する ParseException
  • [SPARK-40466] [SC-110899][ss] DSv1 が使用できないときに DSv2 が無効になっている場合のエラー メッセージを改善する
  • [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext は、繰り返し呼び出すには安価である必要があります
  • [SPARK-40169] [SC-110772][sql] データ スキーマへの参照がない Parquet フィルターをプッシュダウンしない
  • [SPARK-40467] [SC-110759][ss] FlatMapGroupsWithState を複数のテスト スイートに分割する
  • [SPARK-40468] [SC-110813][sql] _corrupt_recordが選択されている場合の CSV での列の排除を修正する
  • [SPARK-40291] [SC-110085][sql] group by 句に含まれていない列のエラーメッセージを改善する
  • [SPARK-40398] [SC-110762][core][SQL] Arrays.stream api の代わりにループを使用する
  • [SPARK-40433] [SC-110684][ss][PYTHON] PythonSQLUtils で toJVMRow を追加して、ピクルスされた PySpark 行を JVM 行に変換する
  • [SPARK-40414] [SC-110568][sql][PYTHON] PythonArrowInput と PythonArrowOutput のその他のジェネリック型
  • [SPARK-40352] [SC-109945][sql] 関数エイリアスの追加: len、datepart、dateadd、date_diff、curdate
  • [SPARK-40470] [SC-110761][sql] GetArrayStructFields と GetMapValue を "arrays_zip" 関数で処理する
  • [SPARK-40387] [SC-110685][sql] Spark Decimal の実装を改善する
  • [SPARK-40429] [SC-110675][sql] 参照される列が出力内にある場合にのみ KeyGroupedPartitioning を設定する
  • [SPARK-40432] [SC-110716][ss][PYTHON] PySpark で GroupStateImpl と GroupStateTimeout を導入する
  • [SPARK-39915] [SC-110496][sql] 出力パーティション分割が AQE でユーザー指定されていることを確認する
  • [SPARK-29260] [SQL] HMS でサポートされている場合の ALTER DATABASE SET LOCATION のサポート
  • [SPARK-40185] [SC-110056][sql] 候補リストが空のときに列候補を削除する
  • [SPARK-40362] [SC-110401][sql] BinaryComparison 正規化の修正
  • [SPARK-40411] [SC-110381][ss] 親の特性を持つ FlatMapGroupsWithStateExec をリファクターする
  • [SPARK-40293] [SC-110084][sql] V2 テーブルのエラー メッセージをより意味のあるものにする
  • [SPARK-38734] [SC-110383][sql] エラー クラスを削除する INDEX_OUT_OF_BOUNDS
  • [SPARK-40292] [SC-110300][sql] 入れ子になった構造体から配列が参照されている場合の "arrays_zip" 関数の列名を修正する
  • [SPARK-40276] [SC-109674][core] RDD.takeOrdered の結果サイズを小さくする
  • [SPARK-40197] [SC-109176][sql] クエリ プランをMULTI_VALUE_SUBQUERY_ERRORのコンテキストに置き換える
  • [SPARK-40300] [SC-109942][sql] DATATYPE_MISMATCH エラー クラスに移行する
  • [SPARK-40149] [SC-110055][sql] Project を介してメタデータ列を伝達する
  • [SPARK-40280] [SC-110146][sql] 注釈付き int と long の Parquet プッシュダウンのサポートを追加
  • [SPARK-40220] [SC-110143][sc-109175][SQL] エラー メッセージ パラメーターの空のマップを出力しない
  • [SPARK-40295] [SC-110070][sql] 書き込みディストリビューション/順序付けでリテラル引数を持つ v2 関数を許可する
  • [SPARK-40156] [SC-109264][sql] url_decode() エラー クラスを返す必要があります
  • [SPARK-39195] [SQL] コミットされたファイルがタスクの状態と一致しない場合、Spark OutputCommitCoordinator はステージを中止する必要がある
  • [SPARK-40260] [SC-109424][sql] コンパイルエラーの場所でエラークラスを使用する
  • [SPARK-40205] [SC-110144][sc-109082][SQL] ELEMENT_AT_BY_INDEX_ZEROのクエリ コンテキストを提供する
  • [SPARK-40112] [SC-109676][sql] TO_BINARY() 関数を改善する
  • [SPARK-40209] [SC-109081][sql] エラーの changePrecision() で Decimal の間隔値を変更しない
  • [SPARK-40319] [SC-109873][sql] PARSE_DATETIME_BY_NEW_PARSERの重複したクエリ実行エラーメソッドを削除する
  • [SPARK-40222] [SC-109209][sql] 数値のtry_add/try_divide/try_subtract/try_multiplyは、その子からのエラーをスローする必要がある
  • [SPARK-40183] [SC-108907][sql] 10 進変換のオーバーフローにエラー クラス NUMERIC_VALUE_OUT_OF_RANGE を使用する
  • [SPARK-40180] [SC-109069][sql] エラー メッセージの書式設定 spark-sql
  • [SPARK-40153] [SC-109165][sql] 解決関数とテーブル値関数の統合
  • [SPARK-40308] [SC-109880][sql] 関数に折りたたみ不可能な区切り記号引数を許可str_to_map
  • [SPARK-40219] [SC-110052][sc-109663][SQL] 冗長参照を回避するために、解決されたビューの論理プランにスキーマを保持する必要がある
  • [SPARK-40098] [SC-109939][sc-108693][SQL] Thrift Server でのエラー メッセージの書式設定
  • [SPARK-39917] [SC-109038][sql] 数値/間隔の算術オーバーフローに異なるエラー クラスを使用する
  • [SPARK-40033] [SC-109875][sql] element_atによる入れ子になったスキーマの排除のサポート
  • [SPARK-40194] [SC-109660][sql] 空の正規表現の SPLIT 関数は、末尾の空の文字列を切り捨てる必要があります。
  • [SPARK-40228] [SC-109835][sql] 子がコストの低い式でない場合は multiLike を簡略化しない
  • [SPARK-40039] [SC-109896][sc-109260][SS] Hadoop の Abortable インターフェイスに基づくストリーミング チェックポイント ファイル マネージャーの導入
  • [SPARK-40285] [SC-109679][sql] Spark の roundTo[Numeric] を簡略化する Decimal
  • [SPARK-39896] [SC-109658][sql] In/InSet のリテラルのダウンキャストが失敗した場合に UnwrapCastInBinaryComparison が機能する必要がある
  • [SPARK-40040] [SC-109662][sql] 結合条件が空の場合にローカル制限を両側にプッシュする
  • [SPARK-40055] [SC-109075][sql] listCatalogs は、spark_catalog実装が defaultSessionCatalog の場合でもspark_catalogを返す必要があります
  • [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) は AQE を使用しない場合に N 個のパーティションを作成できない可能性がある
  • [SPARK-40207] [SC-109401][sql] データ型がデータソースでサポートされていない場合に列名を指定する
  • [SPARK-40245] [SC-109295][sql] パーティションまたはデータ フィルター列が読み取られない場合の FileScan の等価性チェックを修正する
  • [SPARK-40113] [SC-109405][sql] Reactor ParquetScanBuilder DataSourceV2 インターフェイスの実装
  • [SPARK-40211] [SC-109226][core][SQL] take() 動作で初期パーティション数をカスタマイズできるようにする
  • [SPARK-40252] [SC-109379][sql] Stream.collect(Collectors.joining) を StringJoiner Api に置き換える
  • [SPARK-40247] [SC-109272][sql] BitSet の等価チェックを修正する
  • [SPARK-40067] [SQL] Scan#name() の代わりに Table#name() を使用して、SparkUI の BatchScan ノードにテーブル名を設定する
  • [SPARK-39966] [SQL] SupportsDelete で V2 フィルターを使用する
  • [SPARK-39607] [SC-109268][sql][DSV2] 書き込みにおける配布と順序指定の V2 関数サポート
  • [SPARK-40224] [SC-109271][sql] ObjectHashAggregateExec がソートベースにフォールバックして切り替わる際、メモリを迅速に解放する
  • [SPARK-40013] [SQL] DS V2 式の既定値を使用する必要がある toString
  • [SPARK-40214] [SC-109079][python][SQL] 関数に 'get' を追加する
  • [SPARK-40192] [SC-109089][sql][ML] 冗長グループを削除する
  • [SPARK-40146] [SC-108694][sql] 単純にマップ値を取得する codegen
  • [SPARK-40109] [SQL] 新しい SQL 関数: get()
  • [SPARK-39929] [SQL] DS V2 では、プッシュダウン文字列関数 (ANSI 以外) がサポートされます
  • [SPARK-39819] [SQL] DS V2 集計プッシュダウンは、上位 N またはページング (式を使用した並べ替え) で動作できます
  • [SPARK-40213] [SC-109077][sql] ラテン 1 文字の ASCII 値変換をサポート
  • [SPARK-39887] [SQL] RemoveRedundantAliases は、プロジェクション ノードの出力を一意にするエイリアスを保持する必要があります
  • [SPARK-39764] [SQL] PhysicalOperation を ScanOperation と同じにする
  • [SPARK-39964] [SQL] DS V2 プッシュダウンで変換パスを統合する必要がある
  • [SPARK-39528] [SQL] SupportsRuntimeFiltering で V2 フィルターを使用する
  • [SPARK-40066] [SQL] ANSI モード: マップ列への無効なアクセスで常に null を返す
  • [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
  • [SPARK-39833] [SC-108736][sql] DSv1 の Parquet 列インデックスを無効にして、パーティションとデータ列が重複する場合の正確性の問題を修正する
  • [SPARK-39880] [SQL] V2 SHOW FUNCTIONS コマンドは、v1 などの修飾関数名を出力する必要があります
  • [SPARK-39767] [SQL] 未解決のDBObjectName を削除し、UnresolvedIdentifier を追加する
  • [SPARK-40163] [SC-108740][sql] 機能: SparkSession.config(マップ)
  • [SPARK-40136] [SQL] SQL クエリ コンテキストのフラグメントを修正する
  • [SPARK-40107] [SC-108689][sql] FileFormatWriter から empty2null 変換をプルアウトする
  • [SPARK-40121] [PYTHON][sql] Python UDF に使用されるプロジェクションを初期化する
  • [SPARK-40128] [SQL] VectorizedColumnReader にスタンドアロン列エンコードとしてDELTA_LENGTH_BYTE_ARRAYを認識させる
  • [SPARK-40132] [ML] rawPredictionCol を MultilayerPerceptronClassifier.setParams に復元する
  • [SPARK-40050] [SC-108696][sql] EliminateSorts が LocalLimit を使用して並べ替えの削除をサポートするように強化する
  • [SPARK-39629] [SQL] サポート v2 SHOW FUNCTIONS
  • [SPARK-39925] [SC-108734][sql] DataFrame 操作にarray_sort(列、比較子) オーバーロードを追加する
  • [SPARK-40117] [PYTHON][sql] DataFrameWriterV2.overwrite で条件を java に変換する
  • [SPARK-40105] [SQL] ReplaceCTERefWithRepartition での再パーティションの改善
  • [SPARK-39503] [SQL] v1 データベース テーブルと関数のセッション カタログ名を追加する
  • [SPARK-39889] [SQL] 数値/間隔に異なるエラー クラスを 0 で除算して使用する
  • [SPARK-39741] [SQL] URL エンコード/デコードを組み込み関数としてサポートし、URL 関連の関数を整理する
  • [SPARK-40102] [SQL] SparkPlan で IllegalStateException の代わりに SparkException を使用する
  • [SPARK-40014] [SQL] 10 進数から ANSI 間隔へのキャストをサポート
  • [SPARK-39776] [SQL][follow] PlanStabilitySuite の UT を ANSI モードで更新する
  • [SPARK-39963] [SQL] 簡略化 SimplifyCasts.isWiderCast

メンテナンスの更新

Databricks Runtime 11.3 のメンテナンス更新プログラムを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.5 LTS
    • 注: これは、Databricks ランタイム コンテナーで使用される Ubuntu バージョンです。 Databricks ランタイム コンテナーは、クラウド プロバイダーの仮想マシン上で実行されます。これは、別の Ubuntu バージョンまたは Linux ディストリビューションを使用する可能性があります。
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.21
  • R: 4.1.3
  • Delta Lake: 2.1.0

インストールされている Python ライブラリ

図書館 バージョン 図書館 バージョン 図書館 バージョン
argon2-cffi 20.1.0 async-generator (非同期ジェネレーター) 1.10 属性 21.2.0
バックコール (再発信機能) 0.2.0 バックポート.entry-points-selectable 1.1.1 黒い 22.3.0
漂白剤 4.0.0 boto3 1.21.18 botocore 1.24.18
サーティフィ 2021.10.8 cffi 1.14.6 チャーデット 4.0.0
charset-normalizer (文字コード正規化ツール) 2.0.4 click 8.0.3 暗号 3.4.8
サイクリスト 0.10.0 Cython 0.29.24 dbus-python 1.2.16
debugpy 1.4.1 デコレータ 5.1.0 デフューズドXML (defusedxml) 0.7.1
distlib 0.3.6 入口点 0.3 ファセットの概要 1.0.0
ファイルロック 3.8.0 idna 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils (IPython用のユーティリティ) 0.2.0 ipywidgets 7.7.0
ジェダイ 0.18.0 ジンジャ2 2.11.3 jmespath 0.10.0
「joblib」 1.0.1 JSONスキーマ 3.2.0 ジュピタークライアント 6.1.12
ジュピター・コア 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab ウィジェット 1.0.0
キウィソルバー 1.3.1 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-インライン 0.1.2 mistune 0.8.4 mypy-extensions (マイパイ拡張機能) 0.4.3
nbclient（エヌビー・クライアント） 0.5.3 NBコンバート 6.1.0 nbフォーマット 5.1.3
nest-asyncio（ネスト・アサインキオ） 1.5.1 ノートブック 6.4.5 NumPy (数値計算ライブラリ) 1.20.3
包装 21.0 パンダ 1.3.4 パンドックフィルターズ 1.4.3
パルソ 0.8.2 pathspec 0.9.0 パッツィ 0.5.2
ペキスペクト 4.8.0 ピクルシェア 0.7.5 枕 8.4.0
pip 21.2.4 プラットフォームディレクトリ 2.5.2 plotly 5.9.0
prometheus-クライアント 0.11.0 prompt-toolkit（プロンプトツールキット） 3.0.20 プロトバフ 4.21.5
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow (パイアロー) 7.0.0 pycparser（パイシーパーサー） 2.20 パイグメンツ 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 パイパーシング (Pyparsing) 3.0.4
pyrsistent 0.18.0 python-dateutil (Python用の日付処理ライブラリ) 2.8.2 pytz 2021年3月
pyzmq 22.2.1 リクエスト 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn（サイキット・ラーン） 0.24.2 scipy 1.7.1
seaborn（シーボーン） 0.11.2 Send2Trash(センド2トラッシュ) 1.8.0 setuptools（セットアップツール） 58.0.4
6 1.16.0 ssh-import-id 5.10 statsmodels（スタッツモデルズ） 0.12.2
粘り強さ 8.0.1 終了しました 0.9.4 テストパス (testpath) 0.5.0
Threadpoolctl 2.2.0 トークナイズ-RT 4.2.1 tomli 2.0.1
竜巻 6.1 traitlets（トレイトレット） 5.1.0 タイピング拡張 3.10.0.2
unattended-upgrades 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth（文字の幅を測定するプログラム関数） 0.2.5 ウェブエンコーディングス 0.5.1 ホイール 0.37.0
ウィジェットNBエクステンション 3.6.0

インストールされている R ライブラリ

R ライブラリは、2022-09-08 の Microsoft CRAN スナップショットからインストールされます。 スナップショットは使用できなくなりました。

図書館 バージョン 図書館 バージョン 図書館 バージョン
アスクパス 1.1 assertthat（アサートザット関数） 0.2.1 バックポート（旧バージョンへの機能移植） 1.4.1
ベース 4.1.3 base64enc 0.1-3 bit 4.0.4
ビット64 4.0.5 BLOB 1.2.3 起動 1.3-28
brew 1.0-7 活気 1.1.3 broom 1.0.1
bslib 0.4.0 キャシェム 1.0.6 コールアール 3.7.2
キャレット 6.0-93 セルレンジャー (cellranger) 1.1.0 chron 2.3-57
クラス 7.3-20 CLI 3.3.0 clipr 0.8.0
クラスタ 2.1.3 codetools 0.2-18 カラースペース 2.0-3
コモンマーク 1.8.0 コンパイラ 4.1.3 config 0.3.1
cpp11 0.4.2 クレヨン 1.5.1 認証情報 1.3.2
curl 4.3.2 データテーブル (data.table) 1.14.2 データセット 4.1.3
DBI 1.1.3 dbplyr 2.2.1 説明 1.4.1
devtools 2.4.4 diffobj 0.3.5 ダイジェスト 0.6.29
ダウンライト 0.4.2 dplyr 1.0.10 dtplyr 1.2.2
e1071 1.7-11 省略記号 0.3.2 評価する 0.16
ファンシ 1.0.3 farver 2.1.1 fastmap (ファストマップ) 1.1.0
fontawesome (フォントオーサム) 0.3.0 フォーキャッツ 0.5.2 foreach 1.5.2
foreign 0.8-82 鍛冶場 0.2.0 fs 1.5.2
未来 1.28.0 future.apply（将来の機能を適用するためのプログラミング関数） 1.9.1 うがい 1.2.0
ジェネリック 0.1.3 ゲルト 1.8.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet(英語) 4.1-4
グローバル変数 0.16.1 接着剤 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 ガウアー 1.0.0 グラフィックス 4.1.3
grDevices 4.1.3 グリッド 4.1.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.1 hardhat 1.2.0
安らぎの場 2.5.1 ハイヤー 0.9 エイチ・エム・エス 1.1.2
HTMLツール 0.5.3 HTMLウィジェット 1.5.4 httpuv 1.6.5
「httr」パッケージ（HTTPリクエストを簡単に送信するためのライブラリ） 1.4.4 識別子 1.0.1 ini 0.3.1
アイプレッド 0.9-13 アイソバンド 0.2.5 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 カーンスムース 2.23-20
knitr 1.40 ラベリング 0.4.2 あとで 1.3.0
格子構造 0.20-45 溶岩 1.6.10 ライフサイクル 1.0.1
listenv 0.8.0 ルブリデート 1.8.0 Magrittr 2.0.3
markdown 1.1 MASS 7.3-56 マトリックス 1.4-1
メモ化 2.0.1 メソッド 4.1.3 mgcv 1.8-40
mime 0.12 ミニUI 0.1.1.1 モデルメトリクス 1.2.2.2
モデルル 0.1.9 munsell 0.5.0 nlme 3.1-157
ニューラルネットワーク (nnet) 7.3-17 numDeriv（ヌムデリヴ） 2016年8月～2016年1月1日 openssl (オープンソースの暗号化ツール) 2.0.2
並行 4.1.3 平行に 1.32.1 支柱 1.8.1
pkgbuild（パッケージビルド） 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload(パッケージロード) 1.3.0 plogr 0.2.0 プライル 1.8.7
賞賛 1.0.0 プリティーユニッツ 1.1.1 プロック (pROC) 1.18.0
プロセスエックス 3.7.0 プロッドリム 2019.11.13 プロフビス 0.3.7
進捗 1.2.2 progressr 0.11.0 約束 1.2.0.1
プロト 1.0.0 プロキシ 0.4-27 ps 1.7.1
purrr 0.3.4 R2D3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest（ランダムフォレスト） 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorブリューワー 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl (エクセルファイルの読み取り用パッケージ/関数) 1.4.1
レシピ 1.0.1 再戦 1.0.1 リマッチ2 2.1.2
remotes 2.4.2 reprex 2.0.2 リシェイプ2 1.4.4
rlang 1.0.5 rmarkdown 2.16 RODBC 1.3-19
リオキシジェン2 7.2.1 rpart（Rプログラミング言語における再帰的分割のためのパッケージ） 4.1.16 rprojroot さん 2.0.3
Rサーブ 1.8-11 RSQLite (英語) 2.2.16 rstudioapi 0.14
アールバージョンズ 2.1.2 rvest 1.0.3 サス 0.4.2
scales 1.2.1 セレクター 0.4-2 セッション情報 1.2.2
シェイプ 1.4.6 光沢がある 1.7.2 ソースツール 0.1.7
sparklyr 1.7.8 SparkR 3.3.0 空間の 7.3-11
splines 4.1.3 sqldf 0.4-11 スクウェアム 2021年1月
統計 4.1.3 統計プログラミングパッケージ「stats4」 4.1.3 ストリンギ 1.7.8
stringr 1.4.1 サバイバル 3.4-0 システム 3.4
systemfonts 1.0.4 tcltk（ティーシーエルティーケー） 4.1.3 テストザット 3.1.4
テキスト整形 0.3.6 tibble（ティブル） 3.1.8 ティディル 1.2.0
tidyselect関数 1.1.2 tidyverse（タイディバース） 1.3.2 時刻と日付 4021.104
tinytex 0.41 ツール 4.1.3 tzdb 0.3.0
URLチェッカー 1.0.1 この機能を使う 2.1.6 utf8 1.2.2
ユーティリティ 4.1.3 UUID（ユニバーサルユニーク識別子） 1.1-0 vctrs 0.4.1
ヴィリディスライト 0.4.1 vroom 1.5.7 ワルド 0.4.0
ウイスカー 0.4 withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen (エックスオープン) 1.0.0 xtable (エクステーブル) 1.8-4
YAML 2.3.5 ジップ 2.2.0

インストールされている Java および Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ識別子 アーティファクト ID バージョン
アンラル（ANTLR） アンラル（ANTLR） 2.7.7
com.amazonaws amazon-kinesis-client（アマゾン・キネシス・クライアント） 1.12.0
com.amazonaws aws-java-sdk-autoscaling (オートスケーリング用Java SDK) 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws AWSのJava SDKパッケージであるCloudFront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm（AWSのクラウドHSM用Javaソフトウェア開発キット） 1.12.189
com.amazonaws AWSのJava SDK - cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy（AWSのJava SDK用CodeDeployサービス） 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity (AWS Java SDK コグニトアイデンティティ) 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config（AWS Java SDK 設定） 1.12.189
com.amazonaws aws-java-sdk-core（AWS Java SDKのコア） 1.12.189
com.amazonaws aws-java-sdk-datapipeline (AWS Java SDKのデータパイプラインモジュール) 1.12.189
com.amazonaws aws-java-sdk-directconnect (AWSのJava SDKのDirect Connect機能) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws AWS Java SDK エラスティキャッシュ 1.12.189
com.amazonaws AWS Java SDK エラスティックビーンストーク 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder (AWS用のJava開発ツールキット - Elastic Transcoder) 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier（AWSのJava SDKのGlacierツール） 1.12.189
com.amazonaws aws-java-sdk-glue (AWSのJava用SDKであるGlue) 1.12.189
com.amazonaws AWSのJava SDK（IAM用） 1.12.189
com.amazonaws AWS Java SDK インポートエクスポート 1.12.189
com.amazonaws aws-java-sdk-kinesis (AWS用Java SDKのKinesis) 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-機械学習 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds（AWSのJava用RDSソフトウェア開発キット） 1.12.189
com.amazonaws AWS Java SDK Redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws AWS Java SDK ストレージゲートウェイ 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws AWS Java SDK サポート 1.12.189
com.amazonaws aws-java-sdk-swf-libraries (AWS Java SDK SWFライブラリ) 1.11.22
com.amazonaws aws-java-sdk-workspacesとはAWSのワークスペースを管理するためのJava用SDKです。 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーミング 2.9.6
com.databricks Rサーブ 1.8-3
com.databricks jets3t (ジェットスリート) 0.7.1-0
com.databricks.scalapb コンパイラプラグイン_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog (ミンログ) 1.3.0
com.fasterxml クラスメイト 1.3.4
com.fasterxml.jackson.core jackson-annotations (ジャクソン・アノテーション) 2.13.4
com.fasterxml.jackson.core ジャクソン・コア (jackson-core) 2.13.4
com.fasterxml.jackson.core ジャクソン・データバインド (jackson-databind) 2.13.4
com.fasterxml.jackson.dataformat jackson-dataformat-cbor（ジャクソンデータフォーマットCBOR） 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine カフェイン 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib コア 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-ジャバ-ネイティブス 1.1
com.github.fommil.netlib ネイティブシステム-Java 1.1
com.github.fommil.netlib ネイティブシステム-Java-ネイティブ 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni (ゼットスタッドジェイエヌアイ) 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink ティンク 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava グアバ 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger プロファイラ 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk（アジュール・データ・レイク・ストア・SDK） 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning Compress-LZF (コンプレス-LZF) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer パラナマー 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter チル-ジャヴァ 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers（ユニボシティ・パーサーズ） 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
コモンズ・コーデック コモンズ・コーデック 1.15
コモンズ・コレクションズ コモンズ・コレクションズ 3.2.2
commons-dbcp（コモンズ-DBCP） commons-dbcp（コモンズ-DBCP） 1.4
コモンズ-ファイルアップロード コモンズ-ファイルアップロード 1.3.3
commons-httpclient（コモンズHTTPクライアント） commons-httpclient（コモンズHTTPクライアント） 3.1
commons-io commons-io 2.11.0
commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) 2.6
commons-logging commons-logging 1.1.3
commons-pool（コモンズプール） commons-pool（コモンズプール） 1.5.4
dev.ludovic.netlib アーパック 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib ラパック 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift エアコンプレッサー 0.21
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics メトリクス・コア 4.1.1
io.dropwizard.metrics メトリクス・グラファイト 4.1.1
io.dropwizard.metrics メトリクス-ヘルスチェック 4.1.1
io.dropwizard.metrics メトリクス-ジェッティ9 4.1.1
io.dropwizard.metrics メトリクス-JMX 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics メトリックス-JVM 4.1.1
io.dropwizard.metrics メトリクス-サーブレット 4.1.1
io.netty netty-all (ライブラリ名) 4.1.74.Final
io.netty ネットィバッファー 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty ネットティ・ハンドラー 4.1.74.Final
io.netty ネッティ・リゾルバー 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport（ネットティ・トランスポート） 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-トランスポートクラス-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common (ネットワーク通信を行うためのユニックス向け共通ライブラリ) 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus シンプルクライアント_コモン 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus シンプルクライアント_プッシュゲートウェイ 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクター 0.12.0
jakarta.annotation ジャカルタ・アノテーションAPI 1.3.5
ジャカルタ.サーブレット jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation アクティブ化 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction トランザクションAPI 1.1
javax.xml.bind jaxb-api 2.2.11
「ジャボリューション（Javolution）」 「ジャボリューション（Javolution）」 5.5.1
ジェイライン ジェイライン 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine 漬物 1.2
net.sf.jpam ジェーパム 1.1
net.sf.opencsv opencsv (CSVファイル操作のためのライブラリ) 2.3
net.sf.supercsv スーパCSV (スーパーシーエスブイ) 2.2.0
ネット・スノーフレーク snowflake-ingest-sdk（スノーフレーク・インジェスト・SDK） 0.9.6
ネット・スノーフレーク スノーフレーク-JDBC 3.13.14
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr ストリングテンプレート 3.2.1
org.apache.ant 蟻 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow 矢印フォーマット 7.0.0
org.apache.arrow アロー・メモリー・コア 7.0.0
org.apache.arrow アロー・メモリー・ネッティ 7.0.0
org.apache.arrow 矢印ベクトル 7.0.0
org.apache.avro アブロ 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons コモンズ・コンプレス 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons コモンズテキスト 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator Curator Framework（キュレーター・フレームワーク） 2.13.0
org.apache.curator キュレーターのレシピ 2.13.0
org.apache.derby ダービー 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime (ハドゥープ・クライアント・ランタイム) 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive ハイブシムス 2.3.9
org.apache.hive hive-storage-api (ハイブストレージAPI) 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler (ハイブシムススケジューラー) 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy アイビー 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc オーク・コア 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims（オーク・シムズ） 1.7.6
org.apache.parquet パーケット列 1.12.0-databricks-0007
org.apache.parquet parquet-common 1.12.0-databricks-0007
org.apache.parquet parquet-encoding 1.12.0-databricks-0007
org.apache.parquet parquet-format-structures 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift (リブスリフト) 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus オーディエンス注釈 0.5.0
org.apache.zookeeper 動物園の飼育員 3.6.2
org.apache.zookeeper zookeeper-jute（ズーキーパー・ジュート） 3.6.2
org.checkerframework チェッカー・クオール 3.5.0
org.codehaus.jackson ジャクソンコアASL 1.9.13
org.codehaus.jackson ジャクソン・マッパー・ASL 1.9.13
org.codehaus.janino コモンズコンパイラー 3.0.16
org.codehaus.janino ジャニーノ (janino) 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus データニュクレウス-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty ジェッティ・コンティニュエーション 9.4.46.v20220331
org.eclipse.jetty ジェッティ-HTTP 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi（ジェッティ-JNDI） 9.4.46.v20220331
org.eclipse.jetty ジェッティプラス 9.4.46.v20220331
org.eclipse.jetty jetty-proxy (ジェッティプロキシ) 9.4.46.v20220331
org.eclipse.jetty ジェッティ・セキュリティ 9.4.46.v20220331
org.eclipse.jetty ジェッティ・サーバー 9.4.46.v20220331
org.eclipse.jetty ジェッティ-サーブレット 9.4.46.v20220331
org.eclipse.jetty ジェッティ・サーブレット (jetty-servlets) 9.4.46.v20220331
org.eclipse.jetty jetty-util (ジェッティユーティル) 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax (ジェティ・ユーティル・エイジャックス) 9.4.46.v20220331
org.eclipse.jetty jetty-webapp（ジェッティ・ウェブアプリ） 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket ウェブソケットAPI 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client (ウェブソケット・クライアント) 9.4.46.v20220331
org.eclipse.jetty.websocket ウェブソケット-コモン 9.4.46.v20220331
org.eclipse.jetty.websocket ウェブソケットサーバー 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-サーブレット 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2ユーティリティー 2.6.1
org.glassfish.hk2 OSGiリソースロケーター 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core ジャージー・クライアント 2.36
org.glassfish.jersey.core ジャージーコモン 2.36
org.glassfish.jersey.core ジャージーサーバー 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator (ハイバーネイト検証ツール) 6.1.0.Final
org.javassist javassist（ジャバアシスト） 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注釈 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client（MariaDB用Javaクライアント） 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap シム 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine（アールエンジン） 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt テストインターフェイス 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra（スリー・テン・エクストラ） 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel スパイア-プラットフォーム_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl ワイルドフライ-オープンSSL 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml（スネークヤムル） 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays (ジェイラージアレイ) 1.5
software.amazon.ion ion-java 1.0.2
スタックス stax-api 1.0.1
  • Last updated on