Databricks Runtime 12.2 LTS
次のリリース ノートには、Apache Spark 3.3.2 で稼働する Databricks Runtime 12.2 LTS に関する情報が記載されています。
これらのイメージは、Databricks から 2023 年 3 月にリリースされました。
新機能と機能強化
- Delta Lake スキーマの展開で、merge ステートメントにおけるソース列の指定をサポート
- 共有アクセス モードのクラスターで、構造化ストリーミング ワークロードをサポート
- 予測 I/O の新機能
- 横列の暗黙的な別名をサポート
- forEachBatch の新機能
- クエリ フェデレーションの標準化された接続オプション
- SQL 関数ライブラリを拡張し、配列管理機能を追加
- 文字列を匿名化するための新しいマスク関数
- 一般的なエラー条件で SQLSTATE が返されるようになりました
- FROM 句でジェネレーター関数を呼び出す
- プロトコル バッファーのサポートを一般提供段階へ移行
- バグの修正
Delta Lake スキーマの展開時、merge ステートメントにおいてソース列の指定をサポート
スキーマの展開が有効になっている場合のマージ ステートメントの挿入または更新アクションで、ソース テーブルにのみ存在する列を指定できるようになりました。 Databricks Runtime 12.1 以下では、マージを使用したスキーマの展開には、INSERT * または UPDATE SET * アクションのみを使用できます。 「Delta Lake マージの自動スキーマの進化」を参照してください。
共有アクセス モードのクラスターで、構造化ストリーミング ワークロードをサポート
構造化ストリーミングを使用し、共有クラスター上で Unity Catalog と対話できるようになりました。 いくつかの制限が適用されます。 「Unity Catalog でサポートされている構造化ストリーミング機能」を参照してください。
予測 I/O の新機能
Foreachbatch シンク用の Photon サポートが提供されました。 ソースからストリーミングし、Delta Tables にマージしたり、複数のシンクに書き込んだりするワークロードが Photonized Foreachbatch シンクの恩恵を受けるようになりました。
暗黙的な横列エイリアシング サポート
Azure Databricks では、既定で、暗黙的な横列エイリアシングがサポートされるようになりました。 同じ SELECT リストで前に指定した式を再利用できるようになりました。 たとえば、SELECT 1 AS a, a + 1 AS b の場合、a + 1 の a は前に定義された 1 AS a として解決できます。 解決順序の詳細については、名前解決に関するこちらのページを参照してください。
この機能をオフにするには、spark.sql.lateralColumnAlias.enableImplicitResolution を false に設定します。
新しい forEachBatch 機能
foreachBatch を使用してデータ シンクに書き込む際について、Photon の使用がサポートされました。
クエリ フェデレーションの標準化された接続オプション
統合された一連のオプション (ホスト、ポート、データベース、ユーザー、パスワード) を使用して、クエリ フェデレーションでサポートされているデータ ソースに接続できるようになりました。 Port は省略可能であり、指定されていない限り、各データ ソースの既定のポート番号が使用されます。
配列管理用の拡張 SQL 関数ライブラリ
array_compact を使用して、配列からすべての NULL 要素を削除できるようになりました。 配列に要素を追加するには、array_append を使用します。
文字列を匿名化する新しい mask 関数
mask 関数を呼び出し、機密性の高い文字列値を匿名化します。
一般的なエラー条件で SQLSTATE が返されるようになりました
Databricks Runtime に含まれるようになったほとんどのエラー条件で SQLSTATE 値が記録されています。それを SQL 標準に準拠する方法でエラーのテストに利用できます。
FROM 句でジェネレーター関数を呼び出す
クエリの通常の FROM 句で、explode など、テーブル値ジェネレーター関数を呼び出せるようになりました。 これにより、ジェネレーター関数の呼び出しと、他の組み込みテーブル関数やユーザー定義関数との足並みが揃います。
プロトコル バッファーのサポートを一般提供段階へ移行
from_protobuf と to_protobuf 関数を使用して、バイナリと構造体の型の間でデータを交換できます。 「プロトコル バッファーの読み取りと書き込みを行う」を参照してください。
バグ修正
update、delete、およびmergeコマンドに関連する空のトランザクションに対する Delta コミット動作の一貫性が向上しました。WriteSerializable分離レベルでは、コマンドの結果として変更が発生しない場合に空のコミットが作成されるようになりました。Serializable分離レベルでは、そのような空のトランザクションの場合にはコミットが作成されません。
動作変更
新しい横列別名機能の導入に伴う動作変更
新しい横列別名機能では、名前解決中、次のケースに対して動作変更が導入されます。
- 同じ名前の相関参照よりも横列の別名が優先されるようになりました。 たとえば、クエリ
SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)の場合、内部c1 AS c2のc1が相関参照t.c1に解決されましたが、横列別名1 AS c1に変更されました。 クエリからはNULLが返されるようになります。 - 同じ名前の関数パラメーターよりも横列の別名が優先されるようになりました。 たとえば、関数
CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xの場合、関数本体のxは関数パラメーター x に解決されましたが、関数本体で横列別名x + 1に変更されます。 クエリSELECT * FROM func(1)からは2, 2が返されるようになります。 - 横列別名機能をオフにするには、
spark.sql.lateralColumnAlias.enableImplicitResolutionをfalseに設定します。 詳細については、「名前解決」を参照してください。
ライブラリのアップグレード
- アップグレードされた Python ライブラリ:
- filelock (3.8.2 から 3.9.0 へ)
- joblib (1.1.0 から 1.1.1 へ)
- platformdirs (2.6.0 から 2.6.2 へ)
- whatthepatch (1.0.3 から 1.0.4 へ)
- アップグレードされた R ライブラリ:
- class (7.3-20 から 7.3-21 へ)
- codetools (0.2-18 から 0.2-19 へ)
- MASS (7.3-58 から 7.3-58.2 へ)
- nlme (3.1-160 から 3.1-162 へ)
- Rserve (1.8-11 から 1.8-12 へ)
- SparkR (3.3.1 から 3.3.2 へ)
動作変更
- 定義済みの場所を使用してユーザーがスキーマを作成するには、任意のファイルの
SELECT権限とMODIFY権限を持っていることが必要になりました。
Apache Spark
Databricks Runtime 12.2 には、Apache Spark 3.3.2 が含まれています。 このリリースには、Databricks Runtime 12.1 (サポート対象外) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。
- [SPARK-42416] [SC-123205][SC-122851][SQL] 分析済みの論理プランはデータセット操作で再び解決されてはならない
- [SPARK-41848] “[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] TaskResourceProfile で過密日程になった作業を修正” を元に戻す
- [SPARK-42162] [SC-122711][ES-556261] 可換式の大きなツリーを正規化するためのメモリ最適化として MultiCommutativeOp 式を導入する
- [SPARK-42406] [SC-122998][PROTOBUF][Cherry-pick] Protobuf 関数の再帰深度設定を修正
- [SPARK-42002] [SC-122476][CONNECT][PYTHON] DataFrameWriterV2 を実装
- [SPARK-41716] [SC-122545][CONNECT] カタログで _catalog_to_pandas の名称を _execute_and_fetch に変更
- [SPARK-41490] [SC-121774][SQL] 名前を _LEGACY_ERROR_TEMP_2441 に割り当て
- [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][CONNECT] Catalog.cacheTable、isCached、uncache を実装
- [SPARK-42191] [SC-121990][SQL] udf ‘luhn_check’ をサポート
- [SPARK-42253] [SC-121976][PYTHON] 重複したエラー クラスの検出テストを追加
- [SPARK-42268] [SC-122251][CONNECT][PYTHON] protos に UserDefinedType を追加
- [SPARK-42231] [SC-121841][SQL]
MISSING_STATIC_PARTITION_COLUMNをinternalErrorに変える - [SPARK-42136] [SC-122554] BroadcastHashJoinExec 出力パーティション計算のリファクター
- [SPARK-42158] [SC-121610][SQL]
_LEGACY_ERROR_TEMP_1003をFIELD_NOT_FOUNDに統合する - [SPARK-42192] [12.x][SC-121820][PYTHON] pyspark/sql/dataframe.py から PySparkTypeError に TypeError を移行
- [SPARK-35240] “[SC-118242][SS] CheckpointFileManager を使用して…” を元に戻す
- [SPARK-41488] [SC-121858][SQL] 名前を _LEGACY_ERROR_TEMP_1176 (と 1177) に割り当てる
- [SPARK-42232] [SC-122267][SQL] エラー クラス:
UNSUPPORTED_FEATURE.JDBC_TRANSACTIONの名前変更 - [SPARK-42346] [SC-122480][SQL] サブクエリのマージ後に個別の集計を書き換える
- [SPARK-42306] [SC-122539][SQL]
_LEGACY_ERROR_TEMP_1317をUNRESOLVED_COLUMN.WITH_SUGGESTIONに統合する - [SPARK-42234] [SC-122354][SQL] エラー クラス:
UNSUPPORTED_FEATURE.REPEATED_PIVOTの名前変更 - [SPARK-42343] [SC-122437][CORE] SparkContext が停止した場合に
handleBlockRemovalFailureのIOExceptionを無視する - [SPARK-41295] [SC-122442][SPARK-41296][SQL] エラー クラスの名前変更
- [SPARK-42320] [SC-122478][SQL] _LEGACY_ERROR_TEMP_2188 に名前を割り当てる
- [SPARK-42255] [SC-122483][SQL] _LEGACY_ERROR_TEMP_2430 に名前を割り当てる
- [SPARK-42156] [SC-121851][CONNECT] SparkConnectClient で RetryPolicies がサポートされるようになりました
- [SPARK-38728] [SC-116723][SQL] エラー クラス: FAILED_RENAME_PATH のテスト
- [SPARK-40005] [12.X] PySpark の自己完結型の例
- [SPARK-39347] [SC-122457][SS] イベント時刻 < 0 のときの時間枠計算のバグ修正
- [SPARK-42336] [SC-122458][CORE] ResourceAllocator で
contains()の代わりにgetOrElse()を使用する - [SPARK-42125] [SC-121827][CONNECT][PYTHON] Spark Connect の Pandas UDF
- [SPARK-42217] [SC-122263][SQL] Window によるクエリで暗黙的な横列別名をサポート
- [SPARK-35240] [SC-118242][SS] Use チェックポイント ファイル操作の CheckpointFileManager
- [SPARK-42294] [SC-122337][SQL] V2 テーブルの DESCRIBE 出力に列の既定値を含める
- [SPARK-41979] ““[12.x][SC-121190][SQL] エラー クラスのエラー メッセージに不足しているドットを追加する” を元に戻す” を元に戻す
- [SPARK-42286] [SC-122336][SQL] CAST を使用した複雑な expr の以前の codegen コード パスへのフォールバック
- [SPARK-42275] [SC-122249][CONNECT][PYTHON] 静的型指定で組み込みの list、dict を使用しない
- [SPARK-41985] [SC-122172][SQL] 一元化する列解決ルールを増やす
- [SPARK-42126] [SC-122330][PYTHON][CONNECT] Spark Connect で Python Scalar UDF の DDL文字列で戻り値の型を受け入れる
- [SPARK-42197] [SC-122328][SC-121514][CONNECT] JVM 初期化を再利用し、リモート ローカル モードで設定する構成グループを分割する
- [SPARK-41575] [SC-120118][SQL] _LEGACY_ERROR_TEMP_2054 に名前を割り当てる
- [SPARK-41985] “[SC-122172][SQL] 一元化する列解決ルールを増やす” を元に戻す
- [SPARK-42123] [SC-122234][SC-121453][SQL] DESCRIBE と SHOW CREATE TABLE 出力に列既定値を含める
- [SPARK-41985] [SC-122172][SQL] 一元化する列解決ルールを増やす
- [SPARK-42284] [SC-122233][CONNECT] クライアント テストの実行前にコネクト サーバー アセンブリがビルドされることを確認する - SBT
- [SPARK-42239] [SC-121790][SQL]
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERYを統合する - [SPARK-42278] [SC-122170][SQL] DS V2 プッシュダウンでは、それ自体で JDBC ダイアレクト コンパイル
SortOrderがサポートされる - [SPARK-42259] [SC-122168][SQL] ResolveGroupingAnalytics で Python UDAF を処理する
- [SPARK-41979] “[12.x][SC-121190][SQL] エラー クラスのエラー メッセージに不足しているドットを追加する” を元に戻す
- [SPARK-42224] [12.x][SC-121708][CONNECT] Spark Connect 関数のエラー フレームワークに TypeError を移行する
- [SPARK-41712] [12.x][SC-121189][PYTHON][CONNECT] Spark Connect エラーを PySpark エラー フレームワークに移行する。
- [SPARK-42119] [SC-121913][SC-121342][SQL] 組み込みのテーブル値関数の inline と inline_outer を追加
- [SPARK-41489] [SC-121713][SQL] _LEGACY_ERROR_TEMP_2415 に名前を割り当てる
- [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][CONNECT] PySparkValueError と PySparkTypeError を導入
- [SPARK-42081] [SC-121723][SQL] プラン変更検証の改善
- [SPARK-42225] [12.x][SC-121714][CONNECT] SparkConnectIllegalArgumentException を追加し、Spark Connect エラーを正確に追加
- [SPARK-42044] [12.x][SC-121280][SQL]
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERYの正しくないエラー メッセージを修正 - [SPARK-42194] [12.x][SC-121712][PS] Series で DataFrame を作成するとき、列パラメーターを許可する
- [SPARK-42078] [12.x][SC-120761][PYTHON] JVM によってスローされたエラーを PySparkException に移行する
- [SPARK-42133] [12.x][SC-121250] 基本的な Dataset API メソッドを SparkConnect Scala Client に追加する
- [SPARK-41979] [12.x][SC-121190][SQL] エラー クラスのエラー メッセージに不足しているドットを追加する
- [SPARK-42124] [12.x][SC-121420][PYTHON][CONNECT] Spark Connect の Scalar Inline Python UDF
- [SPARK-42051] [SC-121994][SQL] HiveGenericUDF の Codegen サポート
- [SPARK-42257] [SC-121948][CORE] 使用されていない変数外部ソーターを削除する
- [SPARK-41735] [SC-121771][SQL] SparkListenerSQLExecutionEnd に STANDARD の代わりに MINIMAL を使用する
- [SPARK-42236] [SC-121882][SQL]
NULLABLE_ARRAY_OR_MAP_ELEMENTを改善 - [SPARK-42233] [SC-121775][SQL]
PIVOT_AFTER_GROUP_BYのエラー メッセージを改善 - [SPARK-42229] [SC-121856][CORE]
SparkCoreErrorsをエラー クラスに移行 - [SPARK-42163] [SC-121839][SQL] 折りたたみできない配列インデックスまたはマップ キーのスキーマ除去を修正
- [SPARK-40711] [SC-119990][SQL] ウィンドウのスピル サイズ メトリクスを追加
- [SPARK-42023] [SC-121847][SPARK-42024][CONNECT][PYTHON]
createDataFrameでAtomicType -> StringType強制をサポートする - [SPARK-42202] [SC-121837][Connect][Test] E2E テスト サーバー停止ロジックを改善
- [SPARK-41167] [SC-117425][SQL] バランスの取れた式ツリー述語を作成し、マルチタイプのパフォーマンスを改善
- [SPARK-41931] [SC-121618][SQL] 不完全な複合型定義のエラー メッセージを改善
- [SPARK-36124] [SC-121339][SC-110446][SQL] UNION により相関関係のあるサブクエリをサポート
- [SPARK-42090] [SC-121290][3.3] RetryingBlockTransferor で sasl 再試行カウントを導入
- [SPARK-42157] [SC-121264][CORE]
spark.scheduler.mode=FAIRで FAIR スケジューラーを提供する必要がある - [SPARK-41572] [SC-120772][SQL] _LEGACY_ERROR_TEMP_2149 に名前を割り当てる
- [SPARK-41983] [SC-121224][SQL]
NULL_COMPARISON_RESULTのエラー メッセージの名前変更と改善を行う - [SPARK-41976] [SC-121024][SQL]
INDEX_NOT_FOUNDのエラー メッセージを改善 - [SPARK-41994] [SC-121210][SC-120573] SQLSTATE を割り当てる (1/2)
- [SPARK-41415] [SC-121117][3.3] SASL 要求再試行
- [SPARK-38591] [SC-121018][SQL] flatMapSortedGroups and cogroupSorted の追加
- [SPARK-41975] [SC-120767][SQL]
INDEX_ALREADY_EXISTSのエラー メッセージを改善 - [SPARK-42056] [SC-121158][SQL][PROTOBUF] Protobuf 関数に不足しているオプションを追加
- [SPARK-41984] [SC-120769][SQL]
RESET_PERMISSION_TO_ORIGINALのエラー メッセージの名前変更と改善を行う - [SPARK-41948] [SC-121196][SQL] エラー クラス: CANNOT_PARSE_JSON_FIELD の NPE を修正
- [SPARK-41772] [SC-121176][CONNECT][PYTHON]
withFieldの doctest の正しくない列名を修正 - [SPARK-41283] [SC-121175][CONNECT][PYTHON]
array_appendを Connect に追加 - [SPARK-41960] [SC-120773][SQL] _LEGACY_ERROR_TEMP_1056 に名前を割り当てる
- [SPARK-42134] [SC-121116][SQL] 参照先の属性なしでフィルターを処理するように getPartitionFiltersAndDataFilters() を修正
- [SPARK-42096] [SC-121012][CONNECT]
connectモジュールのコード クリーンアップ - [SPARK-42099] [SC-121114][SPARK-41845][CONNECT][PYTHON]
count(*)とcount(col(*))を修正 - [SPARK-42045] [SC-120958][SC-120450][SQL] ANSI SQL モード: Round/Bround では、整数オーバーフローでエラーを解す必要がある
- [SPARK-42043] [SC-120968][CONNECT] E2E テストの Scala クライアントの結果
- [SPARK-41884] [SC-121022][CONNECT] 入れ子のある行としてネイティブ タプルをサポート
- [SPARK-42112] [SC-121011][SQL][SS]
ContinuousWriteRDD#compute関数 closedataWriterの前に null チェックを追加 - [SPARK-42077] [SC-120553][CONNECT][PYTHON] サポートされていない DataType に対してリテラルから TypeError をスローする必要がある
- [SPARK-42108] [SC-120898][SQL] アナライザーを
Count(*)からCount(1)に変換する - [SPARK-41666] [SC-120928][SC-119009][PYTHON]
sql()によるパラメーター化された SQL のサポート - [SPARK-40599] [SC-120930][SQL] 代替があらゆる種類の Seq になれるよう、multiTransform ルールの種類を緩和
- [SPARK-41574] [SC-120771][SQL]
_LEGACY_ERROR_TEMP_2009をINTERNAL_ERRORとして更新する。 - [SPARK-41579] [SC-120770][SQL] _LEGACY_ERROR_TEMP_1249 に名前を割り当てる
- [SPARK-41974] [SC-120766][SQL]
INCORRECT_END_OFFSETをINTERNAL_ERRORに変える - [SPARK-41530] [SC-120916][SC-118513][CORE] MedianHeap の名前を PercentileMap に変え、百分位数をサポート
- [SPARK-41757] [SC-120608][SPARK-41901][CONNECT] Column クラスの文字列表現を修正
- [SPARK-42084] [SC-120775][SQL] 修飾アクセス専用制限の漏洩を回避
- [SPARK-41973] [SC-120765][SQL] _LEGACY_ERROR_TEMP_1311 に名前を割り当てる
- [SPARK-42039] [SC-120655][SQL] SPJ: KeyGroupedPartitioning#partitionValuesOpt でオプションを削除
- [SPARK-42079] [SC-120712][CONNECT][PYTHON]
toDFとwithColumnsRenamedの proto メッセージの名前を変更 - [SPARK-42089] [SC-120605][CONNECT][PYTHON] 入れ子になったラムダ関数の変数名問題を修正
- [SPARK-41982] [SC-120604][SQL] 文字列型のパーティションは数値型として処理しない
- [SPARK-40599] [SC-120620][SQL] multiTransform メソッドを TreeNode に追加し、代替を生成
- [SPARK-42085] [SC-120556][CONNECT][PYTHON] 入れ子にされた型を
from_arrow_schemaでサポートする - [SPARK-42057] [SC-120507][SQL][PROTOBUF] エラー報告での例外処理方法を修正。
- [SPARK-41586] [12.x][ALL TESTS][SC-120544][PYTHON] PySpark の
pyspark.errorsとエラー クラスを導入。 - [SPARK-41903] [SC-120543][CONNECT][PYTHON]
Literalで 1-dim ndarray をサポートする必要がある - [SPARK-42021] [SC-120584][CONNECT][PYTHON]
createDataFrameでarray.arrayをサポートする - [SPARK-41896] [SC-120506][SQL] 行インデックスによるフィルター処理で空の結果が返される
- [SPARK-41162] [SC-119742][SQL] 集計を使用した自己結合の反結合および半結合を修正する
- [SPARK-41961] [SC-120501][SQL] LATERAL でテーブル値関数をサポート
- [SPARK-41752] [SC-120550][SQL][UI] 入れ子になっている実行をルート実行の下でグループ化する
- [SPARK-42047] [SC-120586][SPARK-41900][CONNECT][PYTHON][12.X] リテラルで Numpyデータ型をサポートする必要がある
- [SPARK-42028] [SC-120344][CONNECT][PYTHON] ナノ秒タイムスタンプの切り捨て
- [SPARK-42011] [SC-120534][CONNECT][PYTHON] DataFrameReader.csv の実装
- [SPARK-41990] [SC-120532][SQL] V1 から V2 へのフィルター変換で
applyの代わりにFieldReference.columnを使用 - [SPARK-39217] [SC-120446][SQL] 排除側の Union を DPP でサポート
- [SPARK-42076] [SC-120551][CONNECT][PYTHON] データ変換
arrow -> rowsをファクタリングしてconversion.pyにする - [SPARK-42074] [SC-120540][SQL]
TPCDSQueryBenchmarkでKryoSerializerを有効にし、SQL クラス登録を強制する - [SPARK-42012] [SC-120517][CONNECT][PYTHON] DataFrameReader.orc の実装
- [SPARK-41832] [SC-120513][CONNECT][PYTHON]
DataFrame.unionByNameを修正し、allow_missing_columns を追加 - [SPARK-38651] [SC-120514] [SQL]
spark.sql.legacy.allowEmptySchemaWriteを追加 - [SPARK-41991] [SC-120406][SQL]
CheckOverflowInTableInsertで子として ExpressionProxy を受け取る必要がある - [SPARK-41232] [SC-120073][SQL][PYTHON] array_append 関数の追加
- [SPARK-42041] [SC-120512][SPARK-42013][CONNECT][PYTHON] DataFrameReader でパスの一覧をサポートする必要がある
- [SPARK-42071] [SC-120533][CORE]
scala.math.Ordering$Reverseを KyroSerializer に登録する - [SPARK-41986] [SC-120429][SQL] SinglePartition でシャッフルを導入
- [SPARK-42016] [SC-120428][CONNECT][PYTHON] 入れ子になった列に関連するテストを有効にする
- [SPARK-42042] [SC-120427][CONNECT][PYTHON]
DataFrameReaderで StructType スキーマをサポートする必要がある - [SPARK-42031] [SC-120389][CORE][SQL] オーバーライドを必要としない
removeメソッドを消去する - [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][CONNECT][PYTHON] 入れ子にされた型を
createDataFrame(rows/lists/tuples/dicts)でサポートする - [SPARK-41437] [SC-117601][SQL][ALL TESTS] v1 書き込みフォールバックに対して入力クエリを 2 回最適化しない
- [SPARK-41840] [SC-119719][CONNECT][PYTHON] 不足している別名
groupbyを追加 - [SPARK-41846] [SC-119717][CONNECT][PYTHON] ウィンドウ関数の doctests を有効にする
- [SPARK-41914] [SC-120094][SQL] outputOrdering にアクセスする前に FileFormatWriter で AQE プランを具体化する
- [SPARK-41805] [SC-119992][SQL] WindowSpecDefinition で式を再利用する
- [SPARK-41977] [SC-120269][SPARK-41978][CONNECT] SparkSession.range で引数として float を受け取る
- [SPARK-42029] [SC-120336][CONNECT] Guava Shading ルールを
connect-commonに追加して起動時エラーを回避する - [SPARK-41989] [SC-120334][PYTHON] pyspark.pandas からのログ記録の構成を中断しないようにする
- [SPARK-42003] [SC-120331][SQL] ResolveGroupByAll で重複するコードを減らす
- [SPARK-41635] [SC-120313][SQL] group by all のエラー報告を修正
- [SPARK-41047] [SC-120291][SQL] round に関するドキュメントを改善
- [SPARK-41822] [SC-120122][CONNECT] Scala/JVM クライアントの gRPC 接続を設定
- [SPARK-41879] [SC-120264][CONNECT][PYTHON] 入れ子にされた型を
DataFrame.collectでサポートする - [SPARK-41887] [SC-120268][CONNECT][PYTHON] リストの型パラメーターを
DataFrame.hintで受け取る - [SPARK-41964] [SC-120210][CONNECT][PYTHON] サポートされていない IO 関数の一覧を追加
- [SPARK-41595] [SC-120097][SQL] FROM 句のジェネレーター関数 explode/explode_outer をサポート
- [SPARK-41957] [SC-120121][CONNECT][PYTHON]
DataFrame.hintの doctest を有効にする - [SPARK-41886] [SC-120141][CONNECT][PYTHON]
DataFrame.intersectdoctest 出力の順序が異なる - [SPARK-41442] [SC-117795][SQL][ALL TESTS] 有効なメトリックでマージする場合に SQLMetric 値のみを更新する
- [SPARK-41944] [SC-120046][CONNECT] ローカル リモート モードがオンのときに構成を渡す
- [SPARK-41708] [SC-119838][SQL] v1write 情報を
WriteFilesにプルする - [SPARK-41780] [SC-120000][SQL] パラメーター
regexpが無効なときに INVALID_PARAMETER_VALUE.PATTERN をスローする - [SPARK-41889] [SC-119975][SQL] invalidPatternError に根本原因をアタッチし、エラー クラス INVALID_PARAMETER_VALUE をリファクターする
- [SPARK-41860] [SC-120028][SQL] AvroScanBuilder と JsonScanBuilder をケース クラスにする
- [SPARK-41945] [SC-120010][CONNECT][PYTHON] Python: pyarrow.Table.to_pylist でコネクト クライアントのデータ列が失われる
- [SPARK-41690] [SC-119102][SC-119087][SQL][CONNECT] 依存しないエンコーダー
- [SPARK-41354] [SC-119995][CONNECT][PYTHON] RepartitionByExpression の実装
- [SPARK-41581] [SC-119997][SQL]
_LEGACY_ERROR_TEMP_1230をINTERNAL_ERRORとして更新 - [SPARK-41928] [SC-119972][CONNECT][PYTHON]
functionsのサポートされていないリストを追加 - [SPARK-41933] [SC-119980][CONNECT] サーバーを自動的に起動するローカル モードを提供
- [SPARK-41899] [SC-119971][CONNECT][PYTHON] createDataFrame` でユーザー定義の DDL スキーマに従う
- [SPARK-41936] [SC-119978][CONNECT][PYTHON]
withMetadataでwithColumnsproto を再利用する - [SPARK-41898] [SC-119931][CONNECT][PYTHON] Window.rowsBetween パラメーターとWindow.rangeBetween パラメーターの pyspark によるパリティ型チェック
- [SPARK-41939] [SC-119977][CONNECT][PYTHON]
catalog関数のサポートされていないリストの追加 - [SPARK-41924] [SC-119946][CONNECT][PYTHON] StructType でメタデータをサポートし、
DataFrame.withMetadataを実装する - [SPARK-41934] [SC-119967][CONNECT][PYTHON]
sessionのサポートされていない関数リストの追加 - [SPARK-41875] [SC-119969][CONNECT][PYTHON]
Dataset.to()のテスト ケースの追加 - [SPARK-41824] [SC-119970][CONNECT][PYTHON] connect の explain で doctest を無視する
- [SPARK-41880] [SC-119959][CONNECT][PYTHON] 関数
from_jsonで非リテラル スキーマを受け取るようにする - [SPARK-41927] [SC-119952][CONNECT][PYTHON]
GroupedDataのサポートされていないリストを追加 - [SPARK-41929] [SC-119949][CONNECT][PYTHON] 関数
array_compactを追加する - [SPARK-41827] [SC-119841][CONNECT][PYTHON]
GroupByで列リストを受け取るようにする - [SPARK-41925] [SC-119905][SQL] 既定で
spark.sql.orc.enableNestedColumnVectorizedReaderを有効にする - [SPARK-41831] [SC-119853][CONNECT][PYTHON]
DataFrame.selectで列リストを受け取るようにする - [SPARK-41455] [SC-119858][CONNECT][PYTHON]
DataFrame.collectでタイムゾーン情報を破棄する - [SPARK-41923] [SC-119861][CONNECT][PYTHON] サポートされていないリストに
DataFrame.writeToを追加する - [SPARK-41912] [SC-119837][SQL] サブクエリで CTE を検証しない
- [SPARK-41828] [SC-119832][CONNECT][PYTHON][12.X]
createDataFrameで空のデータフレームをサポートする - [SPARK-41905] [SC-119848][CONNECT] スライスで文字列として名前をサポートする
- [SPARK-41869] [SC-119845][CONNECT] dropDuplicates で単一文字列を拒否する
- [SPARK-41830] [SC-119840][CONNECT][PYTHON]
DataFrame.sampleに PySpark と同じパラメーターを受け取らせる - [SPARK-41849] [SC-119835][CONNECT] DataFrameReader.text の実装
- [SPARK-41861] [SC-119834][SQL] v2 ScanBuilders’ build() に型ありのスキャンを返させる
- [SPARK-41825] [SC-119710][CONNECT][PYTHON]
DataFrame.show関連の doctest を有効にする - [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][CONNECT][PYTHON][12.X]
createDataFrameに None/NaN を適切に処理させる - [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][CONNECT][PYTHON]
DataFrame.collectに None/NaN/Array/Binary を適切に処理させる - [SPARK-39318] [SC-119713][SQL] tpch-plan-stability WithStats ゴールデン ファイルを削除する
- [SPARK-41791] [SC-119745] 新しいファイル ソース メタデータ列型を追加
- [SPARK-41790] [SC-119729][SQL] TRANSFORM のリーダーとライターの書式を正しく設定する
- [SPARK-41829] [SC-119725][CONNECT][PYTHON]
SortとsortWithinPartitionsに不足している順序パラメーターを追加する - [SPARK-41576] [SC-119718][SQL] _LEGACY_ERROR_TEMP_2051 に名前を割り当てる
- [SPARK-41821] [SC-119716][CONNECT][PYTHON] DataFrame.describe の doctest を修正
- [SPARK-41871] [SC-119714][CONNECT] DataFrame ヒント パラメーターを str, float または int にすることができる
- [SPARK-41720] [SC-119076][SQL] UnresolvedFunc の名前を UnresolvedFunctionName に変更する
- [SPARK-41573] [SC-119567][SQL] _LEGACY_ERROR_TEMP_2136 に名前を割り当てる
- [SPARK-41862] [SC-119492][SQL] Orc リーダーで既定値に関連する正確性のバグを修正
- [SPARK-41582] [SC-119482][SC-118701][CORE][SQL]
_LEGACY_ERROR_TEMP_0022の代わりにINVALID_TYPED_LITERALを再利用する
メンテナンスの更新
「Databricks Runtime 12.2 メンテナンス更新プログラム」を参照してください。
システム環境
- オペレーティング システム: Ubuntu 20.04.5 LTS
- Java: Zulu 8.68.0.21-CA-linux64
- Scala: 2.12.15
- Python: 3.9.5
- R: 4.2.2
- Delta Lake: 2.2.0
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | asttokens | 2.0.5 |
| attrs | 21.4.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.3.0 | bleach | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
| cffi | 1.15.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| クリックし | 8.0.4 | cryptography | 3.4.8 | cycler | 0.11.0 |
| Cython | 0.29.28 | dbus-python | 1.2.16 | debugpy | 1.5.1 |
| decorator | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
| docstring-to-markdown | 0.11 | entrypoints | 0.4 | executing | 0.8.3 |
| facets-overview | 1.0.0 | fastjsonschema | 2.16.2 | filelock | 3.9.0 |
| fonttools | 4.25.0 | idna | 3.3 | ipykernel | 6.15.3 |
| ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.1.1 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
| jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
| matplotlib-inline | 0.1.2 | mccabe | 0.7.0 | mistune | 0.8.4 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| ノートブック | 6.4.8 | numpy | 1.21.5 | パッケージング | 21.3 |
| pandas | 1.4.2 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.0.1 | pip | 21.2.4 |
| platformdirs | 2.6.2 | plotly | 5.6.0 | pluggy | 1.0.0 |
| prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 7.0.0 | pycparser | 2.21 |
| pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
| pyodbc | 4.0.32 | pyparsing | 3.0.4 | pyright | 1.1.283 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
| requests | 2.27.1 | requests-unixsocket | 0.2.0 | rope | 0.22.0 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 61.2.0 |
| 6 | 1.16.0 | soupsieve | 2.3.1 | ssh-import-id | 5.10 |
| stack-data | 0.2.0 | statsmodels | 0.13.2 | tenacity | 8.0.1 |
| terminado | 0.13.1 | testpath | 0.5.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 1.2.2 | tornado | 6.1 |
| traitlets | 5.1.1 | typing_extensions | 4.1.1 | ujson | 5.1.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.4 |
| wheel | 0.37.0 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
インストールされている R ライブラリ
R ライブラリは、2022 年 11 月 11 日に Microsoft CRAN スナップショットからインストールされています。
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| 矢印 | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob (blob) | 1.2.3 |
| boot | 1.3-28 | brew | 1.0 から 8 | brio | 1.1.3 |
| broom | 1.0.1 | bslib | 0.4.1 | cachem | 1.0.6 |
| callr | 3.7.3 | キャレット | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-58 | クラス | 7.3-21 | cli | 3.4.1 |
| clipr | 0.8.0 | clock | 0.6.1 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.0-3 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | 資格情報 | 1.3.2 | curl | 4.3.3 |
| data.table | 1.14.4 | datasets | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.2.1 | desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.30 | downlit | 0.4.2 |
| dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
| ellipsis | 0.3.2 | evaluate | 0.18 | fansi | 1.0.3 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.4.0 |
| forcats | 0.5.2 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.5.2 | future | 1.29.0 |
| future.apply | 1.10.0 | gargle | 1.2.1 | generics | 0.1.3 |
| gert | 1.9.1 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-4 | globals | 0.16.1 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.0 | graphics | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0.9 | hms | 1.1.2 | htmltools | 0.5.3 |
| htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.6 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | KernSmooth | 2.23-20 | knitr | 1.40 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| lava | 1.7.0 | ライフサイクル | 1.0.3 | listenv | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | markdown | 1.3 |
| MASS | 7.3-58.2 | Matrix | 1.5-1 | memoise | 2.0.1 |
| methods | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.9 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
| parallelly | 1.32.1 | pillar | 1.8.1 | pkgbuild | 1.3.1 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| plogr | 0.2.0 | plyr | 1.8.7 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | progress | 1.2.2 |
| progressr | 0.11.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.2 | purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.4 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.1 | recipes | 1.0.3 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.18 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.2 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.2 | spatial | 7.3-11 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
| survival | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.5 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.1.1 | timeDate | 4021.106 |
| tinytex | 0.42 | tools | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
| viridisLite | 0.4.1 | vroom | 1.6.0 | waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.6 | zip | 2.2.2 |
インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | ストリーム (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.3 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | コレクタ | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-encoding | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-format-structures | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0002 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.1.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.28.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |