Databricks Runtime 12.1 (サポート期間終了)
Note
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
次のリリース ノートには、Apache Spark 3.3.1で稼働する Databricks Runtime 12.1 に関する情報が記載されています。
Databricks は、2023 年 1 月にこのバージョンをリリースしました。
新機能と機能強化
- プロトコル管理でサポートされる Delta Lake テーブルの機能
- 更新に対する予測 I/O はパブリック プレビュー段階です
- すべてのペルソナで Catalog Explorer を使用できるようになりました
- 1 つのストリーミング クエリでの複数のステートフル演算子のサポート
- プロトコル バッファーのサポートはパブリック プレビュー段階です
- Confluent スキーマ レジストリ認証のサポート
- Delta Sharing 共有を使用したテーブル履歴の共有のサポート
- Delta Sharing 共有を使用したストリーミングのサポート
- カタログ内の Delta Sharing テーブルでタイムスタンプを使用するテーブルバージョンがサポートされるようになりました
- MERGE INTO の SOURCE で一致しない場合のサポート
- CONVERT TO DELTA の最適化された統計収集
- テーブルのドロップ解除に関する Unity Catalog のサポート
プロトコル管理でサポートされる Delta Lake テーブルの機能
Azure Databricks に Delta Lake テーブル機能のサポートが導入されました。この機能は、サポートされる機能を特定のテーブルで指定する詳細なフラグを導入します。 「Azure Databricks で Delta Lake 機能の互換性を管理する方法」を参照してください。
更新に対する予測 I/O はパブリック プレビュー段階です
予測 I/O が、Photon 対応コンピューティングで削除ベクトルが有効になっている Delta テーブルに対する DELETE、MERGE、および UPDATE 操作を高速化するようになりました。 「予測 I/O とは」を参照してください。
すべてのペルソナで Catalog Explorer を使用できるようになりました
Databricks Runtime 7.3 LTS 以降を使用するときは、すべての Azure Databricks ペルソナで Catalog Explorer を使用できるようになりました。
1 つのストリーミング クエリでの複数のステートフル演算子のサポート
ユーザーが、ストリーミング クエリで追加モードでステートフル演算子をチェーンできるようになりました。 すべての演算子が完全にサポートされているわけではありません。 ストリーム同士の時間間隔結合と flatMapGroupsWithState は、他のステートフル演算子のチェーンを許可しません。
プロトコル バッファーのサポートはパブリック プレビュー段階です
from_protobuf と to_protobuf 関数を使用して、バイナリと構造体の型の間でデータを交換できます。 「プロトコル バッファーの読み取りと書き込みを行う」を参照してください。
Confluent スキーマ レジストリ認証のサポート
Azure Databricks と Confluent スキーマ レジストリの統合で、認証を使用した外部スキーマ レジストリ アドレスがサポートされるようになりました。 この機能は、from_avro、to_avro、from_protobufおよび 関数でto_protobuf使用できます。 Protobuf または Avro を参照してください。
Delta Sharing 共有を使用したテーブル履歴の共有のサポート
Delta Sharing を使用して全履歴のテーブルを共有できるようになりました。これにより、受信者は Spark 構造化ストリーミングを使用してタイム トラベル クエリの実行と、テーブルに対するクエリ実行を行うことができます。 WITH HISTORY を CHANGE DATA FEED の代わりにお勧めしますが、後者も引き続きサポートされます。 「ALTER SHARE」および「テーブルを共有に追加する」を参照してください。
Delta Sharing 共有を使用したストリーミングのサポート
Spark 構造化ストリーミングが、WITH HISTORY を使用して共有されたソース Delta Sharing テーブル上で、形式 deltasharing で動作するようになりました。
カタログ内の Delta Sharing テーブルでタイムスタンプを使用するテーブルバージョンがサポートされるようになりました
SELECT の SQL 構文TIMESTAMP AS OF ステートメントを使用して、カタログにマウントされている Delta Sharing テーブルのバージョンを指定できるようになりました。 テーブルは WITH HISTORY を使用して共有する必要があります。
MERGE INTO の SOURCE で一致しない場合のサポート
MERGE INTOにWHEN NOT MATCHED BY SOURCE句を追加して、マージ条件に基づいてソース テーブルに一致しない行を、選択したテーブルで更新または削除できるようになりました。 新しい句は、SQL、Python、Scala、Java で使用できます。 「MERGE INTO」を参照してください。
CONVERT TO DELTA の最適化された統計収集
CONVERT TO DELTA 操作の統計収集がはるかに高速になりました。 これにより、効率のために NO STATISTICS を使用する可能性があるワークロードの数が減ります。
テーブルのドロップ解除に関する Unity Catalog のサポート
この機能は、最初はパブリック プレビューでリリースされました。 2023 年 10 月 25 日時点の GA です。
ドロップから 7 日以内に、既存スキーマ内のドロップされたマネージド テーブルまたは外部テーブルをドロップ解除できるようになりました。 詳しくは、「UNDROP TABLE」および「SHOW TABLES DROPPED」をご覧ください。
ライブラリのアップグレード
- アップグレードされた Python ライブラリ:
- filelock (3.8.0 から 3.8.2 へ)
- platformdirs (2.5.4 から 2.6.0 へ)
- setuptools (58.0.4 から 61.2.0 へ)
- アップグレードされた R ライブラリは次のとおりです。
- アップグレードされた Java ライブラリ:
- io.delta.delta-sharing-spark_2.12 (0.5.2 から 0.6.2 へ)
- org.apache.hive.hive-storage-api （2.7.2 から 2.8.1へ）
- org.apache.parquet.parquet-column (1.12.3-databricks-0001 から 1.12.3-databricks-0002 へ)
- org.apache.parquet.parquet-common (1.12.3-databricks-0001 から 1.12.3-databricks-0002 へ)
- org.apache.parquet.parquet-encoding (1.12.3-databricks-0001 から 1.12.3-databricks-0002 へ)
- org.apache.parquet.parquet-format-structures (1.12.3-databricks-0001 から 1.12.3-databricks-0002 へ)
- org.apache.parquet.parquet-hadoop (1.12.3-databricks-0001 から 1.12.3-databricks-0002 へ)
- org.apache.parquet.parquet-jackson (1.12.3-databricks-0001 から 1.12.3-databricks-0002 へ)
- org.tukaani.xz (1.8 から 1.9 へ)
Apache Spark
Databricks Runtime 12.1 には、Apache Spark 3.3.1 が含まれています。 このリリースには、Databricks Runtime 12.0 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています:
- [SPARK-41405] [SC-119769][12.1.0] 「[SC-119411][SQL] 列解決ロジックを一元化する」 と「[SC-117170][SPARK-41338][SQL] 同じアナライザー バッチ内の外部参照と通常の列を解決する」 を元に戻す
- [SPARK-41405] [SC-119411][SQL] 列解決ロジックを一元化する
- [SPARK-41859] [SC-119514][SQL] CreateHiveTableAsSelectCommand は上書きフラグを正しく設定する必要がある
- [SPARK-41659] [SC-119526][CONNECT][12.X] pyspark.sql.connect.readwriter で doctests を有効にする
- [SPARK-41858] [SC-119427][SQL] 既定値機能による ORC 閲覧者のパフォーマンス回帰を修正
- [SPARK-41807] [SC-119399][CORE] 存在しないエラー クラスを削除する: UNSUPPORTED_FEATURE。DISTRIBUTE_BY
- [SPARK-41578] [12.x][SC-119273][SQL] 名前を_LEGACY_ERROR_TEMP_2141に割り当てる
- [SPARK-41571] [SC-119362][SQL] 名前を _LEGACY_ERROR_TEMP_2310 に割り当てる
- [SPARK-41810] [SC-119373][CONNECT] SparkSession.createDataFrame の辞書のリストから名前を推論する
- [SPARK-40993] [SC-119504][SPARK-41705][CONNECT][12.X] Spark Connect のドキュメントとスクリプトを開発/およびPython ドキュメントに移動する
- [SPARK-41534] [SC-119456][CONNECT][SQL][12.x] Spark Connect 用の初期クライアント モジュールをセットアップする
- [SPARK-41365] [SC-118498][UI][3.3] ステージ UI ページが特定の Yarn 環境でプロキシの読み込みに失敗する
- [SPARK-41481] [SC-118150][CORE][SQL]
_LEGACY_ERROR_TEMP_0020の代わりにINVALID_TYPED_LITERALを再利用 - [SPARK-41049] [SC-119305][SQL] ステートフル式処理の再検討
- [SPARK-41726] [SC-119248][SQL]
OptimizedCreateHiveTableAsSelectCommandを削除 - [SPARK-41271] [SC-118648][SC-118348][SQL]
sql()によりパラメーター化された SQL クエリをサポート - [SPARK-41066] [SC-119344][CONNECT][PYTHON]
DataFrame.sampleByとDataFrame.stat.sampleByを実装 する - [SPARK-41407] [SC-119402][SC-119012][SQL][ALL TESTS] WriteFiles への v1 書き込みをプルアウトする
- [SPARK-41565] [SC-118868][SQL] エラー クラス
UNRESOLVED_ROUTINEを追加する - [SPARK-41668] [SC-118925][SQL] DECODE 関数が NULL を渡したときに間違った結果を返す
- [SPARK-41554] [SC-119274] スケールが m... で減少したときの 10 進 スケールの変更を修正しました
- [SPARK-41065] [SC-119324][CONNECT][PYTHON]
DataFrame.freqItemsとDataFrame.stat.freqItemsを実装 する - [SPARK-41742] [SC-119404][SPARK-41745][CONNECT][12.X] ドキュメント テストを再度有効にし、count() に不足している列エイリアスを追加する
- [SPARK-41069] [SC-119310][CONNECT][PYTHON]
DataFrame.approxQuantileとDataFrame.stat.approxQuantileを実装する - [SPARK-41809] [SC-119367][CONNECT][PYTHON] 関数
from_jsonで DataType スキーマをサポートする - [SPARK-41804] [SC-119382][SQL] UDT の配列に
InterpretedUnsafeProjectionの正しい要素サイズを選択する - [SPARK-41786] [SC-119308][CONNECT][PYTHON] ヘルパー関数を重複除去する
- [SPARK-41745] [SC-119378][SPARK-41789][12.X]
createDataFrameを行のリストに サポートする - [SPARK-41344] [SC-119217][SQL] SupportsCatalogOptions カタログにテーブルが見つからない場合にエラーを明確にする
- [SPARK-41803] [SC-119380][CONNECT][PYTHON] 不足している関数
log(arg1, arg2)を追加する - [SPARK-41808] [SC-119356][CONNECT][PYTHON] JSON 関数でオプションをサポートする
- [SPARK-41779] [SC-119275][SPARK-41771][CONNECT][PYTHON]
__getitem__をフィルターと選択するようサポートする - [SPARK-41783] [SC-119288][SPARK-41770][CONNECT][PYTHON] 列操作をサポートなしにする
- [SPARK-41440] [SC-119279][CONNECT][PYTHON] 一般的なサンプルのキャッシュ演算子は使用しないでください。
- [SPARK-41785] [SC-119290][CONNECT][PYTHON]
GroupedData.meanの実装 - [SPARK-41629] [SC-119276][CONNECT] 関係と式でのプロトコル拡張のサポート
- [SPARK-41417] [SC-118000][CORE][SQL]
_LEGACY_ERROR_TEMP_0019をINVALID_TYPED_LITERALへ名前を変更する - [SPARK-41533] [SC-119342][CONNECT][12.X] Spark Connect サーバー/クライアントの適切なエラー処理
- [SPARK-41292] [SC-119357][CONNECT][12.X] pyspark.sql.ウィンドウ名前空間のサポート ウィンドウ
- [SPARK-41493] [SC-119339][CONNECT][PYTHON] csv 関数のサポート オプションを作成する
- [SPARK-39591] [SC-118675][SS] 非同期進行状況の追跡
- [SPARK-41767] [SC-119337][CONNECT][PYTHON][12.X]
Column.{withField, dropFields}の実装 - [SPARK-41068] [SC-119268][CONNECT][PYTHON]
DataFrame.stat.corrを実装する - [SPARK-41655] [SC-119323][CONNECT][12.X] pyspark.sql.connect.column で doctests を有効にする
- [SPARK-41738] [SC-119170][CONNECT] SparkSession キャッシュに ClientId を混在させる
- [SPARK-41354] [SC-119194][CONNECT]
RepartitionByExpressionをproto に追加 - [SPARK-41784] [SC-119289][CONNECT][PYTHON] 列に不足している
__rmod__を追加 - [SPARK-41778] [SC-119262][SQL] ArrayAggregate に別名 「reduce」 を追加する
- [SPARK-41067] [SC-119171][CONNECT][PYTHON]
DataFrame.stat.covを実装する - [SPARK-41764] [SC-119216][CONNECT][PYTHON] 内部文字列操作名を FunctionRegistry と一致させる
- [SPARK-41734] [SC-119160][CONNECT] カタログの親メッセージを追加する
- [SPARK-41742] [SC-119263] df.groupBy().agg({"*":"count"}) をサポート
- [SPARK-41761] [SC-119213][CONNECT][PYTHON] 算術演算を修正:
__neg__、__pow__、__rpow__ - [SPARK-41062] [SC-118182][SQL] 名前
UNSUPPORTED_CORRELATED_REFERENCEをCORRELATED_REFERENCEに変更 - [SPARK-41751] [SC-119211][CONNECT][PYTHON]
Column.{isNull, isNotNull, eqNullSafe}を修正 - [SPARK-41728] [SC-119164][CONNECT][PYTHON][12.X]
unwrap_udt関数を実装する - [SPARK-41333] [SC-119195][SPARK-41737]
GroupedData.{min, max, avg, sum}の実装 - [SPARK-41751] [SC-119206][CONNECT][PYTHON]
Column.{bitwiseAND, bitwiseOR, bitwiseXOR}の修正 - [SPARK-41631] [SC-101081][SQL] 集計での暗黙的な横列エイリアス解決のサポート
- [SPARK-41529] [SC-119207][CONNECT][12.X] SparkSession.stop を実装する
- [SPARK-41729] [SC-119205][CORE][SQL][12.X] 名前を
_LEGACY_ERROR_TEMP_0011からUNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSESに変更 - [SPARK-41717] [SC-119078][CONNECT][12.X] LogicalPlan で印刷と repr_html を重複除去する
- [SPARK-41740] [SC-119169][CONNECT][PYTHON]
Column.nameを実装 - [SPARK-41733] [SC-119163][SQL][SS] ResolveWindowTime のルールにツリー パターン ベースの排除を適用する
- [SPARK-41732] [SC-119157][SQL][SS] SessionWindowing のルールにツリー パターン ベースの排除を適用する
- [SPARK-41498] [SC-119018] Union を介してメタデータを伝達する
- [SPARK-41731] [SC-119166][CONNECT][PYTHON][12.X] 列アクセサーを実装する
- [SPARK-41736] [SC-119161][CONNECT][PYTHON]
pyspark_types_to_proto_typesはArrayTypeをサポートする必要がある - [SPARK-41473] [SC-119092][CONNECT][PYTHON]
format_number関数を実装する - [SPARK-41707] [SC-119141][CONNECT][12.X] Spark Connect にカタログ API を実装する
- [SPARK-41710] [SC-119062][CONNECT][PYTHON]
Column.betweenの実装 - [SPARK-41235] [SC-119088][SQL][PYTHON]高次関数: array_compact実装
- [SPARK-41518] [SC-118453][SQL] エラー クラス
_LEGACY_ERROR_TEMP_2422に名前を割り当てる - [SPARK-41723] [SC-119091][CONNECT][PYTHON]
sequence関数を実装する - [SPARK-41703] [SC-119060][CONNECT][PYTHON] リテラルで NullType とtyped_nullを組み合わせる
- [SPARK-41722] [SC-119090][CONNECT][PYTHON] 3 つの不足しているtimeウィンドウ関数を実装する
- [SPARK-41503] [SC-119043][CONNECT][PYTHON] パーティション変換関数を実装する
- [SPARK-41413] [SC-118968][SQL] パーティション キーが一致しないが、結合式に互換性がある場合は、Storage-Partitioned 結合 でシャッフルを避ける
- [SPARK-41700] [SC-119046][CONNECT][PYTHON]
FunctionBuilderの削除 - [SPARK-41706] [SC-119094][CONNECT][PYTHON]
pyspark_types_to_proto_typesはMapTypeをサポートする必要がある - [SPARK-41702] [SC-119049][CONNECT][PYTHON] 無効な列操作を追加する
- [SPARK-41660] [SC-118866][SQL] メタデータ列が使用されている場合にのみ反映されます
- [SPARK-41637] [SC-119003][SQL] 全部でオーダー
- [SPARK-41513] [SC-118945][SQL] マッパー行数ごとのメトリックを収集するアキュムレータを実装する
- [SPARK-41647] [SC-119064][CONNECT][12.X] pyspark.sql.connect.functions で docstrings を重複除去する
- [SPARK-41701] [SC-119048][CONNECT][PYTHON] 列操作で
decimalをサポートする - [SPARK-41383] [SC-119015][SPARK-41692][SPARK-41693]
rollup、cubeおよびpivotを実装する - [SPARK-41635] [SC-118944][SQL] 全部でグループ化する
- [SPARK-41645] [SC-119057][CONNECT][12.X] pyspark.sql.connect.dataframe で docstrings を重複除去する
- [SPARK-41688] [SC-118951][CONNECT][PYTHON] 式を expressions.py に移動する
- [SPARK-41687] [SC-118949][CONNECT] pyspark.sql.connect.group でdocstringsを重複除去する
- [SPARK-41649] [SC-118950][CONNECT] pyspark.sql.connect.window で docstrings を重複除去する
- [SPARK-41681] [SC-118939][CONNECT] GroupedDataを group.pyへファクターする
- [SPARK-41292] [SC-119038][SPARK-41640][SPARK-41641][CONNECT][PYTHON][12.X]
Window関数を実装する - [SPARK-41675] [SC-119031][SC-118934][CONNECT][PYTHON][12.X] 列操作で
datetimeをサポートする - [SPARK-41672] [SC-118929][CONNECT][PYTHON] 非推奨の関数を有効にする
- [SPARK-41673] [SC-118932][CONNECT][PYTHON]
Column.astypeの実装 - [SPARK-41364] [SC-118865][CONNECT][PYTHON]
broadcast関数を実装する - [SPARK-41648] [SC-118914][CONNECT][12.X] pyspark.sql.connect.readwriter で docstrings を重複除去する
- [SPARK-41646] [SC-118915][CONNECT][12.X] pyspark.sql.connect.session で docstrings を重複除去する
- [SPARK-41643] [SC-118862][CONNECT][12.X] pyspark.sql.connect.column で docstrings を重複除去する
- [SPARK-41663] [SC-118936][CONNECT][PYTHON][12.X] ラムダ関数の残りの部分を実装する
- [SPARK-41441] [SC-118557][SQL] 外部参照をホストするために必要な子出力なしで生成をサポート
- [SPARK-41669] [SC-118923][SQL] canCollapseExpressions の早期排除
- [SPARK-41639] [SC-118927][SQL][PROTOBUF] : SchemaConverters から ScalaReflectionLock を削除する
- [SPARK-41464] [SC-118861][CONNECT][PYTHON]
DataFrame.toの実装 - [SPARK-41434] [SC-118857][CONNECT][PYTHON] 初期 の
LambdaFunctionの実装 - [SPARK-41539] [SC-118802][SQL] LogicalRDD の論理プランの出力に対する統計と制約を再マップする
- [SPARK-41396] [SC-118786][SQL][PROTOBUF] OneOf フィールドのサポートと再帰チェック
- [SPARK-41528] [SC-118769][CONNECT][12.X] Spark Connect と PySpark API のマージ名前空間
- [SPARK-41568] [SC-118715][SQL] 名前を _LEGACY_ERROR_TEMP_1236 に割り当てる
- [SPARK-41440] [SC-118788][CONNECT][PYTHON]
DataFrame.randomSplitの実装 - [SPARK-41583] [SC-118718][SC-118642][CONNECT][PROTOBUF] 依存関係を指定して Spark Connect と protobuf を setup.py に追加する
- [SPARK-27561] [SC-101081][12.x][SQL] Project で暗黙的な横列エイリアス解決をサポート
- [SPARK-41535] [SC-118645][SQL]
InterpretedUnsafeProjectionとInterpretedMutableProjectionのカレンダーサイクル間隔フィールドにnull 値 を正しく設定する - [SPARK-40687] [SC-118439][SQL] 組み込み関数 'マスク' のデータ マスキングをサポート
- [SPARK-41520] [SC-118440][SQL] AND_OR TreePattern を分割して AND と OR TreePattern を分離する
- [SPARK-41349] [SC-118668][CONNECT][PYTHON] DataFrame.hint を実装する
- [SPARK-41546] [SC-118541][CONNECT][PYTHON]
pyspark_types_to_proto_typesは StructType をサポートする必要があります。 - [SPARK-41334] [SC-118549][CONNECT][PYTHON]
SortOrderプロトを関係から式に移動する - [SPARK-41387] [SC-118450][SS] Trigger.AvailableNow の Kafka データ ソースからの現在の終了オフセットをアサートする
- [SPARK-41508] [SC-118445][CORE][SQL]
_LEGACY_ERROR_TEMP_1180とUNEXPECTED_INPUT_TYPEの名前の変更 および_LEGACY_ERROR_TEMP_1179の削除 - [SPARK-41319] [SC-118441][CONNECT][PYTHON] 列.{when,otherwise} の実装と
whenとUnresolvedFunctionの関数 - [SPARK-41541] [SC-118460][SQL] SQLShuffleWriteMetricsReporter.decRecordsWritten() の間違った子メソッドへの呼び出しを修正
- [SPARK-41453] [SC-118458][CONNECT][PYTHON]
DataFrame.subtractの実装 - [SPARK-41248] [SC-118436][SC-118303][SQL] JSON の部分的な結果を有効または無効にする 「spark.sql.json.enablePartialResults」 を追加する
- [SPARK-41437] 「[SC-117601][SQL] v1 書き込みフォールバックに対して 入力クエリ を 2 回最適化しない」を元に戻す
- [SPARK-41472] [SC-118352][CONNECT][PYTHON] 残りの文字列/バイナリ関数を実装する
- [SPARK-41526] [SC-118355][CONNECT][PYTHON]
Column.isinの実装 - [SPARK-32170] [SC-118384] [CORE] ステージ タスク メトリックを通じて投機を改善します。
- [SPARK-41524] [SC-118399][SS] RocksDBConf での使用について StateStoreConf で SQLConf と extraOptions を区別する
- [SPARK-41465] [SC-118381][SQL] エラー クラス_LEGACY_ERROR_TEMP_1235に名前を割り当てる
- [SPARK-41511] [SC-118365][SQL] LongToUnsafeRowMap のサポートはDuplicatedKeyを無視
- [SPARK-41409] [SC-118302][CORE][SQL] 名前を
_LEGACY_ERROR_TEMP_1043からWRONG_NUM_ARGS.WITHOUT_SUGGESTIONに変更 - [SPARK-41438] [SC-118344][CONNECT][PYTHON]
DataFrame.colRegexの実装 - [SPARK-41437] [SC-117601][SQL] v1 書き込みフォールバックに対して入力クエリを 2 回最適化しない
- [SPARK-41314] [SC-117172][SQL] エラー クラス
_LEGACY_ERROR_TEMP_1094に名前を割り当てる - [SPARK-41443] [SC-118004][SQL] エラー クラス_LEGACY_ERROR_TEMP_1061に名前を割り当てる
- [SPARK-41506] [SC-118241][CONNECT][PYTHON] DataType をサポートするように LiteralExpression をリファクタリングする
- [SPARK-41448] [SC-118046] FileBatchWriter と FileFormatWriter で一貫した MR ジョブ ID を作成する
- [SPARK-41456] [SC-117970][SQL] try_castのパフォーマンスを向上させる
- [SPARK-41495] [SC-118125][CONNECT][PYTHON]
collection関数を実装する: P~Z - [SPARK-41478] [SC-118167][SQL] エラー クラス_LEGACY_ERROR_TEMP_1234に名前を割り当てる
- [SPARK-41406] [SC-118161][SQL]
NUM_COLUMNS_MISMATCHのエラー メッセージをリファクタリングして、より汎用的なものにする - [SPARK-41404] [SC-118016][SQL]
ColumnarBatchSuite#testRandomRowsがより多くのプリミティブ dataType をテストするようにColumnVectorUtils#toBatchをリファクタリングする - [SPARK-41468] [SC-118044][SQL] EquivalentExpressions での PlanExpression 処理を修正
- [SPARK-40775] [SC-118045][SQL] V2 ファイル スキャンの重複する説明エントリを修正する
- [SPARK-41492] [SC-118042][CONNECT][PYTHON] MISC 関数を実装する
- [SPARK-41459] [SC-118005][SQL] thrift サーバー操作ログ出力が空であることを修正
- [SPARK-41395] [SC-117899][SQL]
setDecimalを使用して、InterpretedMutableProjectionが安全でない行の10 進部の null 値を設定する必要がある - [SPARK-41376] [SC-117840][CORE][3.3] Executor の起動時に Netty preferDirectBufs チェック ロジックを修正する
- [SPARK-41484] [SC-118159][SC-118036][CONNECT][PYTHON][12.x]
collection関数を実装する: E~M - [SPARK-41389] [SC-117426][CORE][SQL]
_LEGACY_ERROR_TEMP_1044の代わりにWRONG_NUM_ARGSを再利用 - [SPARK-41462] [SC-117920][SQL] 日付とタイムスタンプの種類を TimestampNTZ にキャストできる
- [SPARK-41435] [SC-117810][SQL]
expressionsが空でないときにcurdate()のinvalidFunctionArgumentsErrorを呼び出すように変更 - [SPARK-41187] [SC-118030][CORE] ExecutorLost が発生したときに AppStatusListener で LiveExecutor MemoryLeak
- [SPARK-41360] [SC-118083][CORE] Executor が失われた場合に BlockManager の再登録を回避する
- [SPARK-41378] [SC-117686][SQL] DS v2 での列統計のサポート
- [SPARK-41402] [SC-117910][SQL][CONNECT][12.X] StringDecode の prettyName をオーバーライドする
- [SPARK-41414] [SC-118041][CONNECT][PYTHON][12.x] 日付/タイムスタンプ関数を実装する
- [SPARK-41329] [SC-117975][CONNECT] Spark Connect での循環インポートを解決する
- [SPARK-41477] [SC-118025][CONNECT][PYTHON] リテラル整数のデータ型を正しく推論する
- [SPARK-41446] [SC-118024][CONNECT][PYTHON][12.x]
createDataFrameにスキーマとその他の入力データセットの種類をサポートさせる - [SPARK-41475] [SC-117997][CONNECT] lint-scala コマンド エラーと入力ミスを修正
- [SPARK-38277] [SC-117799][SS] RocksDB ステート ストアのコミット後に書き込みバッチをクリアする
- [SPARK-41375] [SC-117801][SS] 最新の KafkaSourceOffset を空にしないでください
- [SPARK-41412] [SC-118015][CONNECT]
Column.castを実装する - [SPARK-41439] [SC-117893][CONNECT][PYTHON]
DataFrame.meltとDataFrame.unpivotを実装する - [SPARK-41399] [SC-118007][SC-117474][CONNECT] 列関連のテストをtest_connect_columnにリファクタリングする
- [SPARK-41351] [SC-117957][SC-117412][CONNECT][12.x] 列で != 演算子をサポートする必要がある
- [SPARK-40697] [SC-117806][SC-112787][SQL] 外部データ ファイルをカバーする読み取り側の char パディングを追加する
- [SPARK-41349] [SC-117594][CONNECT][12.X] DataFrame.hint を実装する
- [SPARK-41338] [SC-117170][SQL] 同じアナライザー バッチ内の外部参照と標準列を解決する
- [SPARK-41436] [SC-117805][CONNECT][PYTHON]
collection関数を実装する: A~ C - [SPARK-41445] [SC-117802][CONNECT] DataFrameReader.parquet を実装する
- [SPARK-41452][SC-117865][SQL] format が null 値 の場合、
to_charは null 値 を返す必要がある - [SPARK-41444] [SC-117796][CONNECT] read.json() のサポート
- [SPARK-41398] [SC-117508][SQL] ランタイム フィルター処理後のパーティション キーが一致しない場合のStorage-Partitioned結合に関する制約を緩和する
- [SPARK-41228] [SC-117169][SQL]
COLUMN_NOT_IN_GROUP_BY_CLAUSEのエラー メッセージの名前を変更してわかりやすくする。 - [SPARK-41381] [SC-117593][CONNECT][PYTHON]
count_distinctとsum_distinctの関数の 実装 - [SPARK-41433] [SC-117596][CONNECT] Max Arrow BatchSize を構成可能にする
- [SPARK-41397] [SC-117590][CONNECT][PYTHON] 文字列/バイナリ関数の一部を実装する
- [SPARK-41382] [SC-117588][CONNECT][PYTHON]
product関数を実装する - [SPARK-41403] [SC-117595][CONNECT][PYTHON]
DataFrame.describeの実装 - [SPARK-41366] [SC-117580][CONNECT] DF.groupby.agg() は互換性がある必要がある
- [SPARK-41369] [SC-117584][CONNECT] サーバーの網かけ jar に共通の接続を追加する
- [SPARK-41411] [SC-117562][SS] マルチステートフル オペレーターウォーターマークサポートバグ修正
- [SPARK-41176] [SC-116630][SQL] _LEGACY_ERROR_TEMP_1042 エラー クラスに名前を割り当てる
- [SPARK-41380] [SC-117476][CONNECT][PYTHON][12.X] 集計関数を実装する
- [SPARK-41363] [SC-117470][CONNECT][PYTHON][12.X] 通常の関数を実装する
- [SPARK-41305] [SC-117411][CONNECT] Command proto のドキュメントを改善する
- [SPARK-41372] [SC-117427][CONNECT][PYTHON] DataFrame TempView を実装する
- [SPARK-41379] [SC-117420][SS][PYTHON] PySpark の foreachBatch シンクのユーザー関数で DataFrame に複製された Spark セッションを提供する
- [SPARK-41373] [SC-117405][SQL][ERROR] CAST_WITH_FUN_SUGGESTIONの名前をCAST_WITH_FUNC_SUGGESTIONに変更する
- [SPARK-41358] [SC-117417][SQL]
DataTypeの代わりにPhysicalDataTypeを使用するColumnVectorUtils#populateのメソッドをリファクタリングする - [SPARK-41355] [SC-117423][SQL] Hive テーブル名の検証に関する回避策の問題
- [SPARK-41390] [SC-117429][SQL]
UDFRegistrationでregister関数を生成するために使用するスクリプトを更新する - [SPARK-41206] [SC-117233][SC-116381][SQL] エラー クラス
_LEGACY_ERROR_TEMP_1233の名前をCOLUMN_ALREADY_EXISTSに変更する - [SPARK-41357] [SC-117310][CONNECT][PYTHON][12.X] 数学関数を実装する
- [SPARK-40970] [SC-117308][CONNECT][PYTHON] Join の on 引数の List[Column] をサポート
- [SPARK-41345] [SC-117178][CONNECT] Proto の接続にヒントを追加する
- [SPARK-41226] [SC-117194][SQL][12.x] 物理型を導入して Spark 型をリファクタリングする
- [SPARK-41317] [SC-116902][CONNECT][PYTHON][12.X] DataFrameWriter の基本的なサポートを追加する
- [SPARK-41347] [SC-117173][CONNECT]proto 式 にキャストを追加する
- [SPARK-41323] [SC-117128][SQL]current_schemaをサポート
- [SPARK-41339] [SC-117171][SQL] 単にクリアするのではなく、RocksDB 書き込みバッチを閉じて再作成する
- [SPARK-41227] [SC-117165][CONNECT][PYTHON] DataFrame クロス結合を実装する
- [SPARK-41346] [SC-117176][CONNECT][PYTHON]
ascとdesc関数の実装 - [SPARK-41343] [SC-117166][CONNECT] FunctionName 解析をサーバー側に移動する
- [SPARK-41321] [SC-117163][CONNECT] UnresolvedStar のサポート ターゲット フィールド
- [SPARK-41237] [SC-117167][SQL] のエラー クラス
UNSUPPORTED_DATATYPEを_LEGACY_ERROR_TEMP_0030に再利用する - [SPARK-41309] [SC-116916][SQL]
_LEGACY_ERROR_TEMP_1093の代わりにINVALID_SCHEMA.NON_STRING_LITERALを再利用 - [SPARK-41276] [SC-117136][SQL][ML][MLLIB][PROTOBUF][PYTHON][R][SS][AVRO]
StructTypeのコンストラクターの使用を最適化する - [SPARK-41335] [SC-117135][CONNECT][PYTHON] 列での IsNull と IsNotNull のサポート
- [SPARK-41332] [SC-117131][CONNECT][PYTHON]
SortOrderでnullOrderingの修正 - [SPARK-41325] [SC-117132][CONNECT][12.X] DF 上の GroupBy の avg() が見つからない問題を修正
- [SPARK-41327] [SC-117137][CORE] スイッチ On/OffHeapStorageMemory info による
SparkStatusTracker.getExecutorInfosの修正 - [SPARK-41315] [SC-117129][CONNECT][PYTHON]
DataFrame.replaceとDataFrame.na.replaceを実装する - [SPARK-41328] [SC-117125][CONNECT][PYTHON] 列に論理 API と文字列 API を追加する
- [SPARK-41331] [SC-117127][CONNECT][PYTHON]
orderByとdrop_duplicatesを追加する - [SPARK-40987] [SC-117124][CORE] は
BlockManager#removeBlockInternalがロックが正常にロック解除されていることを確認する必要がある - [SPARK-41268] [SC-117102][SC-116970][CONNECT][PYTHON] API 互換性のために 「列」 をリファクタリングする
- [SPARK-41312] [SC-116881][CONNECT][PYTHON][12.X] DataFrame.withColumnRenamed を実装する
- [SPARK-41221] [SC-116607][SQL] エラー クラス
INVALID_FORMATを追加する - [SPARK-41272] [SC-116742][SQL] エラー クラス_LEGACY_ERROR_TEMP_2019に名前を割り当てる
- [SPARK-41180] [SC-116760][SQL]
_LEGACY_ERROR_TEMP_1227の代わりにINVALID_SCHEMAを再利用する - [SPARK-41260] [SC-116880][PYTHON][SS][12.X] GroupState 更新で NumPy インスタンスを Python プリミティブ型にキャストする
- [SPARK-41174] [SC-116609][CORE][SQL]
to_binary()の無効なformatの エラー クラスをユーザーに伝達する - [SPARK-41264] [SC-116971][CONNECT][PYTHON] リテラルでより多くのデータ型がサポートされるようにする
- [SPARK-41326] [SC-116972] [CONNECT] 重複除去が入力されない問題を修正
- [SPARK-41316] [SC-116900][SQL] 可能な限り末尾再帰を有効にする
- [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] フィルターでの文字列式をサポートする。
- [SPARK-41256] [SC-116932][SC-116883][CONNECT] DataFrame.withColumn(s) を実装する
- [SPARK-41182] [SC-116632][SQL] エラー クラス_LEGACY_ERROR_TEMP_1102に名前を割り当てる
- [SPARK-41181] [SC-116680][SQL] マップ オプション エラーをエラー クラスに移行する
- [SPARK-40940] [SC-115993][12.x] ストリーミング クエリの複数ステートフル演算子チェッカーを削除します。
- [SPARK-41310] [SC-116885][CONNECT][PYTHON] DataFrame.toDF を実装する
- [SPARK-41179] [SC-116631][SQL] エラー クラス_LEGACY_ERROR_TEMP_1092に名前を割り当てる
- [SPARK-41003] [SC-116741][SQL] codegen が無効になっていると、BHJ LeftAnti が numOutputRows を更新しない
- [SPARK-41148] [SC-116878][CONNECT][PYTHON]
DataFrame.dropnaとDataFrame.na.dropを実装する - [SPARK-41217] [SC-116380][SQL] エラー クラス
FAILED_FUNCTION_CALLを追加する - [SPARK-41308] [SC-116875][CONNECT][PYTHON] DataFrame.count() の改善
- [SPARK-41301] [SC-116786] [CONNECT] SparkSession.range() のホモジナイズ動作
- [SPARK-41306] [SC-116860][CONNECT] Connect 式のドキュメントを改善する
- [SPARK-41280] [SC-116733][CONNECT] DataFrame.tail を実装する
- [SPARK-41300] [SC-116751] [CONNECT] スキーマの未設定がスキーマとして解釈される
- [SPARK-41255] [SC-116730][SC-116695] [CONNECT] RemoteSparkSession の名前を変更する
- [SPARK-41250] [SC-116788][SC-116633][CONNECT][PYTHON] DataFrame。 toPandas はオプションの pandas データフレームを返さないでください
- [SPARK-41291] [SC-116738][CONNECT][PYTHON]
DataFrame.explainは印刷して None を返す必要がある - [SPARK-41278] [SC-116732][CONNECT] Expression.proto で未使用の QualifiedAttribute をクリーンアップする
- [SPARK-41097] [SC-116653][CORE][SQL][SS][PROTOBUF] Scala 2.13 コードの冗長コレクション変換ベースを削除する
- [SPARK-41261] [SC-116718][PYTHON][SS] グループ化キーの列が最も古い順序で配置されない場合の applyInPandasWithState の問題を修正
- [SPARK-40872] [SC-116717][3.3] プッシュマージされたシャッフル チャンクのサイズが 0 の場合に元のシャッフル ブロックにフォールバックする
- [SPARK-41114] [SC-116628][CONNECT] LocalRelation のローカル データをサポートする
- [SPARK-41216] [SC-116678][CONNECT][PYTHON]
DataFrame.{isLocal, isStreaming, printSchema, inputFiles}を実装する - [SPARK-41238] [SC-116670][CONNECT][PYTHON] より組み込みのデータ型をサポートする
- [SPARK-41230] [SC-116674][CONNECT][PYTHON] 集計式型から
strを削除 - [SPARK-41224] [SC-116652][SPARK-41165][SPARK-41184][CONNECT] サーバーからクライアントにストリーム配信するための方向ベースの収集実装の最適化
- [SPARK-41222] [SC-116625][CONNECT][PYTHON] 入力定義を統合する
- [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] サポートされていない関数を無効にします。
- [SPARK-41201] [SC-116526][CONNECT][PYTHON] Python クライアントで
DataFrame.SelectExprを実装 - [SPARK-41203] [SC-116258] [CONNECT] Python クライアントで Dataframe.tansform をサポートします。
- [SPARK-41213] [SC-116375][CONNECT][PYTHON]
DataFrame.__repr__とDataFrame.dtypesを実装する - [SPARK-41169] [SC-116378][CONNECT][PYTHON]
DataFrame.dropを実装する - [SPARK-41172] [SC-116245][SQL] あいまいな ref エラーをエラー クラスに移行する
- [SPARK-41122] [SC-116141][CONNECT] API でさまざまなモードをサポートできることを説明する
- [SPARK-41209] [SC-116584][SC-116376][PYTHON] _merge_type メソッドでの PySpark 型推論の改善
- [SPARK-41196] [SC-116555][SC-116179] [CONNECT] Spark Connect サーバー全体で protobuf バージョンを均質化して、同じメジャー バージョンを使用します。
- [SPARK-35531] [SC-116409][SQL] 不要な変換なしで Hive テーブルの統計を更新する
- [SPARK-41154] [SC-116289][SQL] タイム トラベル スペックを使用したクエリの関係キャッシュが正しくない
- [SPARK-41212] [SC-116554][SC-116389][CONNECT][PYTHON]
DataFrame.isEmptyの実装 - [SPARK-41135] [SC-116400][SQL] 名前
UNSUPPORTED_EMPTY_LOCATIONをINVALID_EMPTY_LOCATIONに変更 - [SPARK-41183] [SC-116265][SQL] キャッシュの正規化を計画するための拡張 API を追加する
- [SPARK-41054] [SC-116447][UI][CORE] ライブ UI での KVStore としての RocksDB のサポート
- [SPARK-38550] [SC-115223]「[SQL][CORE] ディスク ベースのストアを使用してライブ UI のデバッグ情報をさらに保存する」 を元に戻す
- [SPARK-41173] [SC-116185][SQL] 文字列式のコンストラクターから
require()を移動する - [SPARK-41188] [SC-116242][CORE][ML] executorEnv OMP_NUM_THREADSを spark executor JVM プロセスの既定で spark.task.cpus に設定する
- [SPARK-41130] [SC-116155][SQL] 名前
OUT_OF_DECIMAL_TYPE_RANGEをNUMERIC_OUT_OF_SUPPORTED_RANGEに変更 - [SPARK-41175] [SC-116238][SQL] エラー クラス_LEGACY_ERROR_TEMP_1078に名前を割り当てる
- [SPARK-41106] [SC-116073][SQL] AttributeMap の作成時にコレクション変換を減らす
- [SPARK-41139] [SC-115983][SQL] エラー クラスを改善する:
PYTHON_UDF_IN_ON_CLAUSE - [SPARK-40657] [SC-115997][PROTOBUF] Java クラス jar に網かけが必要、エラー処理を改善
- [SPARK-40999] [SC-116168] サブクエリへのヒント伝達
- [SPARK-41017] [SC-116054][SQL] 複数の非決定的フィルターを使用した列の排除をサポート
- [SPARK-40834] [SC-114773][SQL] SparkListenerSQLExecutionEnd を使用して UI で最終的な SQL 状態を追跡する
- [SPARK-41118] [SC-116027][SQL]
to_number/try_to_numberはformat がnullの場合にnullを返す必要がある - [SPARK-39799] [SC-115984][SQL] DataSourceV2: カタログ インターフェイスの表示
- [SPARK-40665] [SC-116210][SC-112300][CONNECT] Apache Spark バイナリ リリースに Spark Connect を埋め込むのを避ける
- [SPARK-41048] [SC-116043][SQL] AQE キャッシュを使用した出力のパーティション分割と順序の改善
- [SPARK-41198] [SC-116256][SS] CTE と DSv1 ストリーミング ソースを持つストリーミング クエリのメトリックを修正する
- [SPARK-41199] [SC-116244][SS] DSv1 ストリーミング ソースと DSv2 ストリーミング ソースが共同使用されている場合のメトリックの問題を修正する
- [SPARK-40957] [SC-116261][SC-114706] HDFSMetadataLog にメモリ キャッシュを追加する
- [SPARK-40940] 「[SC-115993]ストリーミング クエリの複数ステートフル演算子チェッカーを削除する」を元に戻します。
- [SPARK-41090] [SC-116040][SQL] Dataset API で一時ビューを作成するときに
db_name.view_nameの例外をスローする - [SPARK-41133] [SC-116085][SQL]
UNSCALED_VALUE_TOO_LARGE_FOR_PRECISIONをNUMERIC_VALUE_OUT_OF_RANGEに統合する - [SPARK-40557] [SC-116182][SC-111442][CONNECT] ダンプ 9 コミットのコードを書く
- [SPARK-40448] [SC-114447][SC-111314][CONNECT] シェーディングされた依存関係を持つドライバー プラグインとしての Spark Connect ビルド
- [SPARK-41096] [SC-115812][SQL] parquet FIXED_LEN_BYTE_ARRAY 型の読み取りをサポート
- [SPARK-41140] [SC-115879][SQL] エラー クラス
_LEGACY_ERROR_TEMP_2440の名前をINVALID_WHERE_CONDITIONに変更する - [SPARK-40918] [SC-114438][SQL] 列出力の生成時に FileSourceScanExec と、Orc と ParquetFileFormat が一致しない
- [SPARK-41155] [SC-115991][SQL] SchemaColumnConvertNotSupportedException にエラー メッセージを追加する
- [SPARK-40940] [SC-115993] ストリーミング クエリのマルチステートフル演算子チェッカーを削除します。
- [SPARK-41098] [SC-115790][SQL]
GROUP_BY_POS_REFERS_AGG_EXPRの名前をGROUP_BY_POS_AGGREGATEに変更 - [SPARK-40755] [SC-115912][SQL] 数値書式の型チェックの失敗をエラー クラスに移行する
- [SPARK-41059] [SC-115658][SQL]
_LEGACY_ERROR_TEMP_2420の名前をNESTED_AGGREGATE_FUNCTIONに変更 - [SPARK-41044] [SC-115662][SQL] DATATYPE_MISMATCH.UNSPECIFIED_FRAMEをINTERNAL_ERRORへ変換します
- [SPARK-40973] [SC-115132][SQL]
_LEGACY_ERROR_TEMP_0055の名前をUNCLOSED_BRACKETED_COMMENTに変更
メンテナンスの更新
Databricks Runtime 12.1 のメンテナンス更新プログラムに関するページを参照してください。
システム環境
- オペレーティング システム: Ubuntu 20.04.5 LTS
- Java: Zulu 8.64.0.19-CA-linux64
- Scala: 2.12.14
- Python: 3.9.5
- R: 4.2.2
- Delta Lake: 2.2.0
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | asttokens | 2.0.5 |
| attrs | 21.4.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.3.0 | bleach | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
| cffi | 1.15.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| クリックし | 8.0.4 | cryptography | 3.4.8 | cycler | 0.11.0 |
| Cython | 0.29.28 | dbus-python | 1.2.16 | debugpy | 1.5.1 |
| decorator | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
| docstring-to-markdown | 0.11 | entrypoints | 0.4 | executing | 0.8.3 |
| facets-overview | 1.0.0 | fastjsonschema | 2.16.2 | filelock | 3.8.2 |
| fonttools | 4.25.0 | idna | 3.3 | ipykernel | 6.15.3 |
| ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.1.0 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
| jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
| matplotlib-inline | 0.1.2 | mccabe | 0.7.0 | mistune | 0.8.4 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| ノートブック | 6.4.8 | numpy | 1.21.5 | パッケージング | 21.3 |
| pandas | 1.4.2 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.0.1 | pip | 21.2.4 |
| platformdirs | 2.6.0 | plotly | 5.6.0 | pluggy | 1.0.0 |
| prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 7.0.0 | pycparser | 2.21 |
| pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
| pyodbc | 4.0.32 | pyparsing | 3.0.4 | pyright | 1.1.283 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
| requests | 2.27.1 | requests-unixsocket | 0.2.0 | rope | 0.22.0 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 61.2.0 |
| 6 | 1.16.0 | soupsieve | 2.3.1 | ssh-import-id | 5.10 |
| stack-data | 0.2.0 | statsmodels | 0.13.2 | tenacity | 8.0.1 |
| terminado | 0.13.1 | testpath | 0.5.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 1.2.2 | tornado | 6.1 |
| traitlets | 5.1.1 | typing_extensions | 4.1.1 | ujson | 5.1.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.3 |
| wheel | 0.37.0 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
インストールされている R ライブラリ
R ライブラリは、2022 年 11 月 11 日に Microsoft CRAN スナップショットからインストールされています。
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| 矢印 | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob (blob) | 1.2.3 |
| boot | 1.3-28 | brew | 1.0 から 8 | brio | 1.1.3 |
| broom | 1.0.1 | bslib | 0.4.1 | cachem | 1.0.6 |
| callr | 3.7.3 | キャレット | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-58 | class | 7.3-20 | cli | 3.4.1 |
| clipr | 0.8.0 | clock | 0.6.1 | cluster | 2.1.4 |
| codetools | 0.2-18 | colorspace | 2.0-3 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | 資格情報 | 1.3.2 | curl | 4.3.3 |
| data.table | 1.14.4 | datasets | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.2.1 | desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.30 | downlit | 0.4.2 |
| dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
| ellipsis | 0.3.2 | evaluate | 0.18 | fansi | 1.0.3 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.4.0 |
| forcats | 0.5.2 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.5.2 | future | 1.29.0 |
| future.apply | 1.10.0 | gargle | 1.2.1 | generics | 0.1.3 |
| gert | 1.9.1 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-4 | globals | 0.16.1 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.0 | graphics | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0.9 | hms | 1.1.2 | htmltools | 0.5.3 |
| htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.6 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | KernSmooth | 2.23-20 | knitr | 1.40 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| lava | 1.7.0 | ライフサイクル | 1.0.3 | listenv | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | markdown | 1.3 |
| MASS | 7.3-58 | Matrix | 1.5-1 | memoise | 2.0.1 |
| methods | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.9 |
| munsell | 0.5.0 | nlme | 3.1-160 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
| parallelly | 1.32.1 | pillar | 1.8.1 | pkgbuild | 1.3.1 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| plogr | 0.2.0 | plyr | 1.8.7 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | progress | 1.2.2 |
| progressr | 0.11.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.2 | purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.4 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.1 | recipes | 1.0.3 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.2.18 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.2 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.1 | spatial | 7.3-11 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
| survival | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.5 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.1.1 | timeDate | 4021.106 |
| tinytex | 0.42 | tools | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
| viridisLite | 0.4.1 | vroom | 1.6.0 | waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.6 | zip | 2.2.2 |
インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | ストリーム (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.2 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | コレクタ | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-encoding | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-format-structures | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0002 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |