Databricks Runtime 14.2 (EoS)
Note
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
次のリリース ノートには、Apache Spark 3.5.0 で稼働する Databricks Runtime 14.2 に関する情報が記載されています。
Databricks は、2023 年 11 月にこのバージョンをリリースしました。
ヒント
サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されていない可能性があります。
新機能と機能強化
CACHE SELECTが無視される- キャッシュ動作の向上
- DML コマンドでの破損したファイル処理を修正しました
- 共有クラスターでの protobuf および Avro 関連関数のスキーマ レジストリのサポート
foreachBatchとStreamingListenerのサポート- 行レベルのコンカレンシーは一般提供され、既定でオンになっている
- Delta Sharing: 受信者は削除ベクトルを含む共有テーブル上でバッチ、CDF、ストリーミング クエリを実行することができます (パブリック プレビュー)
- Unity Catalog の外部テーブルのシャロー クローン (パブリック プレビュー)
- 新しいディスク キャッシュ割り当てアルゴリズム
- スキーマ レジストリ コネクタを使用する
from_avroにスキーマの展開のサポートが追加されました - マルチスレッドの統計収集の高速化
- DeltaSource での Delta ファイルに対するフィルターのプッシュダウン
- 共有クラスターでの Scala スカラーのユーザー定義関数のサポート (パブリック プレビュー)
CACHE SELECT が無視されるようになりました
SQL コマンド CACHE SELECT は、改良されたキャッシュ アルゴリズムを優先して無視されるようになりました。 「Azure Databricks でキャッシュを使用してパフォーマンスを最適化する」を参照してください。
キャッシュ動作の向上
Spark スケジューラによる DiskCache の配置では、パーティションの割り当てが高速化され、クラスターの自動スケール中の分散が向上し、クエリの実行の一貫性が向上しました。
DML コマンドでの破損したファイル処理を修正しました
DML コマンド DELETE、UPDATE、MERGE INTO では、読み取りオプション ignoreCorruptFiles および ignoreMissingFiles が考慮されなくなりました。 テーブルで読み取り不可能なファイルが検出された場合、これらのオプションが指定されていても、これらのコマンドは失敗するようになりました。
共有クラスターでの protobuf および Avro 関連関数のスキーマ レジストリのサポート
共有クラスターのスキーマ レジストリで、from_avro、to_avro、from_protobuf、および to_protobuf Python 関数を使用できるようになりました。
foreachBatch と StreamingListener のサポート
共有クラスターの構造化ストリーミングで foreachBatch() および StreamingListener API を使用できるようになりました。 「foreachBatch を使用して任意のデータ シンクに書き込む」と「Azure Databricks で構造化ストリーミング クエリを監視する」を参照してください。
行レベルのコンカレンシーは一般提供され、既定でオンになっている
行レベルのコンカレンシーは、行レベルで変更を検出することで、同時書き込み操作間の競合を削減します。 行レベルのコンカレンシーは、パーティション分割のないテーブル (リキッド クラスタリングを使用するテーブルを含む) でのみサポートされます。 行レベルのコンカレンシーは、削除ベクトルが有効になっている Delta テーブルでは既定で有効になっています。 「行レベルのコンカレンシーでの書き込みの競合」を参照してください。
Delta Sharing: 受信者は削除ベクトルを含む共有テーブル上でバッチ、CDF、ストリーミング クエリを実行することができます (パブリック プレビュー)
Delta Sharing の受信者は、削除ベクトルを使用する共有テーブル上でバッチ、CDF、ストリーミング クエリを実行することができるようになりました。 Databricks Runtime 14.1 では、バッチ クエリのみを実行できます。 「削除ベクトルまたは列マッピングを含むテーブルを共有に追加する」、「削除ベクトルまたは列マッピングが有効になっているテーブルを読み取る」、「削除ベクトルまたは列マッピングが有効になっているテーブルを読み取る」を参照してください。
Unity Catalog の外部テーブルのシャロー クローン (パブリック プレビュー)
Unity Catalog の外部テーブルでシャロー クローンを使用できるようになりました。 「Unity Catalog テーブルのシャロー クローン」を参照してください。
新しいディスク キャッシュ割り当てアルゴリズム
Spark スケジューラで新しいディスク キャッシュ アルゴリズムが使用されるようになりました。 このアルゴリズムにより、ディスク使用量とノード間でのパーティション割り当てが向上し、初期とクラスターのスケーリング後の両方のイベントの割り当てが高速になります。 より厳密なキャッシュ割り当てにより、実行全体の一貫性が向上し、再調整操作中に移動されるデータが減少します。
スキーマ レジストリ コネクタを使用する from_avro にスキーマの展開のサポートが追加されました
展開したレコードが検出されたときにパイプラインを再起動できるようになりました。 以前は、from_avro コネクタでスキーマの展開が発生した場合、新しい列は null を返しました。 「ストリーミング Avro データの読み取りと書き込み」をご覧ください。
マルチスレッドの統計収集の高速化
CONVERT TO DELTA を実行するとき、または Iceberg テーブルと Parquet テーブルから複製する場合、小さなクラスターでは統計の収集が最大 10 倍高速になります。 「Delta Lake への変換」およびParquet テーブルと Iceberg テーブルをクローンすることに関する記事をご覧ください。
DeltaSource での Delta ファイルに対するフィルターのプッシュダウン
使用率を向上させるために、Delta テーブル ストリーミング クエリのパーティション フィルターは、レート制限の前に Delta にプッシュダウンされるようになりました。
共有クラスターでの Scala スカラーのユーザー定義関数のサポート (パブリック プレビュー)
共有アクセス モードで構成された Unity Catalog 対応クラスターで Scala スカラーのユーザー定義関数を使用できるようになりました。 「ユーザー定義スカラー関数 - Scala」をご覧ください。
ライブラリのアップグレード
- アップグレードされた Python ライブラリ:
- fastjsonschema ( 2.18.0 から 2.19.0 へ)
- filelock (3.12.3 から 3.12.4 へ)
- googleapis-common-protos (1.60.0 から 1.61.0 へ)
- アップグレードされた R ライブラリは次のとおりです。
- アップグレードされた Java ライブラリは次のとおりです。
Apache Spark
Databricks Runtime 14.2 には、Apache Spark 3.5.0 が含まれています。 このリリースには、Databricks Runtime 14.1 に含まれるすべての Spark の修正プログラムおよび機能強化に加え、Spark に対して行われた以下のバグ修正と機能強化が含まれています。
- [SPARK-45592] [DBRRM-624] “[SC-146977][SQL] AQE と InMemoryTableScanExec の正確性の問題” を元に戻します
- [SPARK-45524] [DBRRM-625] "[SC-146319][PYTHON][SQL] Python データ ソース…" を元に戻します
- [SPARK-45433] [DBRRM-621] "[SC-145163][SQL] タイムスタンプが指定した timestampFormat と…" を元に戻します
- [SPARK-45592] [SC-146977][SQL] AQE と InMemoryTableScanExec の正確性の問題
- [SPARK-45354] "[SC-143991][SQL] 関数をボトムアップで解決します" を元に戻します
- [SPARK-45680] [TEST-ONLY][SASP-2347][CONNECT] テストを修正します
- [SPARK-45680] [CONNECT] セッションを解放します
- [SPARK-43380] [SC-146726][ES-897115][SQL] Avro 読み取りの速度低下を修正します
- [SPARK-45649] [SC-146742][SQL]
OffsetWindowFunctionFrameの準備フレームワークを統合します - [SPARK-40820] [SC-146727][PYTHON][SQL] StructType を Json から作成します
- [SPARK-45620] [SC-146225][PYTHON] Python UDTF に関連するユーザーに対する API がキャメルケースを使用するように修正します
- [SPARK-45727] [SC-146978][SS] 透かしの伝達シミュレーションで未使用のマップを削除します
- [SPARK-45723] [SC-146890][PYTHON][CONNECT] カタログ メソッドが Pandas 変換を回避します
- [SPARK-45574] [SC-146106][SQL] :: 構文をキャストの短縮系として追加します
- [SPARK-45670] [SC-146725][CORE][3.5] SparkSubmit が K8 にデプロイするときに
--total-executor-coresをサポートしません - [SPARK-45661] [SC-146594][SQL][PYTHON] StructType、MapType、ArrayType に toNullable を追加します
- [SPARK-45524] [SC-146319][PYTHON][SQL] Python データ ソース読み取り API の初期サポート
- [SPARK-45542] [SC-145892][CORE]
setSafeMode(HdfsConstants.SafeModeAction, boolean)をsetSafeMode(SafeModeAction, boolean)に置き換えます - [SPARK-45652] [SC-146641][SQL] SPJ: 動的フィルター処理後に空の入力パーティションを処理します
- [SPARK-45454] [SC-144846][SQL] 表の既定の所有者を current_user に設定します
- [SPARK-45554] [SC-146875][PYTHON] フレキシブル パラメータを
assertSchemaEqualに導入します - [SPARK-45242] [SC-143410][SQL] DataFrame ID を使用して CollectMetrics をセマンティクス的に検証します
- [SPARK-45674] [SC-146862][CONNECT][PYTHON] Spark Connect の JVM 依存属性のエラー メッセージを改善します。
- [SPARK-45646] [SC-146276][SQL] Hive 2.0 よりも前のハードコーディング時間変数を削除します
- [SPARK-43380] [SC-146726][ES-897115][SQL] Avro 読み取りの速度低下を修正します
- [SPARK-45545] [SC-146484][CORE] SparkTransportConf を作成する場所で SSLOptions を渡します
- [SPARK-45641] [SC-146260][UI] AllJobsPage にアプリケーションの開始時刻を表示します
- [SPARK-40154] [SC-146491][Python][Docs] Dataframe.cache docstring のストレージ レベルを修正します
- [SPARK-45626] [SC-146259][SQL] _LEGACY_ERROR_TEMP_1055 を REQUIRES_SINGLE_PART_NAMESPACE に変換します
- [SPARK-45507] [SC-145900][SQL] 入れ子になった相関スカラー サブクエリと COUNT 集計の正確性を修正します
- [SPARK-45619] [SC-146226][CONNECT][PYTHON] 観察されたメトリックを Observation オブジェクトに適用します
- [SPARK-45588] [SC-145909][PROTOBUF][CONNECT][MINOR] StreamingForeachBatchHelper の Scaladoc を改善します
- [SPARK-45616] [SC-146120][CORE] ThreadLocals または SparkSession を伝達しない ParVector を回避します
- [SPARK-45604] [SC-146105][SQL] Parquet Vectorized Reader での INT64 -> DateTime 変換に LogicalType を追加します
- [SPARK-44649] [SC-145891][SQL] ランタイム フィルターが同等の作成側の式の渡しをサポートします
- [SPARK-41674] [SC-128408][SQL] ランタイム フィルターが多層シャッフル結合側をフィルター作成側としてサポートする必要があります
- [SPARK-45547] [SC-146228][ML] 組み込み関数を使用してベクターを検証します
- [SPARK-45558] [SC-145890][SS] ステートフル演算子のストリーミングのためのメタデータ ファイルを導入します
- [SPARK-45618] [SC-146252][CORE] BaseErrorHandler を削除します
- [SPARK-45638] [SC-146251][SQL][Avro] 10 進変換のテスト カバレッジを改善します
- [SPARK-44837] [SC-146020][SQL] ALTER TABLE ALTER PARTITION 列のエラー メッセージを変更します
- [SPARK-45561] [SC-146264][SQL] MySQLDialect で TINYINT の適切な変換を追加します
- [SPARK-45632] [SC-146255][SQL] AQE を有効にするときにテーブル キャッシュが不必要な ColumnarToRow を回避する必要があります
- [SPARK-45569] [SC-145932][SQL] エラー _LEGACY_ERROR_TEMP_2152 に名前を割り当てます
- [SPARK-44784] [SC-141015][CONNECT] SBT テストを密閉します。
- [SPARK-45452] [SC-144836][SQL]
FileSystem.listFilesAPI を使用するようにInMemoryFileIndexを改善します - [SPARK-44735] [SC-146186][SQL] 一致しない行に同じ名前の列を挿入する場合に警告メッセージを追加します
- [SPARK-45351] [SC-144791][CORE]
spark.shuffle.service.db.backendの既定値を ROCKSDB に変更します - [SPARK-45553] [SC-145906][PS]
assertPandasOnSparkEqualの非推奨化 - [SPARK-45613] [SC-146022][CORE] DeterministicLevel を DeveloperApi として公開します
- [SPARK-45549] [SC-145895][CORE]
CoarseGrainedSchedulerBackendで未使用のnumExistingExecutorsを削除します - [SPARK-45609] [SC-146030][CONNECT] SparkThrowable プロト メッセージに SqlState を含めます
- [SPARK-45595] [SC-146037] エラー メッセージで sqlstate を公開します
- [SPARK-45628] [SC-146123][ML]
.mllib.linalg.SparseVectorのvector_to_arrayを改善します - [SPARK-45009] [SC-145884][SQL][FOLLOW UP] AQE InSubquery テストの結合条件の無相関をオフにします
- [SPARK-45576] [SC-145883][CORE] ReloadingX509TrustManagerSuite で不必要なデバッグ ログを削除します
- [SPARK-45485] [SC-145719][CONNECT] ユーザー エージェントの機能強化: 環境変数 SPARK_CONNECT_USER_AGENT を使用し、環境固有の属性を含めます
- [SPARK-45508] [SC-145513][CORE] プラットフォームが Java 9 以降の Cleaner にアクセスできるように “–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED” を追加します
- [SPARK-45595] "[SC-146037] エラー メッセージで SQLSTATE を公開します" を元に戻します
- [SPARK-45595] [SC-146037] エラー メッセージで SQLSTATE を公開します
- [SPARK-45112] "[SC-143259][SQL] SQL データセット関数で…" を元に戻します
- [SPARK-45257] [SC-143411][CORE]
spark.eventLog.compressを既定で有効にします - [SPARK-45586] [SC-145899][SQL] 式ツリーが大きいプランのコンパイラ待機時間を短縮します
- [SPARK-45517] [SC-145691][CONNECT][14.x] エラー フレームワーク パラメーターをサポートするために例外コンストラクターをさらに拡張します
- [SPARK-45581] [SC-145896] SQLSTATE を必須にします。
- [SPARK-45427] [SC-145590][CORE] RPC SSL 設定を SSLOptions と SparkTransportConf に追加します
- [SPARK-45261] [SC-143357][CORE]
EventLogFileWritersがnoneをコーデックとして処理するように修正します - [SPARK-45582] [SC-145897][SS] 出力モード ストリーミング集計内でコミットを呼び出した後にストア インスタンスが使用されないようにします
- [SPARK-45562] [SC-145720][SC-144650][SQL] XML: ‘rowTag’ を必須オプションにします
- [SPARK-45392] [SC-144362][CORE][SQL][SS]
Class.newInstance()をClass.getDeclaredConstructor().newInstance()に置き換えます - [SPARK-45433] [SC-145163][SQL] タイムスタンプが指定した timestampFormat と一致しない場合の CSV/JSON スキーマ推論を修正します
- [SPARK-45458] [SC-145011][SQL] bitwiseExpressions で IllegalArgumentException を SparkIllegalArgumentException に変換します
- [SPARK-45564] [SC-145735][SQL] ‘DataFrameStatFunctions.bloomFilter’を ‘BloomFilterAggregate’ 式で簡略化します
- [SPARK-45566] [SC-145777][PS] Spark での Pandas API の Pandas のようなテスト ユーティリティのサポート
- [SPARK-45498] [SC-145509][CORE] フォローアップ: 古いステージからのタスクの完了を無視します…
- [SPARK-45483] [SC-145152][CONNECT] connect.functions の関数グループを修正します
- [SPARK-45577] [SC-145781][PYTHON] UserDefinedPythonTableFunctionAnalyzeRunner が名前付き引数からフォールド値を渡すように修正します
- [SPARK-45009] [SC-138223][FOLLOW UP] AetherSQLQuerySuite の結合条件の無相関をオフにします
- [SPARK-45415] [SC-145344] RocksDB ステートストアでの “fallocate” の選択的無効化を許可します
- [SPARK-45500] [SC-145134][CORE][WEBUI] MasterPage で異常な状態で完了したドライバーの数を表示します
- [SPARK-44120] [SC-144349][PYTHON] Python 3.12 をサポートします
- [SPARK-45439] [SC-145589][SQL][UI] LiveStageMetrics.accumIdsToMetricType のメモリ使用量を減らします
- [SPARK-45565] [SC-145717][UI] ステージの詳細に関するタスク リストの不要な JSON.stringify と JSON.parse ループ
- [SPARK-45567] [SC-145718][CONNECT] org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run に存在する場合、冗長を削除します
- [SPARK-45112] [SC-143259][SQL] SQL データセット関数で UnresolvedFunction ベースの解決を使用します
- [SPARK-45486] [SASP-2457][SC-145612][CONNECT] add_artifact 要求をべき等にします
- [SPARK-44913] [SC-144326][SQL] DS V2 は、マジック メソッドを持つ V2 UDF のプッシュダウンをサポートします
- [SPARK-45538] [SC-145635][PYTHON][CONNECT] pyspark コネクトの overwrite_partitions バグ
- [SPARK-45491] [SC-145622] 不足している SQLSTATES 2/2 を追加します
- [SPARK-45009] [SC-145620][SC-138223][SQL] 結合条件で述語サブクエリを装飾します
- [SPARK-45377] [SC-144377][CORE] NettyLogger で InputStream を処理します
- [SPARK-45248] [SC-143759][CORE] Spark UI サーバーのタイムアウトを設定します
- [SPARK-44594] [SC-145611][SS] kafka コネクタの冗長メソッド パラメーターを削除します
- [SPARK-45539] [SC-145621][SS] 追加モードで集計クエリをストリーミングするために透かし定義が必要であることを示すアサートとログを追加します
- [SPARK-44262] [SC-145639][SQL]
dropTableとgetInsertStatementを JdbcDialect に追加します - [SPARK-45516] [SC-145480][CONNECT] SparkThrowable プロト メッセージに QueryContext を含めます
- [SPARK-45310] [SC-145127][CORE] レポート のシャッフル ブロックの状態は、使用停止移行中にシャッフル サービスを考慮する必要があります
- [SPARK-45521] [SC-145487][ML]
VectorAssemblerでの nnz の再計算を回避します - [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT] current_database() 列のエイリアスを current_schema() に変更します
- [SPARK-45116] [SC-145142][SQL] JdbcDialect
createTableのパラメーターにコメントを追加します - [SPARK-45495] [SC-145529][core] 動的割り当てが無効になっている場合に、k8s クラスターのステージ レベルのタスク リソース プロファイルをサポートします
- [SPARK-45487] [SC-145559] SQLSTATE エラーと一時エラーを修正します
- [SPARK-45505] [SC-145550][PYTHON] analyzeInPython をリファクターして再利用できるようにします
- [SPARK-45132] [SC-145425][SQL] 関数呼び出しの IDENTIFIER を修正します
- [SPARK-45213] [SC-145020][SQL] エラー _LEGACY_ERROR_TEMP_2151 に名前を割り当てます
- [SPARK-45416] [SC-145126][CONNECT] 矢印結果のサニティ チェックの整合性
- [SPARK-45163] [SC-143386][SQL] UNSUPPORTED_VIEW_OPERATION と UNSUPPORTED_TABLE_OPERATION をマージし、いくつかの問題を修正する
- [SPARK-45421] [SC-144814][SQL] InlineCTE 経由で AnalysisException をキャッチします
- [SPARK-43664] [SC-145404][CONNECT][PS] Spark Connect 上の Pandas-on-Spark オブジェクトで
ps.sqlの例外を発生させます。 - [SPARK-45402] [SC-145371][SQL][PYTHON] 以前の分析結果を使用する ‘eval’ と ‘terminate’ メソッド用の UDTF API を追加します
- [SPARK-36112] [SC-67885] [SQL] DecorrelateInnerQuery フレームワークを使用した相関 EXISTS および IN サブクエリのサポート
- [SPARK-45383] [SC-144929][SQL] 既存でないテーブルでの時間移動のエラー メッセージを修正します
- [SPARK-43254] [SC-143318][SQL] エラー _LEGACY_ERROR_TEMP_2018 に名前を割り当てます
- [SPARK-45204] [SC-145167][CONNECT] SparkConnectPlanner に任意の ExecuteHolder を追加します
- [SPARK-45451] [SC-145144][SQL] データセット キャッシュの既定のストレージ レベルを構成可能にします
- [SPARK-45192] [SC-143194][UI] graphviz エッジの期限切れの lineInterpolate パラメーターを修正します
- [SPARK-45467] [SC-145146][CORE]
Proxy.getProxyClass()をProxy.newProxyInstance().getClassに置き換えました - [SPARK-45397] [SC-145139][ML][CONNECT] 配列アセンブラー機能トランスフォーマーを追加します
- [SPARK-44855] [SC-145226][CONNECT] ExecuteGrpcResponseSender を ExecuteResponseObserver にアタッチするための小さな調整
- [SPARK-45398] [SC-144796][SQL]
Like式のsql()にESCAPEを追加します - [SPARK-45494] [SC-145129][CORE][PYTHON] PythonWorkerUtils のバイト配列を読み取り/書き込みするためのユーティリティ関数を導入します
- [SPARK-45464] [SC-145125][CORE] ネットワーク糸配布ビルドを修正します
- [SPARK-45461] [SC-144851][CORE][SQL][MLLIB] StorageLevel 用マッパーを導入します
- [SPARK-45450] [SC-145009][PYTHON] PEP8 に従ったインポートの修正: pyspark.pandas と pyspark (コア)
- [SPARK-45475] [SC-145018][SQL] JdbcUtils で RDD.foreachPartition ではなく DataFrame.foreachPartition を使用します
- [SPARK-45271] [SC-143778][SQL] _LEGACY_ERROR_TEMP_1113 を TABLE_OPERATION にマージし、QueryCompilationErrors 内のいくつかの使用されていないメソッドを削除する
- [SPARK-45449] [SC-145013][SQL] JDBC テーブルでのキャッシュの無効化の問題
- [SPARK-45473] [SC-145017][SQL] RoundBase の正しくないエラー メッセージを修正します
- [SPARK-43299] [SC-145022][SS][CONNECT] Scala Client で StreamingQueryException を変換します
- [SPARK-45474] [SC-145014][CORE][WEBUI] MasterPage JSON API での最上位フィルター処理をサポートします
- [SPARK-45205] [SC-145012][SQL] 複数のジョブをトリガーするのを防止するために反復子メソッドをオーバーライドするための CommandResultExec。
- [SPARK-45472] [SC-145004][SS] RocksDB 状態ストアでチェックポイント パスの存在を再確認する必要がありません
- [SPARK-45470] [SC-145010][SQL] Hive ORC 圧縮の種類の文字列値を貼り付けることを回避します
- [SPARK-45448] [SC-144829][PYTHON] PEP8 に従ったインポートの修正: pyspark.testing、pyspark.mllib、pyspark.resource、pyspark.streaming
- [SPARK-45446] [SC-144828][PYTHON] PEP8 に従ったインポートの修正: pyspark.errors と pyspark.ml
- [SPARK-45239] [SC-144832][CONNECT] 既定の spark.connect.jvmStacktrace.maxSize を減らします
- [SPARK-45436] [SC-144831][PYTHON][CONNECT] メソッドが同じセッションをチェックします
- [SPARK-45413] [SC-144847][CORE] 準備ドロップ LevelDB サポートの警告を追加します
- [SPARK-45462] [SC-144848][CORE][WEBUI]
ApplicationPageにDurationを表示します - [SPARK-44527] [SC-144855][SQL] maxRows が 0 の場合、ScalarSubquery を null に置き換えます
- [SPARK-45401] [SC-144854][PYTHON] UDTF インターフェイスに新しいメソッド
cleanupを追加します - [SPARK-43704] [SC-144849][CONNECT][PS]
to_series()のMultiIndexをサポートします - [SPARK-45424] [SC-144888][SQL] プレフィックスのみが一致する場合に省略可能な解析結果を返す TimestampFormatter を修正します
- [SPARK-45441] [SC-144833][PYTHON] PythonWorkerUtils のユーティリティ関数を追加で導入します
- [SPARK-45412] [SC-144803][PYTHON][CONNECT]
DataFrame.__init__でプランとセッションを検証します - [SPARK-45408] [SC-144810][CORE] RPC SSL 設定を TransportConf に追加します
- [SPARK-45432] [SC-144818][CORE] 非推奨の Hadoop-2
LocatedFileStatusコンストラクターを削除します - [SPARK-45434] [SC-144819][ML][CONNECT] LogisticRegression がトレーニング ラベルを確認します
- [SPARK-45420] [SC-144808][SQL][PYTHON][CONNECT] DataType.fromDDL を PySpark に追加します
- [SPARK-45406] [SC-144793][PYTHON][CONNECT] DataFrame コンストラクターから
schemaを削除します - [SPARK-45404] [SC-144799][CORE]
AWS_ENDPOINT_URL環境変数をサポートします - [SPARK-43620] [SC-144792][CONNECT][PS] Pandas API の修正がサポートされていない機能に依存します
- [SPARK-45354] [SC-143991][SQL] 関数をボトムアップで解決します
- [SPARK-45394] [SASP-1480][SC-144712][PYTHON][CONNECT] アーティファクト API の再試行を追加します。 エラー処理を改善します ([SPARK-45093] へのフォローアップ)。
- [SPARK-45120] [SC-142780][SPARK-45150][UI] d3 を v3 から v7(v7.8.5) にアップグレードし、UI に API の変更を適用します
- [SPARK-44838] [SC-143983][SQL] raise_error の改善
- [SPARK-45312] [SC-143754][SQL][UI] 実行ページでプラン SVG の表示/非表示の切り替えをサポートします
- [SPARK-45378] [SC-144448][CORE] convertToNettyForSsl を ManagedBuffer に追加します
- [SPARK-44762] [SC-144338][CONNECT][CORE] SparkConnect.addJobTag および Connect SparkSession.addTag のドキュメント
- [SPARK-45383] 未解決の RelationTimeTravel を適切に処理します
- [SPARK-45347] [SC-144512][SQL][CONNECT] SparkThrowable を FetchErrorDetailsResponse に含めます
- [SPARK-45012] [SC-141512][SQL] CheckAnalysis がインライン プランを AnalysisException でスローする必要があります
- [SPARK-45359] [SC-144336][PYTHON][CONNECT] プランが無効な場合に、
DataFrame.{columns, colRegex, explain}が例外を発生させる必要があります - [SPARK-45227] [SC-144233][CORE] CoarseGrainedExecutorBackend に関する軽微なスレッドセーフの問題を修正します
- [SPARK-45266] [SC-144171][PYTHON] テーブル引数が使用されたときに横結合を遅延するように ResolveFunctions アナライザー ルールをリファクターします
- [SPARK-45266] "[SC-144171][PYTHON] テーブル引数が使用されたときに横結合を遅延するように ResolveFunctions アナライザー ルールをリファクターします" を元に戻します
- [SPARK-45371] [SC-144389][CONNECT] Spark Connect Scala クライアントのシェーディング問題を修正します
- [SPARK-45057] [SC-144214][CORE] keepReadLock が false のとき、読み取りロックを取得しないようにします
- [SPARK-45385] [SC-144357][SQL]
spark.sql.parser.escapedStringLiteralsの非推奨化 - [SPARK-45340] [SC-143917][SQL] SQL 構成
spark.sql.hive.verifyPartitionPathを削除します - [SPARK-45266] [SC-144171][PYTHON] テーブル引数が使用されたときに横結合を遅延するように ResolveFunctions アナライザー ルールをリファクターします
- [SPARK-45362] [SC-144198][PYTHON] Python UDTF ‘eval’ メソッドが使用する前に PARTITION BY 式を出力します
- [SPARK-45346] [SC-143925][SQL] Parquet スキーマ推論では、スキーマをマージする際、大文字と小文字が区別されるフラグを考慮する必要があります
- [SPARK-45341] [SC-143933][CORE] KVStore.java のコメントのタイトル レベルを修正して、
sbt docが Java 17 で正常に実行するようにします - [SPARK-45334] [SC-143914][SQL] parquetSchemaConverter から誤解を招くコメントを削除します
- [SPARK-45337] [SC-143932][CORE] Scala 2.12 のチェックを削除する
AbstractCommandBuilder#getScalaVersionをリファクタリングします - [SPARK-45329] [SC-143918][PYTHON][CONNECT] DataFrame メソッドが Pandas 変換をスキップします
- [SPARK-43662] [SC-143923][PS][CONNECT] Spark Connect で merge_asof をサポートします
- [SPARK-44126] [SC-143751][CORE] ターゲット Executor の使用停止時にシャッフル移行エラー数を増やさないでください
- [SPARK-44550] [SC-119768][SQL] ANSI で
null IN (empty list)の修正を有効にします - [SPARK-45316] [SC-143783][CORE][SQL] 新しいパラメーター
ignoreCorruptFiles/ignoreMissingFilesをHadoopRDDとNewHadoopRDDに追加します - [SPARK-45093] [SC-143414][CONNECT][PYTHON] addArtifacts クエリのエラー レポート
- [SPARK-44756] [SC-143787][CORE] RetryingBlockTransferor が再試行の開始に失敗すると Executor がハングします
- [SPARK-45333] [SC-143768][CORE] spark.eventLog.buffer.kbに関連する 1 つのユニット間違いを修正します
- [SPARK-45317] [SC-143750][SQL][CONNECT] 例外のスタック トレースで null ファイル名を処理します
- [SPARK-45191] [SC-143407][SQL] InMemoryTableScanExec simpleStringWithNodeId によって列形式の情報が追加されます
- [SPARK-45235] [SC-143314][CONNECT][PYTHON]
sql()によるマップパラメーターと配列パラメーターをサポートします - [SPARK-45138] [SC-143309][SS] 新しいエラー クラスを定義し、DFS からの状態の読み込みが失敗した場合に適用します
- [SPARK-45297] [SC-143644][SQL] SPARK-31827 で追加された dateformatter の回避策を削除します
- [SPARK-44345] [SC-143593][CORE] シャッフル移行が有効になっている場合、
unknown shuffle map outputログ レベルを下げます - [SPARK-44463] [SC-143251][SS][CONNECT] Connect ストリーミング Python ワーカーのエラー処理を改善します
- [SPARK-45207] [SC-143603][SQL][CONNECT] Scala Client のエラー エンリッチメントを実装します
- [SPARK-45240] [SC-143602][SQL][CONNECT] Python Client のエラー エンリッチメントを実装します
- [SPARK-45216] [SC-143288][SQL] 非決定論的シード処理データセット API を修正します
- [SPARK-45251] [SC-143419][CONNECT] FetchErrorDetails の client_type フィールドを追加します
- [SPARK-45137] [SC-143001][CONNECT] パラメーター化された
sql()でのマップパラメーターと配列パラメーターをサポートします - [SPARK-45224] [SC-143257][PYTHON]
sql()のパラメーターとしてマップと配列の例を追加します - [SPARK-44622] [SC-143205][SQL][CONNECT] FetchErrorDetails RPC を実装します
- [SPARK-45178] [SC-136089] ラッパーを使用するのではなく、サポートされていないソースを使用して Trigger.AvailableNow の単一バッチを実行するようにフォールバックします
- [SPARK-44823] [14.x][SC-142979][PYTHON] 23.9.1 に更新し、エラーのあるチェックを修正します
- [SPARK-45078] [SC-142954][SQL]
array_insertImplicitCastInputTypes の修正が機能しません - [SPARK-44579] [SC-138428][SQL] SQLExecution でキャンセル状態の中断をサポートします
- [SPARK-45252] [SC-143371][CORE] コメント内の大/小記号をエスケープして、
sbt docが正常に実行されるようにします - [SPARK-45189] [SC-142973][SQL] TableIdentifier からの UnresolvedRelation の作成には、カタログ フィールドを含める必要があります
- [SPARK-45229] [SC-143254][CORE][UI] MasterPage で送信済み状態で待機しているドライバーの数を表示します
- [SPARK-43453] "[SC-143135][PS]
concatに対してaxis=1のときは、MultiIndexのnamesを無視する" を元に戻します
Databricks ODBC/JDBC ドライバーのサポート
Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。
Databricks Runtime 14.2 のメンテナンス更新プログラムを参照してください。
システム環境
- オペレーティング システム: Ubuntu 22.04.3 LTS
- Java: Zulu 8.72.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.3.1
- Delta Lake: 3.0.0
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | クリックし | 8.0.4 | comm | 0.1.2 |
| contourpy | 1.0.5 | cryptography | 39.0.1 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0.11 | entrypoints | 0.4 |
| executing | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.19.0 |
| filelock | 3.12.4 | fonttools | 4.25.0 | googleapis-common-protos | 1.61.0 |
| grpcio | 1.48.2 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
| idna | 3.4 | importlib-metadata | 4.6.4 | ipykernel | 6.25.0 |
| ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | jeepney | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.17.3 |
| jupyter-client | 7.3.4 | jupyter-server | 1.23.4 | jupyter_core | 5.2.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 |
| kiwisolver | 1.4.4 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lxml | 4.9.1 | MarkupSafe | 2.1.1 |
| matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 | mccabe | 0.7.0 |
| mistune | 0.8.4 | more-itertools | 8.10.0 | mypy-extensions | 0.4.3 |
| nbclassic | 0.5.2 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | nodeenv | 1.8.0 |
| ノートブック | 6.5.2 | notebook_shim | 0.2.2 | numpy | 1.23.5 |
| oauthlib | 3.2.0 | パッケージング | 22.0 | pandas | 1.5.3 |
| pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.4.0 | pip | 22.3.1 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.36 | protobuf | 4.24.0 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 8.0.0 | pyarrow-hotfix | 0.4 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.1.0 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 | python-lsp-server | 1.8.0 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| requests | 2.28.1 | rope | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | scipy | 1.10.0 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | setuptools | 65.6.3 |
| 6 | 1.16.0 | sniffio | 1.2.0 | soupsieve | 2.3.2.post1 |
| ssh-import-id | 5.11 | stack-data | 0.2.0 | statsmodels | 0.13.5 |
| tenacity | 8.1.0 | terminado | 0.17.1 | threadpoolctl | 2.2.0 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.7.1 | typing_extensions | 4.4.0 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.14 |
| virtualenv | 20.16.7 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | whatthepatch | 1.0.2 |
| wheel | 0.38.4 | widgetsnbextension | 3.6.1 | yapf | 0.33.0 |
| zipp | 1.0.0 |
インストールされている R ライブラリ
R ライブラリは、2023-02-10 の Posit パッケージ マネージャー CRAN スナップショットからインストールされます。
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| 矢印 | 12.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob (blob) | 1.2.4 |
| boot | 1.3-28 | brew | 1.0 から 8 | brio | 1.1.3 |
| broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| callr | 3.7.3 | キャレット | 6.0-94 | cellranger | 1.1.0 |
| chron | 2.3-61 | クラス | 7.3-22 | cli | 3.6.1 |
| clipr | 0.8.0 | clock | 0.7.0 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
| compiler | 4.3.1 | config | 0.3.1 | conflicted | 1.2.0 |
| cpp11 | 0.4.4 | crayon | 1.5.2 | 資格情報 | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | datasets | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
| devtools | 2.4.5 | ダイアグラム | 1.6.5 | diffobj | 0.3.5 |
| digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | ellipsis | 0.3.2 |
| evaluate | 0.21 | fansi | 1.0.4 | farver | 2.1.1 |
| fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | foreign | 0.8-82 | forge | 0.2.0 |
| fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
| gargle | 1.5.1 | generics | 0.1.3 | gert | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
| hardhat | 1.3.0 | haven | 2.5.3 | highr | 0.10 |
| hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1.43 |
| labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
| lava | 1.7.2.1 | ライフサイクル | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1.7 |
| MASS | 7.3-60 | Matrix | 1.5-4.1 | memoise | 2.0.1 |
| 方法 | 4.3.1 | mgcv | 1.8-42 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | progress | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| spatial | 7.3-15 | splines | 4.3.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | stats | 4.3.1 | stats4 | 4.3.1 |
| stringi | 1.7.12 | stringr | 1.5.0 | survival | 3.5-5 |
| sys | 3.4.2 | systemfonts | 1.0.4 | tcltk | 4.3.1 |
| testthat | 3.1.10 | textshaping | 0.3.6 | tibble | 3.2.1 |
| tidyr | 1.3.0 | tidyselect | 1.2.0 | tidyverse | 2.0.0 |
| timechange | 0.2.0 | timeDate | 4022.108 | tinytex | 0.45 |
| ツール | 4.3.1 | tzdb | 0.4.0 | urlchecker | 1.0.1 |
| usethis | 2.2.2 | utf8 | 1.2.3 | utils | 4.3.1 |
| uuid | 1.1-0 | vctrs | 0.6.3 | viridisLite | 0.4.2 |
| vroom | 1.6.3 | waldo | 0.5.1 | whisker | 0.4.1 |
| withr | 2.5.0 | xfun | 0.39 | xml2 | 1.3.5 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.7 |
| 郵便番号 | 2.3.0 |
インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | ストリーム (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.7.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.0.2 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | コレクタ | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.9 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | shims | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.9.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |