Databricks Runtime 11.1 (サポート対象外)
次のリリース ノートには、Apache Spark 3.3.0 で稼働する Databricks Runtime 11.1 に関する情報が記載されています。 Databricks は、2022 年 7 月にこれらのイメージをリリースしました。
新機能と機能強化
- Photon は GA
- Photon: サポートされているインスタンスの種類
- 変更データ フィードで範囲外のタイムスタンプを自動的に処理できるようになりました
- SQL 関数の出力に Unity カタログ名が表示されるようになりました (パブリック プレビュー)
- 自動ローダーでの Parquet ファイルのスキーマ推論と進化 (パブリック プレビュー)
- 自動ローダーで Avro のスキーマの展開がサポートされるようになりました (GA)
- 動的パーティションの上書きに対する Delta Lake のサポート
- Unity カタログに作成されたオブジェクトの情報スキーマのサポート
- Unity カタログを使用した Delta Lake テーブルに対する情報制約 (パブリック プレビュー)
- Unity Catalog が GA
- Delta Sharing が GA
Photon の一般提供
Photon は、Databricks Runtime 11.1 以降で一般公開されました。 Photon は、Azure Databricks ネイティブのベクター化クエリ エンジンで、Apache Spark API と直接的に互換性があるように記述されているため、既存のコードで正しく機能します。 Photon は、最新のハードウェアを活用するために C++ で開発されており、ベクター化クエリ処理の最新の手法を使用して、CPU でのデータおよび命令レベルの並列処理を活用します。その結果、実用のデータとアプリケーションのパフォーマンスが向上しますが、これらはすべて、お使いのデータレイクでネイティブに実現されます。
Photon は、既存の SQL とデータフレーム API 呼び出しを、より高速に実行し、ワークロードごとの総コストを削減する、高パフォーマンスのランタイムの一部です。 Photon は、Databricks SQL ウェアハウスでは既定で使用されます。
新機能と機能強化は以下を含みます。
- ベクター化された新しい並べ替え演算子
- ベクター化された新しいウィンドウ関数
- すべてのクラウドに渡る新しいインスタンスの種類とサイズ
制限事項:
- Scala/Python UDF は Photon ではサポートされていません
- RDD は Photon でサポートされていません
- 構造化ストリーミングは Photon ではサポートされていません
詳細については、次の「Photon のお知らせ」を参照してください。
Photon: ベクター化された新しい並べ替え演算子
Photon では、クエリに SORT_BY、CLUSTER_BY、または ORDER BY を持つウインドウ関数が含まれている場合のベクター化された並べ替えがサポートされるようになりました。
制限事項: Photon はグローバル句 ORDER BY をサポートしていません。 ウィンドウ評価の並べ替えはフォトナイズされますが、グローバル並べ替えは Spark で引き続き実行されます。
Photon: ベクター化された新しいウィンドウ関数
Photon は、多くのフレームの種類と関数に対してベクター化されたウィンドウ関数の評価をサポートするようになりました。 新しいウィンドウ関数には、row_number、rank、dense_rank、lag、lead、percent_rank、ntile および nth_value が含まれます。 サポートされているウィンドウ フレームの種類: 実行中 (UNBOUNDED PRECEDING AND CURRENT ROW)、無制限 (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING)、拡大 (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING)、縮小 (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING)。
制限事項:
- Photon では、すべてのフレーム タイプの
ROWSバージョンのみがサポートされます。 - Photon では、スライディング フレーム タイプ (
<OFFSET> PRECEDING AND <OFFSET> FOLLOWING) はまだサポートされていません。
Photon: サポートされているインスタンスの種類
- dds_v5
- ds_v5
- eas_v4
- eds_v4
- eds_v5
- es_v5
- las_v3
- ls_v3
変更データ フィードで範囲外のタイムスタンプを自動的に処理できるようになりました
変更データ フィード (CDF) に、エラーをスローすることなく、最新のコミットのバージョンを超えるタイムスタンプ、またはバージョンを提供するための新しいモードが追加されました。 このモードは、既定で無効になっています。 これを有効にするには、構成 spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled を true に設定します。
SQL 関数の出力に Unity カタログ名が表示されるようになりました (パブリック プレビュー)
コマンド DESC TABLE、DESC DATABASE、DESC SCHEMA、DESC NAMESPACE、DESC FUNCTION、EXPLAIN、および SHOW CREATE TABLE が出力でカタログ名を常に表示するようになりました。
自動ローダーでの Parquet ファイルのスキーマ推論と進化 (パブリック プレビュー)
自動ローダーでは Parquet ファイルに対するスキーマの推論と展開がサポートされるようになりました。 JSON、CSV、および Avro 形式と同様に、復旧されたデータ列を使用して、Parquet ファイルに表示される可能性がある予期しないデータを救済できるようになりました。 これには、予期されるデータ型で解釈できないデータ、大文字と小文字が異なっている列、または予期されるスキーマの一部ではない追加の列などが含まれます。 受信データに新しい列を追加するときに、スキーマを自動的に進化させるように自動ローダーを構成できます。 「自動ローダーでのスキーマの推論と展開の構成」を参照してください。
自動ローダーで Avro のスキーマの展開がサポートされるようになりました (GA)
「自動ローダーでのスキーマの推論と展開の構成」を参照してください。
動的パーティションの上書きに対する Delta Lake のサポート
Delta Lake ではパーティションの動的な上書きモードでは、書き込みが新しいデータをコミットする各論理パーティション内のすべての既存データが上書きされるようになりました。 Delta Lake を使用してデータを選択的に上書きするを参照してください。
Unity カタログに作成されたオブジェクトの情報スキーマのサポート
情報スキーマを使用すると、SQL ベースの自己記述 API が、テーブルやビュー、制約、ルーチンなど、さまざまなデータベース オブジェクトのメタデータに提供されます。
情報スキーマ内には、自分が参照を許可され、スキーマのカタログに認識されているオブジェクトを説明するビューのセットが見つかります。
SYSTEM カタログの情報スキーマは、メタストア内のすべてのカタログのオブジェクトに関する情報を返します。
「情報スキーマ」を参照してください。
Unity カタログを使用した Delta Lake テーブルに対する情報制約 (パブリック プレビュー)
Unity カタログを使用して、Delta Lake テーブルに対して情報主キーと外部キーの制約を定義できるようになりました。 情報制約は適用されません。 「CONSTRAINT 句」を参照してください。
Unity Catalog が GA
Unity カタログは、Databricks Runtime 11.1 以降で一般提供になりました。 「Unity Catalog とは」を参照してください。
Delta Sharing が GA
Delta Sharing は、Databricks Runtime 11.1 以降で一般提供になりました。
Databricks から Databricks への Delta Sharing は、トークンを交換する必要のない、フル マネージドです。 UI で、または SQL API と REST API を使用して、プロバイダー、受信者、共有を作成したり管理したりできます。
受信者のアクセスの制限、IP アクセス リストやリージョンの制限を使用したデータのクエリ、管理者以外への Delta Sharing 管理の委任などのフィーチャーがあります。 データの変更に関するクエリを実行するか、変更データ フィードを使用して増分バージョンを共有することもできます。 「Delta Sharing を使用してデータと AI 資産を安全に共有する」を参照してください。
動作の変更
DESCRIBE TABLE プロパティと SHOW TABLE プロパティの機密プロパティの編集
DESCRIBE TABLE および SHOW TABLE PROPERTIES コマンドで、機密プロパティが編集できるようになりました。
ジョブ クラスターは、Databricks Runtime 11.1 以上では、既定でシングル ユーザー アクセス モードに設定されます
Unity Catalog に対応するために、ジョブ UI またはジョブ API を使用して作成された、Databricks Runtime 11.1 以上を使用するジョブ クラスターは、既定でシングル ユーザー アクセス モードになります。 シングル ユーザー アクセス モードでは、ほとんどのプログラミング言語、クラスター機能、データ ガバナンス機能がサポートされます。 UI または API を使用して共有アクセス モードを構成することは引き続きできますが、言語や機能が制限される場合があります。
ライブラリのアップグレード
- アップグレードされた Python ライブラリ:
- filelock (3.6.0 から 3.7.1 へ)
- plotly (5.6.0 から 5.8.2 へ)
- protobuf (3.20.1 から 4.21.2 へ)
- アップグレードされた R ライブラリ:
- chron (2.3-56 から 2.3-57 へ)
- DBI (1.1.2 から 1.1.3 へ)
- dbplyr (2.1.1 から 2.2.0)
- e1071 (1.7-9 から 1.7-11 へ)
- future (1.25.0 から 1.26.1 へ)
- globals (0.14.0 から 0.15.1 へ)
- hardhat (0.2.0 から 1.1.0 へ)
- ipred (0.9-12 から 0.9-13 へ)
- openssl (2.0.0 から 2.0.2 へ)
- parallelly (1.31.1 から 1.32.0 へ)
- processx (3.5.3 から 3.6.1 へ)
- progressr (0.10.0 から 0.10.1 へ)
- proxy (0.4-26 から 0.4-27 へ)
- ps (1.7.0 から 1.7.1 へ)
- randomForest (4.7-1 から 4.7-1.1 へ)
- roxygen2 (7.1.2 から 7.2.0 へ)
- Rserve (1.8-10 から 1.8-11 へ)
- RSQLite (2.2.13 から 2.2.14 へ)
- sparklyr (1.7.5 から 1.7.7 へ)
- tinytex (0.38 から 0.40 へ)
- usethis (2.1.5 から 2.1.6 へ)
- xfun (0.30 から 0.31 へ)
- アップグレードされた Java ライブラリ:
- io.delta.delta-sharing-spark_2.12 (0.4.0 から 0.5.0 へ)
Apache Spark
Databricks Runtime 11.2 には、Apache Spark 3.3.0 が含まれています。 このリリースには、Databricks Runtime 11.1 (サポート対象外) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。
- [SPARK-40054] [SQL] try_cast() のエラー処理構文を復元する
- [SPARK-39489] [CORE] Json4s ではなく Jackson を使ってイベント ログ JsonProtocol のパフォーマンスを向上させる
- [SPARK-39319] [CORE][SQL] クエリ コンテキストを
SparkThrowableの一部にする - [SPARK-40085] [SQL] バグを示すために IllegalStateException ではなく INTERNAL_ERROR エラー クラスを使うようにする
- [SPARK-40001] [SQL] JSON DEFAULT 列への NULL 書き込みを、ストレージに 'null' を書き込むようにする
- [SPARK-39635] [SQL] DS v2 カスタム メトリック API でドライバー メトリックをサポートする
- [SPARK-39184] [SQL] 日付とタイムスタンプのシーケンスでサイズの小さい結果配列を処理するようにする
- [SPARK-40019] [SQL] ArrayType の containsNull のコメントをリファクタリングし、collectionOperator の式の
containsNullに関する誤解を招くロジックをリファクタリングする - [SPARK-39989] [SQL] 折り畳み可能な式の場合に列統計の推定をサポートする
- [SPARK-39926] [SQL] ベクトル化されていない Parquet スキャンに対する列の DEFAULT のサポートに含まれるバグを修正する
- [SPARK-40052] [SQL] VectorizedDeltaBinaryPackedReader の直接バイト バッファーを処理するようにする
- [SPARK-40044] [SQL] キャスト オーバーフロー エラーのターゲット間隔の種類を修正する
- [SPARK-39835] [SQL] ローカルの並べ替えの下にあるグローバルの並べ替えが EliminateSorts によって削除される問題を修正する
- [SPARK-40002] [SQL] ウィンドウで ntile を使うと制限をプッシュ ダウンしない
- [SPARK-39976] [SQL] ArrayIntersect で左側の式に含まれる null を正しく処理するようにする
- [SPARK-39985] [SQL] DataFrames からの挿入で暗黙的な DEFAULT 列の値を有効にする
- [SPARK-39776] [SQL] JOIN の詳細文字列に結合の種類を追加するようにする
- [SPARK-38901] [SQL] DS V2 はプッシュダウンのその他の関数をサポートする
- [SPARK-40028] [SQL][FollowUp] 文字列関数の例を改善する
- [SPARK-39983] [CORE][SQL] ドライバーに非直列化ブロードキャスト関係をキャッシュしない
- [SPARK-39812] [SQL]
toAggregateExpressionを使ってAggregateExpressionを構築するコードを簡略化する - [SPARK-40028] [SQL] 文字列式のバイナリ例を追加する
- [SPARK-39981] [SQL] Cast で例外 QueryExecutionErrors.castingCauseOverflowErrorInTableInsert をスローする
- [SPARK-40007] [PYTHON][SQL] 関数に 'mode' を追加する
- [SPARK-40008] [SQL] ANSI 間隔への積分のキャストをサポートする
- [SPARK-40003] [PYTHON][SQL] 関数に 'median' を追加する
- [SPARK-39952] [SQL] SaveIntoDataSourceCommand で結果の関係を再キャッシュするようにする
- [SPARK-39951] [SQL] 入れ子になったフィールドの Parquet V2 の列チェックを更新する
- [SPARK-39775] [CORE][AVRO] Avro スキーマの解析時に既定値の検証を無効にする
- [SPARK-33236] [シャッフル] DBR 11.x のバックポート: 再起動を保持する作業のために NM レベル DB に状態を格納する プッシュベースのシャッフル サービスを有効にする
- [SPARK-39836] [SQL] extract 共通メソッドによる V2ExpressionBuilder を簡略化する
- [SPARK-39867] [SQL] グローバル制限が OrderPreservingUnaryNode を継承しないようにする
- [SPARK-39873] [SQL]
OptimizeLimitZeroを削除し、EliminateLimitsにマージする - [SPARK-39961] [SQL] キャストが安全な場合の DS V2 のプッシュダウン変換キャスト
- [SPARK-39872] [SQL]
VectorizedDeltaBinaryPackedReaderの配列入力 API でBytePackerForLong#unpack8Valuesを使うように変更する - [SPARK-39858] [SQL] 一部のルールで不要な
AliasHelperやPredicateHelperを削除する - [SPARK-39962] [WARMFIX][ES-393486][PYTHON][SQL] グループ属性が空の場合にプロジェクションを適用する
- [SPARK-39900] [SQL] バイナリ形式の述語プッシュダウンで部分条件または否定条件に対応する
- [SPARK-39904] [SQL] CSV データ ソースで inferDate の名前を prefersDate に変更し、オプションのセマンティクスを明確にする
- [SPARK-39958] [SQL] カスタム メトリック オブジェクトを読み込めない場合の警告ログを追加する
- [SPARK-39936] [SQL] Spark Views のプロパティにスキーマを格納する
- [SPARK-39932] [SQL] WindowExec で最終パーティション バッファーをクリアするようにする
- [SPARK-37194] [SQL] 動的パーティションではない場合、v1 の書き込みで不要な並べ替えを回避する
- [SPARK-39902] [SQL] SparkUI で Spark プラン スキャン ノードにスキャンの詳細を追加する
- [SPARK-39865] [SQL] テーブル挿入時のオーバーフロー エラーで適切なエラー メッセージを表示する
- [SPARK-39940] [SS] DSv1 シンクを使ったストリーミング クエリでカタログ テーブルを更新する
- [SPARK-39827] [SQL]
add_months()の int オーバーフローでエラー クラスARITHMETIC_OVERFLOWを使う - [SPARK-39914] [SQL] DS V2 フィルターから V1 フィルターへの変換を追加する
- [SPARK-39857] [SQL] 手動 DBR 11.x バックポート。V2ExpressionBuilder が In 述語に対して間違った LiteralValue データ型を使う (#43454)
- [SPARK-39840] [SQL][PYTHON] PythonArrowOutput の対称として PythonArrowInput を因数分解する
- [SPARK-39651] [SQL] rand との比較が決定論的である場合にフィルター条件を取り除く
- [SPARK-39877] [PYTHON] PySpark DataFrame API にピボット解除を追加する
- [SPARK-39847] [WARMFIX][SS] 呼び出し元スレッドが中断された場合の RocksDBLoader.loadLibrary() の競合状態を修正する
- [SPARK-39909] [SQL] JDBCV2Suite のプッシュダウン情報のチェックを整理する
- [SPARK-39834] [SQL][SS] DataFrame に由来する LogicalRDD の場合に、元の統計情報と制約を含める
- [SPARK-39849] [SQL] Dataset.as(StructType) で新しい列が見つからない場合に null 値で埋める
- [SPARK-39860] [SQL] Predicate を拡張する式を増やす必要がある
- [SPARK-39823] [SQL][PYTHON] PySpark で Dataset.as の名前を Dataset.to に変更し、DataFrame.to を追加する
- [SPARK-39918] [SQL][MINOR] エラー メッセージの "un-comparable" という表現を "incomparable" に置き換える
- [SPARK-39857] [SQL][3.3] V2ExpressionBuilder が In 述語に対して間違った LiteralValue データ型を使う
- [SPARK-39862] [SQL] DBR 11.x を対象とした PR 43654 の手動バックポート: SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS を更新して、ALTER TABLE ... ADD COLUMN コマンドを個別に許可または拒否するようにする
- [SPARK-39844] [SQL] DBR 11.x をターゲットとする PR 43652 の手動バックポート。
- [SPARK-39899] [SQL]
InvalidUDFClassExceptionへのメッセージ パラメーターの受け渡しを修正する - [SPARK-39890] [SQL] TakeOrderedAndProjectExec を AliasAwareOutputOrdering を継承するようにする
- [SPARK-39809] [PYTHON] PySpark で CharType をサポートする
- [SPARK-38864] [SQL] データセットにピボット解除とメルトを追加する
- [SPARK-39864] [SQL] ExecutionListenerBus を遅延登録する
- [SPARK-39808] [SQL] 集計関数 MODE をサポートする
- [SPARK-39839] [SQL] UnsafeRow 構造整合性チェックで、offsetAndSize が 0 以外の、null 可変長 Decimal に関する特殊なケースを処理する
- [SPARK-39875] [SQL] final クラスの
protectedメソッドをprivateまたはpackage-visibleに変更する - [SPARK-39731] [SQL] 修正されたタイム パーサー ポリシーを使用して "yyyyMMdd" 形式で日付を解析するときの CSV および JSON データ ソースの問題を修正する
- [SPARK-39805] [SS] Trigger.Once を非推奨とし、Trigger.AvailableNow を昇格させる
- [SPARK-39784] [SQL] Catalyst Expression をデータ ソース フィルターに変換した後、リテラル値をデータ ソース フィルターの右側に配置する
- [SPARK-39672] [SQL][3.1] 相関サブクエリでフィルターする前にプロジェクトを削除する問題を修正する
- [SPARK-39552] [SQL] v1 と v2 の
DESCRIBE TABLEを統合する - [SPARK-39806] [SQL] パーティション テーブル上の
_metadataにアクセスするとクエリがクラッシュすることがある - [SPARK-39810] [SQL] 入れ子になった名前空間を Catalog.tableExists で処理するようにする
- [SPARK-37287] [SQL] FileFormatWriter から動的パーティション分割とバケットの並べ替えをプルする
- [SPARK-39469] [SQL] CSV のスキーマ推論の場合に日付型を推論する
- [SPARK-39148] [SQL] DS V2 集計のプッシュダウンで OFFSET または LIMIT を使用できる
- [SPARK-39818] [SQL] NULL フィールドの DEFAULT 値を持つ ARRAY、STRUCT、MAP の各型のバグを修正する
- [SPARK-39792] [SQL] 10 進数の平均に DecimalDivideWithOverflowCheck を追加する
- [SPARK-39798] [SQL]
GenericArrayDataのコンストラクターでtoSeq.toArrayを.toArray[Any]に置き換える - [SPARK-39759] [SQL] JDBC で listIndexes を実装する (H2 言語)
- [SPARK-39385] [SQL]
REGR_AVGXとREGR_AVGYのプッシュダウンをサポートする - [SPARK-39787] [SQL] 関数 to_timestamp の解析エラーでエラー クラスを使用します
- [SPARK-39760] [PYTHON] PySpark で Varchar をサポートする
- [SPARK-39557] [SQL] DBR 11.x への手動バックポート: DEFAULT 値として ARRAY、STRUCT、MAP の型をサポートする
- [SPARK-39758] [SQL][3.3] 無効なパターンに対する正規表現関数の NPE を修正する
- [SPARK-39749] [SQL] ANSI SQL モード: 10 進数から文字列へのキャストでプレーンな文字列表現を使う
- [SPARK-39704] [SQL] JDBC (H2 言語) で createIndex、dropIndex、indexExists を実装する
- [SPARK-39803] [SQL]
StringUtils.getLevenshteinDistanceではなくLevenshteinDistanceを使う - [SPARK-39339] [SQL] JDBC データ ソースで TimestampNTZ 型をサポートする
- [SPARK-39781] [SS] rocksdb 状態ストア プロバイダーに max_open_files を提供するためのサポートを追加する
- [SPARK-39719] [R] SparkR サポート 3L 名前空間に databaseExists と getDatabase を実装する
- [SPARK-39751] [SQL] ハッシュ集計キー プローブ メトリックの名前を変更する
- [SPARK-39772] [SQL] 古いコンストラクターでデータベースが null の場合、名前空間を null にするようにする
- [SPARK-39625] [SPARK-38904][SQL] Dataset.as(StructType) を追加する
- [SPARK-39384] [SQL] JDBC 言語の組み込み線形回帰集計関数をコンパイルする
- [SPARK-39720] [R] SparkR 内に 3L 名前空間の tableExists と getTable を実装する
- [SPARK-39744] [SQL]
REGEXP_INSTR関数を追加する - [SPARK-39716] [R] SparkR の currentDatabase、setCurrentDatabase、listCatalogs を 3L 名前空間をサポートするようにする
- [SPARK-39788] [SQL]
JdbcUtilsの名前catalogNameをdialectNameに変更する - [SPARK-39647] [CORE] BlockManager を登録する前に、Executor を ESS に登録する
- [SPARK-39754] [CORE][SQL] 使用されていない
importまたは不要な{}を削除する - [SPARK-39706] [SQL]
ParquetColumnVectorの欠落している列に定数の defaultValue を設定する - [SPARK-39699] [SQL] コレクション作成式について CollapseProject をよりスマートにする
- [SPARK-39737] [SQL]
PERCENTILE_CONTとPERCENTILE_DISCは集計フィルターをサポートする必要がある - [SPARK-39579] [SQL][PYTHON][R] ListFunctions/getFunction/functionExists を 3 レイヤー名前空間と互換性のあるものにします
- [SPARK-39627] [SQL] JDBC V2 プッシュダウンでコンパイル API を統合する必要がある
- [SPARK-39748] [SQL][SS] DataFrame に由来する LogicalRDD の場合に、元の論理プランを含める
- [SPARK-39385] [SQL] 線形回帰の集計関数をプッシュダウン用に変換する
- [SPARK-39695] [SQL]
REGEXP_SUBSTR関数を追加する - [SPARK-39667] [SQL] テーブルの構築とブロードキャストに十分なメモリがない場合の別の回避策を追加する
- [SPARK-39666] [ES-337834][SQL] ExpressionEncoder で UnsafeProjection.create を使用して
spark.sql.codegen.factoryModeを考慮する - [SPARK-39643] [SQL] DEFAULT 値でサブクエリ式を禁止する
- [SPARK-38647] [SQL] スキャン (DataSourceV2) のインターフェイスに SupportsReportOrdering ミックスを追加する
- [SPARK-39497] [SQL] マップ キー列が見つからない場合の分析例外を改善
- [SPARK-39661] [SQL] 不要な SLF4J ロガーを作成しないようにする
- [SPARK-39713] [SQL] ANSI モード: INVALID_ARRAY_INDEX エラーの場合に try_element_at を使用する提案を追加する
- [SPARK-38899] [SQL] DS V2 でプッシュダウン日時関数をサポートする
- [SPARK-39638] [SQL] パーティション列を
OrcColumnarBatchReaderに格納するためにConstantColumnVectorを使うように変更する - [SPARK-39653] [SQL]
ColumnVectorUtilsからColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)をクリーンアップする - [SPARK-39231] [SQL] パーティション列を
VectorizedParquetRecordReaderに格納するためにOn/OffHeapColumnVectorではなくConstantColumnVectorを使う - [SPARK-39547] [SQL] V2SessionCatalog から loadNamspaceMetadata で NoSuchDatabaseException をスローしないようにする
- [SPARK-39447] [SQL] AdaptiveSparkPlanExec.doExecuteBroadcast で AssertionError を回避する
- [SPARK-39492] [SQL] MISSING_COLUMN を修正する
- [SPARK-39679] [SQL] TakeOrderedAndProjectExec で子の出力順を尊重するようにする
- [SPARK-39606] [SQL] 子の統計情報を使って順序演算子を推定する
- [SPARK-39611] [PYTHON][PS] array_ufunc の不適切な別名を修正する
- [SPARK-39656] [SQL][3.3] DescribeNamespaceExec の不適切な名前空間を修正する
- [SPARK-39675] [SQL] 'spark.sql.codegen.factoryMode' の構成をテスト目的から内部目的に変更する
- [SPARK-39139] [SQL] DS V2 で DS V2 UDF のプッシュダウンをサポートする
- [SPARK-39434] [SQL] 配列インデックスが境界外の場合にランタイム エラー クエリ コンテキストを提供する
- [SPARK-39479] [SQL] DS V2 でプッシュダウンの数学関数 (非 ANSI) をサポートする
- [SPARK-39618] [SQL]
REGEXP_COUNT関数を追加する - [SPARK-39553] [CORE] Scala 2.13 を使う場合、マルチスレッド登録解除シャッフルから NPE をスローしないようにする
- [SPARK-38755] [PYTHON][3.3] 欠落している pandas の一般的な関数に対応するためにファイルを追加する
- [SPARK-39444] [SQL] OptimizeSubqueries を nonExcludableRules リストに追加する
- [SPARK-39316] [SQL] PromotePrecision と CheckOverflow を 10 進数のバイナリ演算にマージする
- [SPARK-39505] [UI] UI にレンダリングされるログの内容をエスケープする
- [SPARK-39448] [SQL]
ReplaceCTERefWithRepartitionをnonExcludableRulesリストに追加する - [SPARK-37961] [SQL] 一部の論理演算子で maxRows と maxRowsPerPartition をオーバーライドする
- [SPARK-35223] IssueNavigationLink の追加を元に戻す
- [SPARK-39633] [SQL] Dataframe オプションを使った TimeTravel で秒単位のタイムスタンプをサポートする
- [SPARK-38796] [SQL] {try_}to_number 関数を使った数値形式文字列のドキュメントを更新する
- [SPARK-39650] [SS] 下位互換性のあるストリーミング重複除去に含まれる不適切な値スキーマを修正する
- [SPARK-39636] [CORE][UI] オフ ヒープの StorageLevels と Task/Executor ResourceRequests に影響する JsonProtocol の複数のバグを修正する
- [SPARK-39432] [SQL] element_at(*, 0) から ELEMENT_AT_BY_INDEX_ZERO を返す
- [SPARK-39349] エラー パスの QA 用に一元化された CheckError メソッドを追加する
- [SPARK-39453] [SQL] DS V2 でプッシュダウンのその他の非集計関数 (非 ANSI) をサポートする
- [SPARK-38978] [SQL] DS V2 でプッシュダウンの OFFSET 演算子をサポートする
- [SPARK-39567] [SQL] パーセンタイル関数内の ANSI 間隔をサポートする
- [SPARK-39383] [SQL] V2 データ ソースに対して ALTER TABLE ALTER COLUMNS 内の DEFAULT 列をサポートする
- [SPARK-39396] [SQL] LDAP ログイン例外 'エラー コード 49 - 無効な資格情報' を修正する
- [SPARK-39548][SQL] ウィンドウ句クエリで CreateView コマンドを実行したら間違ったウィンドウ定義にヒットして問題が見つからない
- [SPARK-39575] [AVRO] Avr… の ByteBuffer#get の後に ByteBuffer#rewind を追加する
- [SPARK-39543] v1 にフォールバックする場合、ストレージのプロパティに DataFrameWriterV2 のオプションを渡すようにする
- [SPARK-39564] [SS] ストリーミング クエリでカタログ テーブルの情報を論理プランに公開する
- [SPARK-39582] [SQL]
array_aggの "Since" マーカーを修正する - [SPARK-39388] [SQL] Orc 述語のプッシュダウン時に
orcSchemaを再利用する - [SPARK-39511] [SQL] 結合条件が空の場合、左半/反結合の右側でプッシュダウンのローカル制限 1 を強化する
- [SPARK-38614] [SQL] percent_rank を使っているウィンドウで制限をプッシュダウンしない
- [SPARK-39551] [SQL] AQE 無効プラン チェックを追加する
- [SPARK-39383] [SQL] V2 データ ソースに対して ALTER TABLE ADD COLUMNS 内の DEFAULT 列をサポートする
- [SPARK-39538] [SQL] 不要な SLF4J ロガーを作成しないようにする
- [SPARK-39383] [SQL] DBR 11.x への手動バックポート: プライマリ アナライザーの受け渡しをスキップするように DEFAULT 列のサポートをリファクタリングする
- [SPARK-39397] [SQL] 式による別名をサポートするように AliasAwareOutputExpression を緩和する
- [SPARK-39496] [SQL]
Inline.evalの null 構造体を処理する - [SPARK-39545] [SQL] Scala 2.13 で
ExpressionSetのconcatメソッドをオーバーライドしてパフォーマンスを向上させる - [SPARK-39340] [SQL] DS v2 の集計プッシュダウンで最上位列の名前にドットを使用できるようにする
- [SPARK-39488] [SQL] TempResolvedColumn のエラー処理を簡略化する
- [SPARK-38846] [SQL] Teradata の数値型と Spark の DecimalType の間に明示的なデータ マッピングを追加する
- [SPARK-39520] [SQL] Scala 2.13 で
ExpressionSetの--メソッドをオーバーライドする - [SPARK-39470] [SQL] ANSI 間隔の 10 進数へのキャストをサポートする
- [SPARK-39477] [SQL] SQLQueryTestSuite のゴールデン ファイルから "クエリ数" の情報を削除する
- [SPARK-39419] [SQL] 比較子が null を返したときに例外をスローするように ArraySort を修正する
- [SPARK-39061] [SQL]
Inlineの出力属性に Null 許容を正しく設定する - [SPARK-39320] [SQL] 集計関数
MEDIANをサポートする - [SPARK-39261] [CORE] エラー メッセージの改行形式を改善する
- [SPARK-39355] [SQL] 単一列で引用符を使用して UnresolvedAttribute を構築する
- [SPARK-39351] [SQL] SHOW CREATE TABLE でプロパティを編集する
- [SPARK-37623] [SQL] ANSI 集計関数をサポートする: regr_intercept
- [SPARK-39374] [SQL] ユーザーが指定した列リストに対するエラー メッセージを改善する
- [SPARK-39255] [SQL][3.3] エラー メッセージを改善する
- [SPARK-39321] [SQL] RuntimeReplaceable を使うように TryCast をリファクタリングする
- [SPARK-39406] [PYTHON] createDataFrame で NumPy の配列を受け入れる
- [SPARK-39267] [SQL] dsl の不要なシンボルをクリーンアップする
- [SPARK-39171] [SQL] キャスト式を統合する
- [SPARK-28330] [SQL] ANSI SQL のサポート: クエリ式の結果オフセット句
- [SPARK-39203] [SQL] データベース URI に基づいてテーブルの場所を絶対 URI に書き換える
- [SPARK-39313] [SQL] V2Expression を変換できない場合に
toCatalystOrderingが失敗するようにする - [SPARK-39301] [SQL][PYTHON] LocalRelation を利用し、Arrow の最適化を使う createDataFrame で Arrow のバッチ サイズを尊重する
- [SPARK-39400] [SQL] spark-sql で常にハイブ リソースを削除するようにする
メンテナンスの更新
Databricks Runtime 11.1 のメンテナンス更新プログラムに関するページを参照してください。
システム環境
- オペレーティング システム: Ubuntu 20.04.4 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.14
- Python: 3.9.5
- R: 4.1.3
- Delta Lake: 1.2.1
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 | async-generator | 1.10 |
| attrs | 21.2.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| black | 22.3.0 | bleach | 4.0.0 | boto3 | 1.21.18 |
| botocore | 1.24.18 | certifi | 2021.10.8 | cffi | 1.14.6 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | クリックし | 8.0.3 |
| cryptography | 3.4.8 | cycler | 0.10.0 | Cython | 0.29.24 |
| dbus-python | 1.2.16 | debugpy | 1.4.1 | decorator | 5.1.0 |
| defusedxml | 0.7.1 | distlib | 0.3.5 | distro-info | 0.23ubuntu1 |
| entrypoints | 0.3 | facets-overview | 1.0.0 | filelock | 3.8.0 |
| idna | 3.2 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 |
| mistune | 0.8.4 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| ノートブック | 6.4.5 | numpy | 1.20.3 | パッケージング | 21.0 |
| pandas | 1.3.4 | pandocfilters | 1.4.3 | parso | 0.8.2 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 8.4.0 | pip | 21.2.4 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | prometheus-client | 0.11.0 |
| prompt-toolkit | 3.0.20 | protobuf | 4.21.5 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pycparser | 2.20 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
| pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.2.1 | requests | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| 6 | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tenacity | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.0 | typing-extensions | 3.10.0.2 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 |
インストールされている R ライブラリ
R ライブラリは、2022 年 8 月 15 日に Microsoft CRAN スナップショットからインストールされています。
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
| base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob (blob) | 1.2.3 | boot | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | broom | 1.0.0 |
| bslib | 0.4.0 | cachem | 1.0.6 | callr | 3.7.1 |
| キャレット | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
| class | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
| cluster | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | compiler | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayon | 1.5.1 | 資格情報 | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | datasets | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | desc | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | digest | 0.6.29 |
| downlit | 0.4.2 | dplyr | 1.0.9 | dtplyr | 1.2.1 |
| e1071 | 1.7-11 | ellipsis | 0.3.2 | evaluate | 0.16 |
| fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
| fontawesome | 0.3.0 | forcats | 0.5.1 | foreach | 1.5.2 |
| foreign | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
| future | 1.27.0 | future.apply | 1.9.0 | gargle | 1.2.0 |
| generics | 0.1.3 | gert | 1.7.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
| globals | 0.16.0 | glue | 1.6.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.1 | gower | 1.0.0 | graphics | 4.1.3 |
| grDevices | 4.1.3 | grid | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | hardhat | 1.2.0 |
| haven | 2.5.0 | highr | 0.9 | hms | 1.1.1 |
| htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.3 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-13 | isoband | 0.2.5 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| knitr | 1.39 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | lava | 1.6.10 | ライフサイクル | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
| markdown | 1.1 | MASS | 7.3-56 | Matrix | 1.4-1 |
| memoise | 2.0.1 | methods | 4.1.3 | mgcv | 1.8-40 |
| mime | 0.12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
| parallel | 4.1.3 | parallelly | 1.32.1 | pillar | 1.8.0 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
| praise | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
| progress | 1.2.2 | progressr | 0.10.1 | promises | 1.2.0.1 |
| proto | 1.0.0 | proxy | 0.4-27 | ps | 1.7.1 |
| purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.0 |
| recipes | 1.0.1 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.4.2 | reprex | 2.0.1 | reshape2 | 1.4.4 |
| rlang | 1.0.4 | rmarkdown | 2.14 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.15 | rstudioapi | 0.13 |
| rversions | 2.1.1 | rvest | 1.0.2 | sass | 0.4.2 |
| scales | 1.2.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.7 | SparkR | 3.3.0 | spatial | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| stats | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
| stringr | 1.4.0 | survival | 3.2-13 | sys | 3.4 |
| systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
| textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
| tinytex | 0.40 | tools | 4.1.3 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.0 | vroom | 1.5.7 | waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.5 | zip | 2.2.0 |
インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | ストリーム (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.3 |
| com.fasterxml.jackson.core | jackson-core | 2.13.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.3 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| hadoop3 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | コレクタ | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| mvn | hadoop3 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.14 |
| net.snowflake | spark-snowflake_2.12 | 2.10.0-spark_3.2 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.9 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.2-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.2 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
| org.apache.logging.log4j | log4j-api | 2.17.2 |
| org.apache.logging.log4j | log4j-core | 2.17.2 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.5 |
| org.apache.orc | orc-mapreduce | 1.7.5 |
| org.apache.orc | orc-shims | 1.7.5 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0004 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
| org.glassfish.jersey.core | jersey-client | 2.34 |
| org.glassfish.jersey.core | jersey-common | 2.34 |
| org.glassfish.jersey.core | jersey-server | 2.34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |