Share via


Databricks Runtime 12.1 (サポート対象外)

次のリリース ノートには、Apache Spark 3.3.1で稼働する Databricks Runtime 12.1 に関する情報が記載されています。

Databricks は、2023 年 1 月にこれらのイメージをリリースしました。

新機能と機能強化

プロトコル管理でサポートされる Delta Lake テーブルの機能

Azure Databricks に Delta Lake テーブル機能のサポートが導入されました。この機能は、サポートされる機能を特定のテーブルで指定する詳細なフラグを導入します。 「Azure Databricks で Delta Lake 機能の互換性を管理する方法」を参照してください。

更新に対する予測 I/O はパブリック プレビュー段階です

予測 I/O が、Photon 対応コンピューティングで削除ベクトルが有効になっている Delta テーブルに対する DELETEMERGE、および UPDATE 操作を高速化するようになりました。 「予測 I/O とは」を参照してください。

すべてのペルソナで Catalog Explorer を使用できるようになりました

Databricks Runtime 7.3 LTS 以降を使用するときは、すべての Azure Databricks ペルソナで Catalog Explorer を使用できるようになりました。

1 つのストリーミング クエリでの複数のステートフル演算子のサポート

ユーザーが、ストリーミング クエリで追加モードでステートフル演算子をチェーンできるようになりました。 すべての演算子が完全にサポートされているわけではありません。 ストリーム同士の時間間隔結合と flatMapGroupsWithState は、他のステートフル演算子のチェーンを許可しません。

プロトコル バッファーのサポートはパブリック プレビュー段階です

from_protobufto_protobuf 関数を使用して、バイナリと構造体の型の間でデータを交換できます。 「プロトコル バッファーの読み取りと書き込みを行う」を参照してください。

Confluent スキーマ レジストリ認証のサポート

Azure Databricks と Confluent スキーマ レジストリの統合で、認証を使用した外部スキーマ レジストリ アドレスがサポートされるようになりました。 この機能は、from_avroto_avrofrom_protobufおよび 関数でto_protobuf使用できます。 Protobuf または Avro を参照してください。

Delta Sharing 共有を使用したテーブル履歴の共有のサポート

Delta Sharing を使用して全履歴のテーブルを共有できるようになりました。これにより、受信者は Spark 構造化ストリーミングを使用してタイム トラベル クエリの実行と、テーブルに対するクエリ実行を行うことができます。 WITH HISTORYCHANGE DATA FEED の代わりにお勧めしますが、後者も引き続きサポートされます。 「ALTER SHARE」および「テーブルを共有に追加する」を参照してください。

Delta Sharing 共有を使用したストリーミングのサポート

Spark 構造化ストリーミングが、WITH HISTORY を使用して共有されたソース Delta Sharing テーブル上で、形式 deltasharing で動作するようになりました。

カタログ内の Delta Sharing テーブルでタイムスタンプを使用するテーブルバージョンがサポートされるようになりました

SELECT の SQL 構文TIMESTAMP AS OF ステートメントを使用して、カタログにマウントされている Delta Sharing テーブルのバージョンを指定できるようになりました。 テーブルは WITH HISTORY を使用して共有する必要があります。

MERGE INTO の SOURCE で一致しない場合のサポート

MERGE INTOWHEN NOT MATCHED BY SOURCE句を追加して、マージ条件に基づいてソース テーブルに一致しない行を、選択したテーブルで更新または削除できるようになりました。 新しい句は、SQL、Python、Scala、Java で使用できます。 「MERGE INTO」を参照してください。

CONVERT TO DELTA の最適化された統計収集

CONVERT TO DELTA 操作の統計収集がはるかに高速になりました。 これにより、効率のために NO STATISTICS を使用する可能性があるワークロードの数が減ります。

テーブルのドロップ解除に関する Unity Catalog のサポート

この機能は、最初はパブリック プレビューでリリースされました。 2023 年 10 月 25 日時点の GA です。

ドロップから 7 日以内に、既存スキーマ内のドロップされたマネージド テーブルまたは外部テーブルをドロップ解除できるようになりました。 詳しくは、「UNDROP TABLE」および「SHOW TABLES DROPPED」をご覧ください。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • filelock (3.8.0 から 3.8.2 へ)
    • platformdirs (2.5.4 から 2.6.0 へ)
    • setuptools (58.0.4 から 61.2.0 へ)
  • アップグレードされた R ライブラリは次のとおりです。
  • アップグレードされた Java ライブラリ:
    • io.delta.delta-sharing-spark_2.12 (0.5.2 から 0.6.2 へ)
    • org.apache.hive.hive-storage-api (2.7.2 から 2.8.1へ)
    • org.apache.parquet.parquet-column (1.12.3-databricks-0001 から 1.12.3-databricks-0002 へ)
    • org.apache.parquet.parquet-common (1.12.3-databricks-0001 から 1.12.3-databricks-0002 へ)
    • org.apache.parquet.parquet-encoding (1.12.3-databricks-0001 から 1.12.3-databricks-0002 へ)
    • org.apache.parquet.parquet-format-structures (1.12.3-databricks-0001 から 1.12.3-databricks-0002 へ)
    • org.apache.parquet.parquet-hadoop (1.12.3-databricks-0001 から 1.12.3-databricks-0002 へ)
    • org.apache.parquet.parquet-jackson (1.12.3-databricks-0001 から 1.12.3-databricks-0002 へ)
    • org.tukaani.xz (1.8 から 1.9 へ)

Apache Spark

Databricks Runtime 12.1 には、Apache Spark 3.3.1 が含まれています。 このリリースには、Databricks Runtime 12.0 (サポート対象外) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-41405] [SC-119769][12.1.0] 「[SC-119411][SQL] 列解決ロジックを一元化する」 と「[SC-117170][SPARK-41338][SQL] 同じアナライザー バッチ内の外部参照と通常の列を解決する」 を元に戻す
  • [SPARK-41405] [SC-119411][SQL] 列解決ロジックを一元化する
  • [SPARK-41859] [SC-119514][SQL] CreateHiveTableAsSelectCommand は上書きフラグを正しく設定する必要がある
  • [SPARK-41659] [SC-119526][CONNECT][12.X] pyspark.sql.connect.readwriter で doctests を有効にする
  • [SPARK-41858] [SC-119427][SQL] 既定値機能による ORC 閲覧者のパフォーマンス回帰を修正
  • [SPARK-41807] [SC-119399][CORE] 存在しないエラー クラスを削除する: UNSUPPORTED_FEATURE。DISTRIBUTE_BY
  • [SPARK-41578] [12.x][SC-119273][SQL] 名前を_LEGACY_ERROR_TEMP_2141に割り当てる
  • [SPARK-41571] [SC-119362][SQL] 名前を _LEGACY_ERROR_TEMP_2310 に割り当てる
  • [SPARK-41810] [SC-119373][CONNECT] SparkSession.createDataFrame の辞書のリストから名前を推論する
  • [SPARK-40993] [SC-119504][SPARK-41705][CONNECT][12.X] Spark Connect のドキュメントとスクリプトを開発/およびPython ドキュメントに移動する
  • [SPARK-41534] [SC-119456][CONNECT][SQL][12.x] Spark Connect 用の初期クライアント モジュールをセットアップする
  • [SPARK-41365] [SC-118498][UI][3.3] ステージ UI ページが特定の Yarn 環境でプロキシの読み込みに失敗する
  • [SPARK-41481] [SC-118150][CORE][SQL] _LEGACY_ERROR_TEMP_0020の代わりにINVALID_TYPED_LITERALを再利用
  • [SPARK-41049] [SC-119305][SQL] ステートフル式処理の再検討
  • [SPARK-41726] [SC-119248][SQL] OptimizedCreateHiveTableAsSelectCommandを削除
  • [SPARK-41271] [SC-118648][SC-118348][SQL] sql()によりパラメーター化された SQL クエリをサポート
  • [SPARK-41066] [SC-119344][CONNECT][PYTHON] DataFrame.sampleBy DataFrame.stat.sampleBy を実装 する
  • [SPARK-41407] [SC-119402][SC-119012][SQL][ALL TESTS] WriteFiles への v1 書き込みをプルアウトする
  • [SPARK-41565] [SC-118868][SQL] エラー クラスUNRESOLVED_ROUTINEを追加する
  • [SPARK-41668] [SC-118925][SQL] DECODE 関数が NULL を渡したときに間違った結果を返す
  • [SPARK-41554] [SC-119274] スケールが m... で減少したときの 10 進 スケールの変更を修正しました
  • [SPARK-41065] [SC-119324][CONNECT][PYTHON] DataFrame.freqItems DataFrame.stat.freqItems を実装 する
  • [SPARK-41742] [SC-119404][SPARK-41745][CONNECT][12.X] ドキュメント テストを再度有効にし、count() に不足している列エイリアスを追加する
  • [SPARK-41069] [SC-119310][CONNECT][PYTHON] DataFrame.approxQuantileDataFrame.stat.approxQuantile を実装する
  • [SPARK-41809] [SC-119367][CONNECT][PYTHON] 関数 from_json で DataType スキーマをサポートする
  • [SPARK-41804] [SC-119382][SQL] UDT の配列に InterpretedUnsafeProjection の正しい要素サイズを選択する
  • [SPARK-41786] [SC-119308][CONNECT][PYTHON] ヘルパー関数を重複除去する
  • [SPARK-41745] [SC-119378][SPARK-41789][12.X] createDataFrame を行のリストに サポートする
  • [SPARK-41344] [SC-119217][SQL] SupportsCatalogOptions カタログにテーブルが見つからない場合にエラーを明確にする
  • [SPARK-41803] [SC-119380][CONNECT][PYTHON] 不足している関数 log(arg1, arg2)を追加する
  • [SPARK-41808] [SC-119356][CONNECT][PYTHON] JSON 関数でオプションをサポートする
  • [SPARK-41779] [SC-119275][SPARK-41771][CONNECT][PYTHON] __getitem__ をフィルターと選択するようサポートする
  • [SPARK-41783] [SC-119288][SPARK-41770][CONNECT][PYTHON] 列操作をサポートなしにする
  • [SPARK-41440] [SC-119279][CONNECT][PYTHON] 一般的なサンプルのキャッシュ演算子は使用しないでください。
  • [SPARK-41785] [SC-119290][CONNECT][PYTHON] GroupedData.meanの実装
  • [SPARK-41629] [SC-119276][CONNECT] 関係と式でのプロトコル拡張のサポート
  • [SPARK-41417] [SC-118000][CORE][SQL] _LEGACY_ERROR_TEMP_0019INVALID_TYPED_LITERALへ名前を変更する
  • [SPARK-41533] [SC-119342][CONNECT][12.X] Spark Connect サーバー/クライアントの適切なエラー処理
  • [SPARK-41292] [SC-119357][CONNECT][12.X] pyspark.sql.ウィンドウ名前空間のサポート ウィンドウ
  • [SPARK-41493] [SC-119339][CONNECT][PYTHON] csv 関数のサポート オプションを作成する
  • [SPARK-39591] [SC-118675][SS] 非同期進行状況の追跡
  • [SPARK-41767] [SC-119337][CONNECT][PYTHON][12.X] Column.{withField, dropFields}の実装
  • [SPARK-41068] [SC-119268][CONNECT][PYTHON] DataFrame.stat.corrを実装する
  • [SPARK-41655] [SC-119323][CONNECT][12.X] pyspark.sql.connect.column で doctests を有効にする
  • [SPARK-41738] [SC-119170][CONNECT] SparkSession キャッシュに ClientId を混在させる
  • [SPARK-41354] [SC-119194][CONNECT] RepartitionByExpressionをproto に追加
  • [SPARK-41784] [SC-119289][CONNECT][PYTHON] 列に不足している __rmod__ を追加
  • [SPARK-41778] [SC-119262][SQL] ArrayAggregate に別名 「reduce」 を追加する
  • [SPARK-41067] [SC-119171][CONNECT][PYTHON] DataFrame.stat.covを実装する
  • [SPARK-41764] [SC-119216][CONNECT][PYTHON] 内部文字列操作名を FunctionRegistry と一致させる
  • [SPARK-41734] [SC-119160][CONNECT] カタログの親メッセージを追加する
  • [SPARK-41742] [SC-119263] df.groupBy().agg({"*":"count"}) をサポート
  • [SPARK-41761] [SC-119213][CONNECT][PYTHON] 算術演算を修正: __neg____pow____rpow__
  • [SPARK-41062] [SC-118182][SQL] 名前UNSUPPORTED_CORRELATED_REFERENCECORRELATED_REFERENCEに変更
  • [SPARK-41751] [SC-119211][CONNECT][PYTHON] Column.{isNull, isNotNull, eqNullSafe}を修正
  • [SPARK-41728] [SC-119164][CONNECT][PYTHON][12.X] unwrap_udt 関数を実装する
  • [SPARK-41333] [SC-119195][SPARK-41737] GroupedData.{min, max, avg, sum}の実装
  • [SPARK-41751] [SC-119206][CONNECT][PYTHON] Column.{bitwiseAND, bitwiseOR, bitwiseXOR}の修正
  • [SPARK-41631] [SC-101081][SQL] 集計での暗黙的な横列エイリアス解決のサポート
  • [SPARK-41529] [SC-119207][CONNECT][12.X] SparkSession.stop を実装する
  • [SPARK-41729] [SC-119205][CORE][SQL][12.X] 名前を_LEGACY_ERROR_TEMP_0011 から UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSESに変更
  • [SPARK-41717] [SC-119078][CONNECT][12.X] LogicalPlan で印刷と repr_html を重複除去する
  • [SPARK-41740] [SC-119169][CONNECT][PYTHON] Column.nameを実装
  • [SPARK-41733] [SC-119163][SQL][SS] ResolveWindowTime のルールにツリー パターン ベースの排除を適用する
  • [SPARK-41732] [SC-119157][SQL][SS] SessionWindowing のルールにツリー パターン ベースの排除を適用する
  • [SPARK-41498] [SC-119018] Union を介してメタデータを伝達する
  • [SPARK-41731] [SC-119166][CONNECT][PYTHON][12.X] 列アクセサーを実装する
  • [SPARK-41736] [SC-119161][CONNECT][PYTHON] pyspark_types_to_proto_typesArrayType をサポートする必要がある
  • [SPARK-41473] [SC-119092][CONNECT][PYTHON] format_number 関数を実装する
  • [SPARK-41707] [SC-119141][CONNECT][12.X] Spark Connect にカタログ API を実装する
  • [SPARK-41710] [SC-119062][CONNECT][PYTHON] Column.betweenの実装
  • [SPARK-41235] [SC-119088][SQL][PYTHON]高次関数: array_compact実装
  • [SPARK-41518] [SC-118453][SQL] エラー クラス _LEGACY_ERROR_TEMP_2422に名前を割り当てる
  • [SPARK-41723] [SC-119091][CONNECT][PYTHON] sequence関数を実装する
  • [SPARK-41703] [SC-119060][CONNECT][PYTHON] リテラルで NullType とtyped_nullを組み合わせる
  • [SPARK-41722] [SC-119090][CONNECT][PYTHON] 3 つの不足しているtimeウィンドウ関数を実装する
  • [SPARK-41503] [SC-119043][CONNECT][PYTHON] パーティション変換関数を実装する
  • [SPARK-41413] [SC-118968][SQL] パーティション キーが一致しないが、結合式に互換性がある場合は、Storage-Partitioned 結合 でシャッフルを避ける
  • [SPARK-41700] [SC-119046][CONNECT][PYTHON] FunctionBuilderの削除
  • [SPARK-41706] [SC-119094][CONNECT][PYTHON] pyspark_types_to_proto_typesMapTypeをサポートする必要がある
  • [SPARK-41702] [SC-119049][CONNECT][PYTHON] 無効な列操作を追加する
  • [SPARK-41660] [SC-118866][SQL] メタデータ列が使用されている場合にのみ反映されます
  • [SPARK-41637] [SC-119003][SQL] 全部でオーダー
  • [SPARK-41513] [SC-118945][SQL] マッパー行数ごとのメトリックを収集するアキュムレータを実装する
  • [SPARK-41647] [SC-119064][CONNECT][12.X] pyspark.sql.connect.functions で docstrings を重複除去する
  • [SPARK-41701] [SC-119048][CONNECT][PYTHON] 列操作で decimalをサポートする
  • [SPARK-41383] [SC-119015][SPARK-41692][SPARK-41693] rollupcubeおよび pivot を実装する
  • [SPARK-41635] [SC-118944][SQL] 全部でグループ化する
  • [SPARK-41645] [SC-119057][CONNECT][12.X] pyspark.sql.connect.dataframe で docstrings を重複除去する
  • [SPARK-41688] [SC-118951][CONNECT][PYTHON] 式を expressions.py に移動する
  • [SPARK-41687] [SC-118949][CONNECT] pyspark.sql.connect.group でdocstringsを重複除去する
  • [SPARK-41649] [SC-118950][CONNECT] pyspark.sql.connect.window で docstrings を重複除去する
  • [SPARK-41681] [SC-118939][CONNECT] GroupedDataを group.pyへファクターする
  • [SPARK-41292] [SC-119038][SPARK-41640][SPARK-41641][CONNECT][PYTHON][12.X] Window 関数を実装する
  • [SPARK-41675] [SC-119031][SC-118934][CONNECT][PYTHON][12.X] 列操作で datetimeをサポートする
  • [SPARK-41672] [SC-118929][CONNECT][PYTHON] 非推奨の関数を有効にする
  • [SPARK-41673] [SC-118932][CONNECT][PYTHON] Column.astypeの実装
  • [SPARK-41364] [SC-118865][CONNECT][PYTHON] broadcast 関数を実装する
  • [SPARK-41648] [SC-118914][CONNECT][12.X] pyspark.sql.connect.readwriter で docstrings を重複除去する
  • [SPARK-41646] [SC-118915][CONNECT][12.X] pyspark.sql.connect.session で docstrings を重複除去する
  • [SPARK-41643] [SC-118862][CONNECT][12.X] pyspark.sql.connect.column で docstrings を重複除去する
  • [SPARK-41663] [SC-118936][CONNECT][PYTHON][12.X] ラムダ関数の残りの部分を実装する
  • [SPARK-41441] [SC-118557][SQL] 外部参照をホストするために必要な子出力なしで生成をサポート
  • [SPARK-41669] [SC-118923][SQL] canCollapseExpressions の早期排除
  • [SPARK-41639] [SC-118927][SQL][PROTOBUF] : SchemaConverters から ScalaReflectionLock を削除する
  • [SPARK-41464] [SC-118861][CONNECT][PYTHON] DataFrame.toの実装
  • [SPARK-41434] [SC-118857][CONNECT][PYTHON] 初期 のLambdaFunctionの実装
  • [SPARK-41539] [SC-118802][SQL] LogicalRDD の論理プランの出力に対する統計と制約を再マップする
  • [SPARK-41396] [SC-118786][SQL][PROTOBUF] OneOf フィールドのサポートと再帰チェック
  • [SPARK-41528] [SC-118769][CONNECT][12.X] Spark Connect と PySpark API のマージ名前空間
  • [SPARK-41568] [SC-118715][SQL] 名前を _LEGACY_ERROR_TEMP_1236 に割り当てる
  • [SPARK-41440] [SC-118788][CONNECT][PYTHON] DataFrame.randomSplitの実装
  • [SPARK-41583] [SC-118718][SC-118642][CONNECT][PROTOBUF] 依存関係を指定して Spark Connect と protobuf を setup.py に追加する
  • [SPARK-27561] [SC-101081][12.x][SQL] Project で暗黙的な横列エイリアス解決をサポート
  • [SPARK-41535] [SC-118645][SQL] InterpretedUnsafeProjectionInterpretedMutableProjection のカレンダーサイクル間隔フィールドにnull 値 を正しく設定する
  • [SPARK-40687] [SC-118439][SQL] 組み込み関数 'マスク' のデータ マスキングをサポート
  • [SPARK-41520] [SC-118440][SQL] AND_OR TreePattern を分割して AND と OR TreePattern を分離する
  • [SPARK-41349] [SC-118668][CONNECT][PYTHON] DataFrame.hint を実装する
  • [SPARK-41546] [SC-118541][CONNECT][PYTHON] pyspark_types_to_proto_types は StructType をサポートする必要があります。
  • [SPARK-41334] [SC-118549][CONNECT][PYTHON] SortOrder プロトを関係から式に移動する
  • [SPARK-41387] [SC-118450][SS] Trigger.AvailableNow の Kafka データ ソースからの現在の終了オフセットをアサートする
  • [SPARK-41508] [SC-118445][CORE][SQL]_LEGACY_ERROR_TEMP_1180UNEXPECTED_INPUT_TYPE の名前の変更 および _LEGACY_ERROR_TEMP_1179の削除
  • [SPARK-41319] [SC-118441][CONNECT][PYTHON] 列.{when,otherwise} の実装と whenUnresolvedFunctionの関数
  • [SPARK-41541] [SC-118460][SQL] SQLShuffleWriteMetricsReporter.decRecordsWritten() の間違った子メソッドへの呼び出しを修正
  • [SPARK-41453] [SC-118458][CONNECT][PYTHON] DataFrame.subtractの実装
  • [SPARK-41248] [SC-118436][SC-118303][SQL] JSON の部分的な結果を有効または無効にする 「spark.sql.json.enablePartialResults」 を追加する
  • [SPARK-41437] 「[SC-117601][SQL] v1 書き込みフォールバックに対して 入力クエリ を 2 回最適化しない」を元に戻す
  • [SPARK-41472] [SC-118352][CONNECT][PYTHON] 残りの文字列/バイナリ関数を実装する
  • [SPARK-41526] [SC-118355][CONNECT][PYTHON] Column.isinの実装
  • [SPARK-32170] [SC-118384] [CORE] ステージ タスク メトリックを通じて投機を改善します。
  • [SPARK-41524] [SC-118399][SS] RocksDBConf での使用について StateStoreConf で SQLConf と extraOptions を区別する
  • [SPARK-41465] [SC-118381][SQL] エラー クラス_LEGACY_ERROR_TEMP_1235に名前を割り当てる
  • [SPARK-41511] [SC-118365][SQL] LongToUnsafeRowMap のサポートはDuplicatedKeyを無視
  • [SPARK-41409] [SC-118302][CORE][SQL] 名前を _LEGACY_ERROR_TEMP_1043から WRONG_NUM_ARGS.WITHOUT_SUGGESTION に変更
  • [SPARK-41438] [SC-118344][CONNECT][PYTHON] DataFrame.colRegexの実装
  • [SPARK-41437] [SC-117601][SQL] v1 書き込みフォールバックに対して入力クエリを 2 回最適化しない
  • [SPARK-41314] [SC-117172][SQL] エラー クラス _LEGACY_ERROR_TEMP_1094に名前を割り当てる
  • [SPARK-41443] [SC-118004][SQL] エラー クラス_LEGACY_ERROR_TEMP_1061に名前を割り当てる
  • [SPARK-41506] [SC-118241][CONNECT][PYTHON] DataType をサポートするように LiteralExpression をリファクタリングする
  • [SPARK-41448] [SC-118046] FileBatchWriter と FileFormatWriter で一貫した MR ジョブ ID を作成する
  • [SPARK-41456] [SC-117970][SQL] try_castのパフォーマンスを向上させる
  • [SPARK-41495] [SC-118125][CONNECT][PYTHON] collection 関数を実装する: P~Z
  • [SPARK-41478] [SC-118167][SQL] エラー クラス_LEGACY_ERROR_TEMP_1234に名前を割り当てる
  • [SPARK-41406] [SC-118161][SQL] NUM_COLUMNS_MISMATCH のエラー メッセージをリファクタリングして、より汎用的なものにする
  • [SPARK-41404] [SC-118016][SQL] ColumnarBatchSuite#testRandomRowsがより多くのプリミティブ dataType をテストするようにColumnVectorUtils#toBatchをリファクタリングする
  • [SPARK-41468] [SC-118044][SQL] EquivalentExpressions での PlanExpression 処理を修正
  • [SPARK-40775] [SC-118045][SQL] V2 ファイル スキャンの重複する説明エントリを修正する
  • [SPARK-41492] [SC-118042][CONNECT][PYTHON] MISC 関数を実装する
  • [SPARK-41459] [SC-118005][SQL] thrift サーバー操作ログ出力が空であることを修正
  • [SPARK-41395] [SC-117899][SQL] setDecimal を使用して、 InterpretedMutableProjection が安全でない行の10 進部の null 値を設定する必要がある
  • [SPARK-41376] [SC-117840][CORE][3.3] Executor の起動時に Netty preferDirectBufs チェック ロジックを修正する
  • [SPARK-41484] [SC-118159][SC-118036][CONNECT][PYTHON][12.x] collection 関数を実装する: E~M
  • [SPARK-41389] [SC-117426][CORE][SQL] _LEGACY_ERROR_TEMP_1044の代わりに WRONG_NUM_ARGSを再利用
  • [SPARK-41462] [SC-117920][SQL] 日付とタイムスタンプの種類を TimestampNTZ にキャストできる
  • [SPARK-41435] [SC-117810][SQL] expressionsが空でないときに curdate()invalidFunctionArgumentsError を呼び出すように変更
  • [SPARK-41187] [SC-118030][CORE] ExecutorLost が発生したときに AppStatusListener で LiveExecutor MemoryLeak
  • [SPARK-41360] [SC-118083][CORE] Executor が失われた場合に BlockManager の再登録を回避する
  • [SPARK-41378] [SC-117686][SQL] DS v2 での列統計のサポート
  • [SPARK-41402] [SC-117910][SQL][CONNECT][12.X] StringDecode の prettyName をオーバーライドする
  • [SPARK-41414] [SC-118041][CONNECT][PYTHON][12.x] 日付/タイムスタンプ関数を実装する
  • [SPARK-41329] [SC-117975][CONNECT] Spark Connect での循環インポートを解決する
  • [SPARK-41477] [SC-118025][CONNECT][PYTHON] リテラル整数のデータ型を正しく推論する
  • [SPARK-41446] [SC-118024][CONNECT][PYTHON][12.x] createDataFrame にスキーマとその他の入力データセットの種類をサポートさせる
  • [SPARK-41475] [SC-117997][CONNECT] lint-scala コマンド エラーと入力ミスを修正
  • [SPARK-38277] [SC-117799][SS] RocksDB ステート ストアのコミット後に書き込みバッチをクリアする
  • [SPARK-41375] [SC-117801][SS] 最新の KafkaSourceOffset を空にしないでください
  • [SPARK-41412] [SC-118015][CONNECT] Column.castを実装する
  • [SPARK-41439] [SC-117893][CONNECT][PYTHON] DataFrame.meltDataFrame.unpivot を実装する
  • [SPARK-41399] [SC-118007][SC-117474][CONNECT] 列関連のテストをtest_connect_columnにリファクタリングする
  • [SPARK-41351] [SC-117957][SC-117412][CONNECT][12.x] 列で != 演算子をサポートする必要がある
  • [SPARK-40697] [SC-117806][SC-112787][SQL] 外部データ ファイルをカバーする読み取り側の char パディングを追加する
  • [SPARK-41349] [SC-117594][CONNECT][12.X] DataFrame.hint を実装する
  • [SPARK-41338] [SC-117170][SQL] 同じアナライザー バッチ内の外部参照と標準列を解決する
  • [SPARK-41436] [SC-117805][CONNECT][PYTHON] collection 関数を実装する: A~ C
  • [SPARK-41445] [SC-117802][CONNECT] DataFrameReader.parquet を実装する
  • [SPARK-41452][SC-117865][SQL] format が null 値 の場合、 to_charは null 値 を返す必要がある
  • [SPARK-41444] [SC-117796][CONNECT] read.json() のサポート
  • [SPARK-41398] [SC-117508][SQL] ランタイム フィルター処理後のパーティション キーが一致しない場合のStorage-Partitioned結合に関する制約を緩和する
  • [SPARK-41228] [SC-117169][SQL] COLUMN_NOT_IN_GROUP_BY_CLAUSE のエラー メッセージの名前を変更してわかりやすくする。
  • [SPARK-41381] [SC-117593][CONNECT][PYTHON] count_distinctsum_distinct の関数の 実装
  • [SPARK-41433] [SC-117596][CONNECT] Max Arrow BatchSize を構成可能にする
  • [SPARK-41397] [SC-117590][CONNECT][PYTHON] 文字列/バイナリ関数の一部を実装する
  • [SPARK-41382] [SC-117588][CONNECT][PYTHON] product 関数を実装する
  • [SPARK-41403] [SC-117595][CONNECT][PYTHON] DataFrame.describeの実装
  • [SPARK-41366] [SC-117580][CONNECT] DF.groupby.agg() は互換性がある必要がある
  • [SPARK-41369] [SC-117584][CONNECT] サーバーの網かけ jar に共通の接続を追加する
  • [SPARK-41411] [SC-117562][SS] マルチステートフル オペレーターウォーターマークサポートバグ修正
  • [SPARK-41176] [SC-116630][SQL] _LEGACY_ERROR_TEMP_1042 エラー クラスに名前を割り当てる
  • [SPARK-41380] [SC-117476][CONNECT][PYTHON][12.X] 集計関数を実装する
  • [SPARK-41363] [SC-117470][CONNECT][PYTHON][12.X] 通常の関数を実装する
  • [SPARK-41305] [SC-117411][CONNECT] Command proto のドキュメントを改善する
  • [SPARK-41372] [SC-117427][CONNECT][PYTHON] DataFrame TempView を実装する
  • [SPARK-41379] [SC-117420][SS][PYTHON] PySpark の foreachBatch シンクのユーザー関数で DataFrame に複製された Spark セッションを提供する
  • [SPARK-41373] [SC-117405][SQL][ERROR] CAST_WITH_FUN_SUGGESTIONの名前をCAST_WITH_FUNC_SUGGESTIONに変更する
  • [SPARK-41358] [SC-117417][SQL]DataTypeの代わりに PhysicalDataType を使用するColumnVectorUtils#populateのメソッドをリファクタリングする
  • [SPARK-41355] [SC-117423][SQL] Hive テーブル名の検証に関する回避策の問題
  • [SPARK-41390] [SC-117429][SQL] UDFRegistrationregister関数を生成するために使用するスクリプトを更新する
  • [SPARK-41206] [SC-117233][SC-116381][SQL] エラー クラス _LEGACY_ERROR_TEMP_1233 の名前を COLUMN_ALREADY_EXISTSに変更する
  • [SPARK-41357] [SC-117310][CONNECT][PYTHON][12.X] 数学関数を実装する
  • [SPARK-40970] [SC-117308][CONNECT][PYTHON] Join の on 引数の List[Column] をサポート
  • [SPARK-41345] [SC-117178][CONNECT] Proto の接続にヒントを追加する
  • [SPARK-41226] [SC-117194][SQL][12.x] 物理型を導入して Spark 型をリファクタリングする
  • [SPARK-41317] [SC-116902][CONNECT][PYTHON][12.X] DataFrameWriter の基本的なサポートを追加する
  • [SPARK-41347] [SC-117173][CONNECT]proto 式 にキャストを追加する
  • [SPARK-41323] [SC-117128][SQL]current_schemaをサポート
  • [SPARK-41339] [SC-117171][SQL] 単にクリアするのではなく、RocksDB 書き込みバッチを閉じて再作成する
  • [SPARK-41227] [SC-117165][CONNECT][PYTHON] DataFrame クロス結合を実装する
  • [SPARK-41346] [SC-117176][CONNECT][PYTHON] ascdesc関数の実装
  • [SPARK-41343] [SC-117166][CONNECT] FunctionName 解析をサーバー側に移動する
  • [SPARK-41321] [SC-117163][CONNECT] UnresolvedStar のサポート ターゲット フィールド
  • [SPARK-41237] [SC-117167][SQL] のエラー クラス UNSUPPORTED_DATATYPE_LEGACY_ERROR_TEMP_0030に再利用する
  • [SPARK-41309] [SC-116916][SQL]_LEGACY_ERROR_TEMP_1093の代わりにINVALID_SCHEMA.NON_STRING_LITERAL を再利用
  • [SPARK-41276] [SC-117136][SQL][ML][MLLIB][PROTOBUF][PYTHON][R][SS][AVRO] StructTypeのコンストラクターの使用を最適化する
  • [SPARK-41335] [SC-117135][CONNECT][PYTHON] 列での IsNull と IsNotNull のサポート
  • [SPARK-41332] [SC-117131][CONNECT][PYTHON] SortOrdernullOrderingの修正
  • [SPARK-41325] [SC-117132][CONNECT][12.X] DF 上の GroupBy の avg() が見つからない問題を修正
  • [SPARK-41327] [SC-117137][CORE] スイッチ On/OffHeapStorageMemory info によるSparkStatusTracker.getExecutorInfosの修正
  • [SPARK-41315] [SC-117129][CONNECT][PYTHON] DataFrame.replaceDataFrame.na.replaceを実装する
  • [SPARK-41328] [SC-117125][CONNECT][PYTHON] 列に論理 API と文字列 API を追加する
  • [SPARK-41331] [SC-117127][CONNECT][PYTHON] orderBydrop_duplicates を追加する
  • [SPARK-40987] [SC-117124][CORE] は BlockManager#removeBlockInternal がロックが正常にロック解除されていることを確認する必要がある
  • [SPARK-41268] [SC-117102][SC-116970][CONNECT][PYTHON] API 互換性のために 「列」 をリファクタリングする
  • [SPARK-41312] [SC-116881][CONNECT][PYTHON][12.X] DataFrame.withColumnRenamed を実装する
  • [SPARK-41221] [SC-116607][SQL] エラー クラスINVALID_FORMATを追加する
  • [SPARK-41272] [SC-116742][SQL] エラー クラス_LEGACY_ERROR_TEMP_2019に名前を割り当てる
  • [SPARK-41180] [SC-116760][SQL] _LEGACY_ERROR_TEMP_1227の代わりに INVALID_SCHEMA を再利用する
  • [SPARK-41260] [SC-116880][PYTHON][SS][12.X] GroupState 更新で NumPy インスタンスを Python プリミティブ型にキャストする
  • [SPARK-41174] [SC-116609][CORE][SQL] to_binary()の無効な formatの エラー クラスをユーザーに伝達する
  • [SPARK-41264] [SC-116971][CONNECT][PYTHON] リテラルでより多くのデータ型がサポートされるようにする
  • [SPARK-41326] [SC-116972] [CONNECT] 重複除去が入力されない問題を修正
  • [SPARK-41316] [SC-116900][SQL] 可能な限り末尾再帰を有効にする
  • [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] フィルターでの文字列式をサポートする。
  • [SPARK-41256] [SC-116932][SC-116883][CONNECT] DataFrame.withColumn(s) を実装する
  • [SPARK-41182] [SC-116632][SQL] エラー クラス_LEGACY_ERROR_TEMP_1102に名前を割り当てる
  • [SPARK-41181] [SC-116680][SQL] マップ オプション エラーをエラー クラスに移行する
  • [SPARK-40940] [SC-115993][12.x] ストリーミング クエリの複数ステートフル演算子チェッカーを削除します。
  • [SPARK-41310] [SC-116885][CONNECT][PYTHON] DataFrame.toDF を実装する
  • [SPARK-41179] [SC-116631][SQL] エラー クラス_LEGACY_ERROR_TEMP_1092に名前を割り当てる
  • [SPARK-41003] [SC-116741][SQL] codegen が無効になっていると、BHJ LeftAnti が numOutputRows を更新しない
  • [SPARK-41148] [SC-116878][CONNECT][PYTHON] DataFrame.dropnaDataFrame.na.dropを実装する
  • [SPARK-41217] [SC-116380][SQL] エラー クラスFAILED_FUNCTION_CALLを追加する
  • [SPARK-41308] [SC-116875][CONNECT][PYTHON] DataFrame.count() の改善
  • [SPARK-41301] [SC-116786] [CONNECT] SparkSession.range() のホモジナイズ動作
  • [SPARK-41306] [SC-116860][CONNECT] Connect 式のドキュメントを改善する
  • [SPARK-41280] [SC-116733][CONNECT] DataFrame.tail を実装する
  • [SPARK-41300] [SC-116751] [CONNECT] スキーマの未設定がスキーマとして解釈される
  • [SPARK-41255] [SC-116730][SC-116695] [CONNECT] RemoteSparkSession の名前を変更する
  • [SPARK-41250] [SC-116788][SC-116633][CONNECT][PYTHON] DataFrame。 toPandas はオプションの pandas データフレームを返さないでください
  • [SPARK-41291] [SC-116738][CONNECT][PYTHON] DataFrame.explain は印刷して None を返す必要がある
  • [SPARK-41278] [SC-116732][CONNECT] Expression.proto で未使用の QualifiedAttribute をクリーンアップする
  • [SPARK-41097] [SC-116653][CORE][SQL][SS][PROTOBUF] Scala 2.13 コードの冗長コレクション変換ベースを削除する
  • [SPARK-41261] [SC-116718][PYTHON][SS] グループ化キーの列が最も古い順序で配置されない場合の applyInPandasWithState の問題を修正
  • [SPARK-40872] [SC-116717][3.3] プッシュマージされたシャッフル チャンクのサイズが 0 の場合に元のシャッフル ブロックにフォールバックする
  • [SPARK-41114] [SC-116628][CONNECT] LocalRelation のローカル データをサポートする
  • [SPARK-41216] [SC-116678][CONNECT][PYTHON] DataFrame.{isLocal, isStreaming, printSchema, inputFiles}を実装する
  • [SPARK-41238] [SC-116670][CONNECT][PYTHON] より組み込みのデータ型をサポートする
  • [SPARK-41230] [SC-116674][CONNECT][PYTHON] 集計式型からstrを削除
  • [SPARK-41224] [SC-116652][SPARK-41165][SPARK-41184][CONNECT] サーバーからクライアントにストリーム配信するための方向ベースの収集実装の最適化
  • [SPARK-41222] [SC-116625][CONNECT][PYTHON] 入力定義を統合する
  • [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] サポートされていない関数を無効にします。
  • [SPARK-41201] [SC-116526][CONNECT][PYTHON] Python クライアントでDataFrame.SelectExprを実装
  • [SPARK-41203] [SC-116258] [CONNECT] Python クライアントで Dataframe.tansform をサポートします。
  • [SPARK-41213] [SC-116375][CONNECT][PYTHON] DataFrame.__repr__DataFrame.dtypes を実装する
  • [SPARK-41169] [SC-116378][CONNECT][PYTHON] DataFrame.dropを実装する
  • [SPARK-41172] [SC-116245][SQL] あいまいな ref エラーをエラー クラスに移行する
  • [SPARK-41122] [SC-116141][CONNECT] API でさまざまなモードをサポートできることを説明する
  • [SPARK-41209] [SC-116584][SC-116376][PYTHON] _merge_type メソッドでの PySpark 型推論の改善
  • [SPARK-41196] [SC-116555][SC-116179] [CONNECT] Spark Connect サーバー全体で protobuf バージョンを均質化して、同じメジャー バージョンを使用します。
  • [SPARK-35531] [SC-116409][SQL] 不要な変換なしで Hive テーブルの統計を更新する
  • [SPARK-41154] [SC-116289][SQL] タイム トラベル スペックを使用したクエリの関係キャッシュが正しくない
  • [SPARK-41212] [SC-116554][SC-116389][CONNECT][PYTHON] DataFrame.isEmptyの実装
  • [SPARK-41135] [SC-116400][SQL] 名前UNSUPPORTED_EMPTY_LOCATIONINVALID_EMPTY_LOCATIONに変更
  • [SPARK-41183] [SC-116265][SQL] キャッシュの正規化を計画するための拡張 API を追加する
  • [SPARK-41054] [SC-116447][UI][CORE] ライブ UI での KVStore としての RocksDB のサポート
  • [SPARK-38550] [SC-115223]「[SQL][CORE] ディスク ベースのストアを使用してライブ UI のデバッグ情報をさらに保存する」 を元に戻す
  • [SPARK-41173] [SC-116185][SQL] 文字列式のコンストラクターから require() を移動する
  • [SPARK-41188] [SC-116242][CORE][ML] executorEnv OMP_NUM_THREADSを spark executor JVM プロセスの既定で spark.task.cpus に設定する
  • [SPARK-41130] [SC-116155][SQL] 名前 OUT_OF_DECIMAL_TYPE_RANGENUMERIC_OUT_OF_SUPPORTED_RANGEに変更
  • [SPARK-41175] [SC-116238][SQL] エラー クラス_LEGACY_ERROR_TEMP_1078に名前を割り当てる
  • [SPARK-41106] [SC-116073][SQL] AttributeMap の作成時にコレクション変換を減らす
  • [SPARK-41139] [SC-115983][SQL] エラー クラスを改善する: PYTHON_UDF_IN_ON_CLAUSE
  • [SPARK-40657] [SC-115997][PROTOBUF] Java クラス jar に網かけが必要、エラー処理を改善
  • [SPARK-40999] [SC-116168] サブクエリへのヒント伝達
  • [SPARK-41017] [SC-116054][SQL] 複数の非決定的フィルターを使用した列の排除をサポート
  • [SPARK-40834] [SC-114773][SQL] SparkListenerSQLExecutionEnd を使用して UI で最終的な SQL 状態を追跡する
  • [SPARK-41118] [SC-116027][SQL] to_number/try_to_number はformat が nullの場合に null を返す必要がある
  • [SPARK-39799] [SC-115984][SQL] DataSourceV2: カタログ インターフェイスの表示
  • [SPARK-40665] [SC-116210][SC-112300][CONNECT] Apache Spark バイナリ リリースに Spark Connect を埋め込むのを避ける
  • [SPARK-41048] [SC-116043][SQL] AQE キャッシュを使用した出力のパーティション分割と順序の改善
  • [SPARK-41198] [SC-116256][SS] CTE と DSv1 ストリーミング ソースを持つストリーミング クエリのメトリックを修正する
  • [SPARK-41199] [SC-116244][SS] DSv1 ストリーミング ソースと DSv2 ストリーミング ソースが共同使用されている場合のメトリックの問題を修正する
  • [SPARK-40957] [SC-116261][SC-114706] HDFSMetadataLog にメモリ キャッシュを追加する
  • [SPARK-40940] 「[SC-115993]ストリーミング クエリの複数ステートフル演算子チェッカーを削除する」を元に戻します。
  • [SPARK-41090] [SC-116040][SQL] Dataset API で一時ビューを作成するときに db_name.view_name の例外をスローする
  • [SPARK-41133] [SC-116085][SQL] UNSCALED_VALUE_TOO_LARGE_FOR_PRECISIONNUMERIC_VALUE_OUT_OF_RANGE に統合する
  • [SPARK-40557] [SC-116182][SC-111442][CONNECT] ダンプ 9 コミットのコードを書く
  • [SPARK-40448] [SC-114447][SC-111314][CONNECT] シェーディングされた依存関係を持つドライバー プラグインとしての Spark Connect ビルド
  • [SPARK-41096] [SC-115812][SQL] parquet FIXED_LEN_BYTE_ARRAY 型の読み取りをサポート
  • [SPARK-41140] [SC-115879][SQL] エラー クラス _LEGACY_ERROR_TEMP_2440 の名前を INVALID_WHERE_CONDITION に変更する
  • [SPARK-40918] [SC-114438][SQL] 列出力の生成時に FileSourceScanExec と、Orc と ParquetFileFormat が一致しない
  • [SPARK-41155] [SC-115991][SQL] SchemaColumnConvertNotSupportedException にエラー メッセージを追加する
  • [SPARK-40940] [SC-115993] ストリーミング クエリのマルチステートフル演算子チェッカーを削除します。
  • [SPARK-41098] [SC-115790][SQL] GROUP_BY_POS_REFERS_AGG_EXPR の名前を GROUP_BY_POS_AGGREGATEに変更
  • [SPARK-40755] [SC-115912][SQL] 数値書式の型チェックの失敗をエラー クラスに移行する
  • [SPARK-41059] [SC-115658][SQL] _LEGACY_ERROR_TEMP_2420の名前をNESTED_AGGREGATE_FUNCTION に変更
  • [SPARK-41044] [SC-115662][SQL] DATATYPE_MISMATCH.UNSPECIFIED_FRAMEをINTERNAL_ERRORへ変換します
  • [SPARK-40973] [SC-115132][SQL] _LEGACY_ERROR_TEMP_0055の名前をUNCLOSED_BRACKETED_COMMENT に変更

メンテナンスの更新

Databricks Runtime 12.1 のメンテナンス更新プログラムに関するページを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
クリックし 8.0.4 cryptography 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
docstring-to-markdown 0.11 entrypoints 0.4 executing 0.8.3
facets-overview 1.0.0 fastjsonschema 2.16.2 filelock 3.8.2
fonttools 4.25.0 idna 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.0 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 mccabe 0.7.0 mistune 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
ノートブック 6.4.8 numpy 1.21.5 パッケージング 21.3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.6.0 plotly 5.6.0 pluggy 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
requests 2.27.1 requests-unixsocket 0.2.0 rope 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
6 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
unattended-upgrades 0.1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.3
wheel 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

インストールされている R ライブラリ

R ライブラリは、2022 年 11 月 11 日に Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
矢印 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob (blob) 1.2.3
boot 1.3-28 brew 1.0 から 8 brio 1.1.3
broom 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 キャレット 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-20 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-18 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 資格情報 1.3.2 curl 4.3.3
data.table 1.14.4 datasets 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipsis 0.3.2 evaluate 0.18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 generics 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.0 ライフサイクル 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
MASS 7.3-58 Matrix 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 pillar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progress 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 spatial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
survival 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0.42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet parquet-encoding 1.12.3-databricks-0002
org.apache.parquet parquet-format-structures 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1