次に、2023 年 1 月から 12 月までの Databricks SQL の機能強化と更新について説明します。
2023 年 12 月 21 日
- Lakeview Counter のビジュアルタイプでは、メインの
BigIntフィールドとターゲットフィールドの値を比較するときに、色が表示されます。 - Lakeview のテーブルで列の表示を切り替えるときに表示されるヒントが改善されました。 これらは予想通りに動作し、残りません。
- ユーザーは Databricks Assistant を使用して、Lakeview で視覚化を作成できるようになりました。 Databricks アシスタントを使用した視覚化の作成についてを参照してください。
- 新しいグラフの場合、ヒートマップタイプのグラフは reverseY 設定を考慮します。
- 視覚化の数が多いノートブックのレンダリング パフォーマンスの問題を修正しました。
2023 年 12 月 14 日
- 手動でページを更新しないと、Lakeview ダッシュボードが Lakeview 登録情報ページに表示されないバグを修正しました。
- キャンバスに配置するときに、エスケープ キーを使用して Lakeview ウィジェットの作成を取り消します。
- カタログ エクスプローラーで 、モザイク AI ベクター 検索パブリック プレビューの一部として、UI にベクター検索インデックスが表示されるようになりました。
2023 年 12 月 7 日
ユーザー インターフェイスの更新
- Lakeview ダッシュボードをお気に入りに追加して、すばやくアクセスできます。
- Lakeview ダッシュボードの下書き中は、コピーと貼り付けのキーボード ショートカットがサポートされています。 また、削除キーを使用すると、選択したウィジェットが削除されます。
- 読み込み中にテキストをクリッピングしないように、Lakeview ウィジェットのタイトルと説明が強化されました。
- 大きな整数値が誤って浮動小数点数として表示される視覚化の書式設定の問題を修正しました。
- 拡張グラフ ビューに空白のグラフが表示される場合がある Databricks SQL ダッシュボードの問題を修正しました。
- X 軸と Y 軸の両方に定量的フィールドがある横棒グラフでは、より読みやすいデータ ラベルが表示されます。
- タイトルに
streamという単語が含まれるテーブルが予約済みキーワードと競合しないように、SQL エディターの問題を修正しました。 これらのテーブルはスキーマ ブラウザーで想定どおりに表示され、エラーが強調表示されません。 - クエリ履歴ページで、列のサイズ変更と列の選択がサポートされるようになりました。
- クエリ履歴ページでは、クエリ ソースとクエリ ソースの種類という 2 つの新しい列がサポートされています。
- Tableau や Power BI などの BI オプションは、対象ページのカタログ エクスプローラーで見つけやすくなります。
2023 年 11 月 30 日
ユーザー インターフェイスの更新
このセクションに記載されている機能は、前述の SQL Warehouse コンピューティング バージョンとは無関係です。
- Lakeview の円グラフで、色の割り当てをカスタマイズできるようになりました。
- 互換性のあるフィールド型を切り替えるときに、Lakeview の視覚化変換が保持されるようになりました。
- Lakeview 円グラフの角度チャネルのタイトル設定を追加しました。
- Lakeview データセットのドロップダウンが検索可能になり、ナビゲーションが容易になりました。
- Lakeview では、10,000 以下の値の完全な数値表示がサポートされ、省略形は不要です。
- Lakeview のカテゴリ別日付フィールドを色分けする機能を追加しました。
- Lakeview ユーザーは、グラフの凡例をカーソルで強調表示して、値をコピーして貼り付けることができるようになりました。
- Lakeview の円グラフには、ラベルのオンオフを切り替えるオプションが追加されています。
- すべての Lakeview 視覚エフェクトで既定の青い色を標準化しました。
- 変換の Lakeview 列アイコンが、使用される変換方法と一貫して一致するようになりました。
- Lakeview の編集パネルのコントロールは、読みやすさを高めるために自動的に折り返す機能が追加されました。
- Lakeview 視覚化用の拡張カラー エディターをリリースしました。
- Lakeview のテーブル フォント条件のコントロールがラップされ、読み取りが向上するようになりました。
- 新しいグラフのラベルに対するダーク モードの互換性が向上しました。
- 新しいグラフは、バー内のラベル表示に一貫して優先順位を付けるようになりました。
- 一部の右クリック メニュー アクションが SQL エディターで動作しないバグを修正しました。
2023 年 11 月 16 日
ユーザー インターフェイスの更新
このセクションに記載されている機能は、前述の SQL Warehouse コンピューティング バージョンとは無関係です。
- サイズ変更トリガー ゾーンが大きいため、Lakeview ウィジェットのサイズを簡単に変更できるようになりました。
- ワークスペース管理者は、Lakeview ダッシュボード の所有者を変更 できるようになりました。 Lakeview ダッシュボードの編集モードから:
- [共有] をクリックする
-
- [新しい所有者の割り当て] をクリックする
- ユーザーは、Lakeview でラベルのオンとオフを切り替えることができます。
視覚化:
- 新しいチャートのラベルは、可能であればバー内に強く配置を優先するようになりました。
- ラベル全体を表示するのに十分な幅の積み上げ横棒に、新しいグラフ ラベルが正しく表示されるようになりました。
- 横棒グラフ内のラベルの色の一貫性が高くなりました。
2023 年 11 月 9 日
2023.50 の変更点:
ハイライト:
- SQL および Python UDF で名前付きパラメーター呼び出しを使用できるようになりました。
SQL 言語の更新: 次の組み込み関数が追加されました。
-
from_xml: XMLSTRINGをSTRUCTに解析します。 -
schema_of_xml: XMLSTRINGからスキーマを派生させます。 -
session_user: ログインしているユーザーを返します。 -
try_reflect: Java メソッドが失敗した場合は、例外の代わりにNULLを返します。
以下の組み込み関数が強化されました。
-
関数呼び出し。 関数のテーブル引数は、パーティション分割と順序付けをサポートしています。
PARTITION BY句とORDER BY句を使用して、テーブル引数を関数に渡す方法を制御できるようになりました。 -
mode: 決定論的な結果を強制する省略可能なパラメーターのサポート。 -
to_char:DATE、TIMESTAMP、およびBINARYの新しいサポート。 -
to_varchar:DATE、TIMESTAMP、およびBINARYの新しいサポート。 -
array_insert()は、負のインデックスの場合は 1 から始まります。array_insert関数は、正のインデックスと負のインデックスの両方に対して 1 から始まります。 インデックス 1 の入力配列の最後に新しい要素を挿入するようになりました。
ユーザー インターフェイスの更新
このセクションに記載されている機能は、前述の SQL Warehouse コンピューティング バージョンとは無関係です。
視覚化:
- 新しいグラフのヒントには、カーディナリティの高いグラフのホバーされた項目のみが表示されます。
- 新しいグラフでは、2 軸グラフが 0 に自動的に配置されます。
- グラフの回転ラベルと軸テキストの角度の方向が -90 から 90 度に変更されました。
- グラフでは、ラベルの幅を使用して回転が決定されるようになりました。
Lakeview ダッシュボード:
- 修正: 少数の行のみが返される場合には、Lakeview ダッシュボードのテーブル行で垂直パディングが追加されることはなくなりました。
- 新しい Lakeview ダッシュボード ウィジェットを複製すると、キャンバス上に十分な領域がある場合に、最初に複製を元のダッシュボードの右側に配置しようとします。 空き領域が不足している場合、複製は元の領域より下に配置されます。
- これで、[共有] ダイアログを使用して、Lakeview ダッシュボードの所有者を再割り当てできるようになりました。
SQL エディター: オートコンプリートの攻撃性が低下し、ステートメントの最後に自動的に無視されるようになりました
2023 年 11 月 2 日
機能強化:
Lakeview ダッシュボード系列の機能強化を次に示します。
- テーブル、ビュー、具体化されたビューの個別のアイコンが追加されました。
- 多数のアップストリーム データ ソースが発生した場合の垂直スクロールのサポートが追加されました。
- ビューアーにアップストリーム オブジェクトに対するアクセス許可がない場合のエラー メッセージが改善されました。
- サンプル データ テーブルと HMS データに関するメッセージを明確にしました。
- アップストリーム データ ソースにキー値タグを追加しました。
修理する:
- ブール値を使用して系列の名前を変更した後にレンダリングが行えなくなる新しいグラフの問題を修正しました。
2023 年 10 月 26 日
Databricks SQL バージョン 2023.45 の変更点
ハイライト:
- 更新の予測 I/O は一般提供になりました。 予測 I/O とは
- 削除ベクトルは一般提供になりました。 「削除ベクトルとは」を参照してください。
クエリの最適化:
- 外部結合がすべて個別の集計関数である場合、外部結合を削除しました。 SPARK-42583
- フィルター述語の順序を最適化しました。 SPARK-40045
SQL 関数の更新:
-
Aggregateでの暗黙的な横列エイリアス解決のサポートが追加されました。 SPARK-41631 - Window を使用したクエリでの暗黙的な横列エイリアスのサポート。 SPARK-42217
- Datasketches
HLLSketchのサポート。 集計関数hll_sketch_agg参照してください。 -
try_aes_decrypt()関数を追加しました。try_aes_decrypt関数を参照してください。 -
aes_encrypt()とaes_decrypt()の CBC モードのサポート。aes_decrypt関数を参照してください。 - DATE_ADDとDATE_DIFFの 3 引数関数エイリアスを追加します。
- aes_encrypt IV と AAD のサポートが追加されました。 SPARK-43290
- ビットマップ関数を実装します。 SPARK-44154
-
to_varcharのto_charエイリアスを追加しました。to_varchar関数を参照してください。 -
array_compactサポートが追加されました。array_compact関数を参照してください。 - udf
luhn_checkのサポート。luhn_check関数を参照してください。 - 組み込み関数の名前付き引数のアナライザーサポートが追加されました。 SPARK-44059
-
TABLEのTableValuedFunction引数パーサー 規則のサポート。 SPARK-44200 -
array_insertインデックスが 0 で失敗するようになりました。 SPARK-43011 - ユーザー指定のリストの列数がターゲット テーブルよりも少ない
NULLのINSERT値を追加しました。 SPARK-42521 -
DECODE関数は、NULL を渡すと間違った結果を返します。 SPARK-41668
ユーザー インターフェイスの更新
機能強化:
- Lakeview SQL エディターで、クエリを実行するためのキーボード ショートカットがサポートされるようになりました。
- Lakeview のフィルターに、過去 7 日、14 日、28 日、30 日、60 日、90 日間のクイック相対日付範囲の選択が一覧表示されるようになりました。
- データフィールド名にピリオドが含まれていても、グラフが空白にならなくなります。
- 従来のスキーマ ブラウザーが Unity カタログで動作するようになりました。
- SQL エディターでアクティブなタブのみを読み込むパフォーマンスの向上を実装し、初期読み込み時間を最大 20%短縮しました。
- カタログ エクスプローラーで AI によって生成されたテーブル コメントが一般公開されました。
修正:
- テンポラル横棒グラフのバーは、日付の目盛りの中央に配置されるようになりました。
- 集計式を含むデータ ラベル テンプレートで、適切な数値フォーマッタが使用されるようになりました。
- 新しいグラフをズームすると、テンポラル データを使用してスケール セットをカテゴリ別に表示できるようになりました。
新しい記事:
- 各スクリーンショットで各視覚化を再作成する方法を示すスクリーンショットやメモなど、すべての Lakeview 視覚化を示す新しい記事をリリースしました。 AI/BI ダッシュボードの視覚化の種類を参照してください。
2023 年 10 月 19 日
機能強化:
- スキーマ ブラウザーでドラッグ アンド ドロップできるようになりました。
- Lakeview ダッシュボードの [テーブルの選択] モーダルを使用すると、カタログまたはスキーマ内のすべてのテーブルから簡単に選択できるようになり、入力時にオートコンプリートの検索予測が使用されるようになりました。
修正:
- 凡例の選択ツールヒントの手順では、Mac ユーザーには
cmdの使用、Windows ユーザーにはctrlの使用を指示します。
- レンダリングされたデータが制限を超えた場合に、Lakeview ダッシュボードで切り捨てられたメッセージの可視性が向上しました。
- 切り捨てられたデータを含むグラフには、エディターに表示される一貫性のある色が表示されます。
2023 年 10 月 12 日
機能強化:
- 特殊文字を含むテキスト フィルター値が、Lakeview ダッシュボードで正しくフィルター処理されるようになりました。
- 新しいグラフでは、散布図
@@nameデータ ラベルがサポートされます。 - カスタマイズされたパーセンテージ形式は、新しいグラフのグループ化されたグラフヒントに適用されます。
- ワークスペース バインド拡張機能 UI は GA です。
修正:
- 新しいグラフでのラベルのレンダリングが改善され、グラフの境界外にラベルが流出しないようにしました。
- 新しいグラフで目盛線とグリッド線のコントラストを向上させ、可視性を高めました。
- 新しいグラフの読みやすさを向上させるために、軸ラベルの間隔を増やしました。
2023 年 10 月 5 日
機能強化:
- Lakeview ダッシュボードの発行モードアクションと日付系列に対して、正確なツールヒントが追加されました。
- Lakeview テーブルの視覚化の条件付き書式とリンク テンプレートで、非表示の列がサポートされるようになりました。
- 新しいグラフの明瞭さを高めるために、幅の広い棒グラフのラベル位置を最適化しました。
- Lakeview のカウンター視覚化では、他のフィールドが削除された後も変換が保持され、一貫性が確保されます。
- グラフ内の系列にカーソルを合わせると、ツールヒントの周囲の系列が暗くなり、新しいグラフの読みやすさが向上するようになりました。
- パーセンテージ値を使用する新しいグラフに、絶対値を含むヒントが表示されるようになりました。
- ボリュームを作成するためのオートコンプリートのサポートを追加しました。
- アクティブでないタブを閉じても、タブが切り替わらなくなりました。
- 選択された実行は、テキストを強調表示するときに明確に示します。
修正:
- データが切り捨てられた場合のピボット テーブルでのエラー メッセージの文言が改善されました。
- BigInt データ型の使用時に色が表示されないピボット テーブルのレンダリング エラーを修正しました。
- 多数の凡例項目を含む新しいグラフで PNG をダウンロードするときに、オーバーフロー凡例エントリの色記号を削除しました。
- 新しいグラフの線は、一番上のビュー境界でも一貫した太さを維持します。
- Lakeview では、データセットが存在しない場合、Canvas のデータセット ピッカーは空です。
- Lakeflow Spark 宣言パイプラインは SQL パーサーによって適切に検出され、スキーマ ブラウザーに無効なテーブルとして表示されません。
- ヒントがサイドバーに追加されました。
2023 年 9 月 28 日
機能強化:
- 発行された Lakeview ダッシュボードに更新ボタンが追加されました。
- Lakeview ダッシュボードにアクセスできないユーザーのエラー メッセージが改善されました。
- Lakeview ダッシュボードのフィルター構成で、選択リストの上部に有効なフィールドが一覧表示されるようになりました。
- Lakeview ダッシュボードからグラフを PNG としてダウンロードすると、タイトルと説明が保持されるようになりました。
- カタログ エクスプローラーでのデルタテーブル履歴の改善には、日付範囲、ユーザー、操作の種類ごとのフィルターの追加、列の並べ替え、関連するジョブとノートブックへのインラインリンクが含まれています。
- ダーク モードのサポートは、凡例、ヒント、テーブルの視覚化にまたがって追加されました。
修理する:
- Lakeview ダッシュボードの更新時にフィルター選択がクリアされなくなりました。
2023 年 9 月 21 日
機能強化:
- ピボット テーブルのレンダリングパフォーマンスが向上しました。
- UI の系列表形式ビューの新しい DuBois パターン。
2023 年 9 月 14 日
改善:
- 新しいグラフの視覚化で PNG をダウンロードするときに、ファイル名が保持されるようになりました。 Databricks ノートブックと SQL エディターの視覚化を参照してください。
2023 年 9 月 7 日
Databricks SQL バージョン 2023.40 が利用可能
ロールアウト スケジュール
- 2023.40 のプレビュー ロールアウト: 2023 年 9 月 5 日から 2023 年 9 月 11 日までの間
- 2023.40 の現在のロールアウト: 2023 年 9 月 18 日から 2023 年 9 月 25 日までの間
2023.40 の変更点:
- Unity カタログでタグを使用できるようになりました。
- クエリの計画と呼び出しの間にファイルが変更された場合、Databricks Runtime はエラーを返します。
- Azure Databricks ODBC/JDBC ドライバーのサポート。
- 時系列列のラベル付けを有効にします。
- 新しいビットマップ SQL 関数。
- 暗号化機能が強化されました。
-
REFRESH FOREIGN.に対する Unity カタログのサポート -
INSERT BY NAMEがサポートされるようになりました。 - 具体化ビューをDelta Sharingで共有します。
ユーザー インターフェイスの更新
機能強化:
- より高速なレンダリング パフォーマンス、美しい色、および対話機能の向上を特徴とする新しいグラフが利用できるようになりました。 Databricks ノートブックと SQL エディターの視覚化を参照してください。
- クエリ プロファイルのグラフ ビューで、クエリ プランの結合を含む任意のノードで結合の種類を表示できるようになりました。
- Data Explorer は、データ オブジェクトだけでなく、Unity Catalog 内のすべてのセキュリティ保護可能なオブジェクトを操作するために使用できるという事実を認識するために、Catalog Explorer という名前に変更されました。 「カタログ エクスプローラーとは」を参照してください。
- Databricks SQL ステートメント実行 API は、Databricks SQL バージョン 2023.35 以降で GA になりました。 この API を使用すると、Databricks SQL ウェアハウスで実行する SQL ステートメントを送信したり、状態を確認して結果をフェッチしたり、実行中の SQL ステートメントの実行を取り消したりできます。 ステートメント実行 API を参照してください。
2023 年 8 月 31 日
新機能:
- Unity カタログのタグ付けはパブリック プレビュー段階です。 タグを使用すると、データ資産の検索と検出を簡略化できます。 「Unity Catalog のセキュリティ保護可能なオブジェクトにタグを適用する」をご覧ください。
2023 年 8 月 24 日
改善:
- Space キーを押すと、オートコンプリートによる推奨事項の提案が停止します。
- スキーマ ブラウザーでは、
liveLakeflow Spark 宣言パイプラインが壊れたテーブルとして表示されなくなります。
2023 年 8 月 16 日
改善:
- タブを切り替えると、SQL エディターの [カタログ] ドロップダウンが閉じるようになりました。 以前は、タブを切り替えたとき、ドロップダウンは開いたままです。
2023 年 8 月 10 日
改善:
- オートコンプリートで、Unity カタログ タグを設定するための新しい構文がサポートされるようになりました。 コマンドの詳細については、 SQL 言語リファレンスを参照してください。
2023 年 8 月 3 日
機能強化:
- 基になるモナコエディタは、バージョンを使用しています 37.1.
-
SHOW ARCHIVED FILES FORDelta コマンドのオートコンプリート のサポート。
2023 年 7 月 27 日
機能強化:
- SQL エディターが Windows 改行文字と互換性を持つようになり、すべてのケースでクエリの書式設定が期待どおりに機能するようになりました。
- ノートブックの結果からクエリ プロファイルナビゲーションを開くことができます。 クエリの場合は、SQL ウェアハウスを使用してクエリを実行します。
2023 年 7 月 20 日
Databricks SQL バージョン 2023.35 が利用可能
ロールアウト スケジュール
- 2023.35 のプレビュー ロールアウト: 2023 年 7 月 18 日から 2023 年 7 月 24 日までの間
- 2023.35 の現在のロールアウト: 2023 年 7 月 31 日から 2023 年 8 月 8 日までの間
2023.35 の変更点:
- Unity Catalog 内で浅いクローンを用いることにより、
VACUUMの信頼性が向上しました。 - SQL での Python UDF のサポート。
- Delta Lake UniForm for Apache Iceberg はパブリック プレビュー段階です。
- Delta Lake Liquid クラスタリングはパブリック プレビュー段階です。
- Delta Lake のアーカイブ サポート。
- IDENTIFIER 節のサポート。
- Python および Pandas User-Defined Functions (UDF) に対する Unity カタログのサポート。
改善:
- カタログ エクスプローラーでのテーブルの人気度は、すべての Unity カタログ ユーザーが利用可能です。
2023 年 7 月 13 日
改善:
- Unity カタログ ユーザーは、カタログ エクスプローラーで、頻繁に結合されるテーブル、特定のテーブルの頻繁なユーザー、頻繁に使用されるノートブックやダッシュボードなど、追加のテーブル分析情報を表示できるようになりました。
2023 年 6 月 22 日
パブリック プレビュー:
- Databricks SQL では、エンドポイントを提供するモデルでホストされる大規模な言語モデル (LLM) がサポートされるようになりました。 を呼び出して LLM にアクセスします。 この関数は、Databricks SQL Pro とサーバーレスのパブリック プレビューでのみ使用できます。 パブリック プレビューに参加するには、 AI Functions のパブリック プレビュー登録フォームを送信します。
2023 年 6 月 15 日
新機能:
- ジョブの SQL タスクが一般公開されました。 [ジョブ] ページからクエリ、ダッシュボード、およびアラートを調整できます。 「ジョブ用のSQLタスク」を参照してください。
- 新しいスキーマ ブラウザーがパブリック プレビューに追加され、更新された UX、 For You タブ、および改善されたフィルターが追加されました。 スキーマ ブラウザーは、Databricks SQL、カタログ エクスプローラー、ノートブックで使用できます。 データの参照を参照してください。
2023 年 6 月 8 日
DBSQL バージョン 2023.30 が利用可能
2023.30 の変更点
-
array_prepend(array, elem)、try_aes_decrypt(expr, key [, mode [, padding]])、sql_keywords()などの新しい SQL 組み込み関数。 - 簡易クローンを使用して、既存の Unity カタログ マネージド テーブルから新しい Unity カタログ マネージド テーブルを作成できるようになりました。 Unity カタログ テーブルの簡易クローンを参照してください。
-
CLONE、CONVERT TO DELTA、intの型の切り捨てられた列にパーティションが定義されている Iceberg テーブルで、longとstringを使用できるようになりました。decimal型の切り捨てられた列はサポートされていません。 -
START VERSIONは、ALTER SHAREでは非推奨になりました。
ユーザー インターフェイスの更新
修理する:
- カウンターの視覚化で、大きな整数を使用する場合の書式設定がサポートされるようになりました。
2023 年 6 月 1 日
機能強化:
- Arrowフォーマットを使用すると、バイナリデータが16進数文字列として表示されるようになりました。
- SQL ステートメント API では、CSV 形式が
EXTERNAL_LINKS処理でサポートされるようになりました。 これにより、クライアントは事前に署名された URL を使用して CSV 形式で最大 100 GiB のデータを抽出できます。一方、JSON のINLINE制限は 16 MiB です。
- Azure Databricks SQL Pro は、すべての中国リージョンで利用できます。 SQL Pro が UI の既定のウェアハウスになりました。 API の既定値は引き続きクラシックです。
2023 年 5 月 29 日
新機能:
- これで、データ追加 UI を使用して、Unity カタログの外部の場所として定義されているクラウド オブジェクト ストレージ パスからデータを読み込むことができます。 詳細については、「 Unity カタログの外部の場所を使用してデータを読み込む」を参照してください。
2023 年 5 月 25 日
機能強化:
- オートコンプリートの結果パネルを切り替えることができるようになりました。
- オートコンプリート候補を受け入れないように、 Enter キーを無効にします。 [ DBSQL ユーザー設定] で、[ エディターの設定] をクリックし、[ 新しいエディターの設定] をクリックします。 Enter キーをオフにすると 、オートコンプリート候補が受け入れられます。
修正:
- 並べ替えられたテーブル ヘッダーに色が付きます。
- グラフの線が正しく表示されるようになりました。
2023 年 5 月 18 日
改善:
- SQL ステートメント API では、
EXTERNAL_LINKSの処理でJSON_ARRAY形式がサポートされるようになりました。 事前に署名された URL を使用して、JSON 形式で最大 100 GiB のデータを抽出できます。 JSON のINLINE制限は 16 MiB です。
2023 年 5 月 11 日
新機能:
- スキーマ ブラウザーがカタログ エクスプローラーで一般提供されるようになりました。
機能強化:
- ホバーテーブルの詳細パネルの表示感度が低くなりました。
- これで、エスケープ キーによってオートコンプリート パネルが閉じられます。
- ビュー定義の [カタログ エクスプローラーの詳細] タブで構文が強調表示されるようになりました。
修正:
- ピボット テーブルが Windows デバイスで正しくレンダリングされるようになりました。
- 入力候補は、最初のキーワードの場合に正しく従うようになりました。
2023 年 5 月 4 日
Databricks SQL バージョン 2023.26 利用可能
ロールアウト スケジュール
- 2023.26 のプレビュー ロールアウト: 2023 年 4 月 19 日から 2023 年 4 月 25 日までの間
- 2023.26 の現在のロールアウト: 2023 年 5 月 3 日から 2023 年 5 月 10 日までの間
2023.26 の変更点
- クエリの計画と実行の間にファイルが変更された場合、Photon はエラーを返します。
- 予測 I/O 機能の新機能と拡張サポート。 「Databricks Runtime 13.0 (EoS)」を参照してください。
- Azure Databricks コネクタを使用して、別の Azure Databricks ワークスペースに接続します。
-
CREATE TABLE LIKEデルタ テーブルの機能。 - ファイル ブロックの開始と長さを説明する新しいメタデータ列フィールド。
- 新しい H3 地理空間関数。 「H3 地理空間の関数」を参照してください。
- 新しい SQL 組み込み関数。 「Databricks Runtime 13.0 (EoS)」を参照してください。
ユーザー インターフェイスの更新
機能強化:
- 管理者は、ユーザー インターフェイスまたは API を使用して倉庫所有者を変更できます。 「SQL ウェアハウスを管理する」を参照してください。
- カタログ エクスプローラーで、Unity カタログのアセットのユーザー リストにアカウント サービス プリンシパルが表示されるようになりました。 たとえば、アカウント サービス プリンシパルは、特権を編集したり、カタログ エクスプローラーで所有者を変更したりするときに表示されます。
- カスタム グラフ ラベルは、データセット内の任意の列を参照する機能をサポートします。
- カタログまたはスキーマ情報を持たないクエリを使用している場合でも、ダッシュボード フィルターで列名が読み込まれるようになりました。
2023 年 4 月 27 日
機能強化:
- SQL エディターは、より信頼性の高い編集エクスペリエンスのためにモナコ エディターに依存するようになりました。
- SQL 履歴リスト ページ (クエリ) に Dubois デザイン システムが含まれるようになりました。
2023 年 4 月 20 日
機能強化:
- 64,000 件を超える結果を集計できる新しいピボット テーブルが導入されました。
- Databricks SQL のテーブルと視覚化で、BigInt、38 ビットの 10 進数、および UTF-8 以外の文字がサポートされるようになりました。 数値の場合、既定の設定はユーザー定義の桁数の精度になります。
- オートコンプリートでは、Databricks Runtime 12.0 以降の Unity カタログ系列データを利用して、Unity カタログ テーブルの過去の結合が頻繁に提案されるようになりました。
新機能:
- ai_generate_textというプロンプトを与えた場合、選択した大規模言語モデル (LLM) によって生成されたテキストを返します。 この関数は、Databricks SQL Pro とサーバーレスでパブリック プレビューとしてのみ使用できます。 パブリック プレビューに参加するには、 AI Functions パブリック プレビュー登録フォームを設定して送信します。
2023 年 4 月 13 日
新機能:
-
TIMESTAMP_NTZ型は、年、月、日、時、分、秒の各フィールドで構成される値を表します。 タイム ゾーンに関係なく、すべての操作が実行されます。 「TIMESTAMP_NTZ型」を参照してください。
機能強化:
- ユーザーは、カスタム アラート メッセージの
QUERY_RESULT_TABLEタグを使用して、アラート内で書式設定された結果を送信できるようになりました。 - ユーザーは、カタログ エクスプローラーで Unity カタログ テーブルのファイル データ サイズを表示できるようになりました。
2023 年 4 月 6 日
Databricks SQL バージョン 2023.20 利用可能
ロールアウト スケジュール
- 2023.20 のプレビュー ロールアウト: 2023 年 3 月 15 日から 2023 年 3 月 23 日までの間
- 2023.20 の現在のロールアウト: 2023 年 3 月 27 日から 2023 年 4 月 3 日の間
2023.20 の変更点
- Delta Lake スキーマの進化では、マージ ステートメントでのソース列の指定がサポートされています。
- array_compactを使用して、配列からすべての NULL 要素を削除します。
- 配列に要素を追加するには、 array_appendを使用します。
- 機密性の高い文字列値を匿名化するには、 mask 関数を使用します。
- 一般的なエラー条件で SQLSTATE が返されるようになりました。
- クエリの通常の
FROM句でテーブル値ジェネレーター関数を呼び出します。 -
from_protobuf関数とto_protobuf関数を使用して、バイナリ型と構造体型の間でデータを交換します。 プロトコル バッファーの読み取りと書き込みを参照してください。 -
update、delete、およびmergeコマンドに関連する空のトランザクションに対するデルタ コミット動作の整合性が向上しました。 - 動作の変更
- 横列エイリアス機能では、名前解決中の動作の変更が導入されます。 「 動作の変更」を参照してください。
ユーザー インターフェイスの更新
機能強化:
- カタログ エクスプローラーで Hive メタストアの削除がサポートされるようになりました。
- 視覚化エディターの初期状態のメッセージが、[ 必要な列がありません ] から [ データなし] に変更されました。
2023 年 4 月 3 日
新機能:
- [ファイルのアップロードからテーブルを作成または変更する] ページで JSON ファイルのアップロードがサポートされるようになりました。 詳細については、「ファイルのアップロードを使用してテーブルを作成または変更する」を参照してください。
2023 年 3 月 30 日
機能強化:
- 倉庫の監視ページで、選択した時間範囲のクエリ履歴とスケーリング チャートを表示できるようになりました。 また、現在実行中のクエリとキューに登録されているクエリ、アクティブな SQL セッション、ウェアハウスの状態、および現在のクラスター数を表示することもできます。 「SQL Warehouse を監視する」を参照してください。
- マーカー マップでは、マップ クラスタリングが既定でオフになりました。
- 視覚化の切り捨てとレンダリングの制限に関するヒントが追加されました。
修正:
- 軸の値の並べ替えが無効で、グラフが列でグループ化された場合、グラフは元の順序を尊重するようになりました。
2023 年 3 月 23 日
機能強化:
- 視覚化が週単位で時間を区切る機能をサポートするようになりました。
-
Totalは、100 X 100 個のセルを超える範囲のすべてのデータを、ノートブックのピボットテーブルで最大 64,000 の結果まで計算するようになりました。 - ユーザーは、新しいノートブック のピボット テーブルのセル値の書式を設定できるようになりました。
- ファイル、クエリ、およびフィーチャ ストアの系列を使用できます。
2023 年 3 月 16 日
改善:
-
GROUP BY ALL構文のサポート。
2023 年 3 月 9 日
新機能:
- Databricks SQL ステートメント実行 API がパブリック プレビューで使用できるようになりました。 ステートメントの実行は、Databricks SQL ウェアハウスで SQL ステートメントを実行しているエンドポイントを提供します。 また、状態の確認、結果のフェッチ、実行中の SQL ステートメントの取り消しを行うこともできます。
改善:
- SQL 管理コンソールと一般的な管理設定を組み合わせて、管理者ユーザー向けの統合エクスペリエンスが作成されました。 すべての SQL 管理者設定に管理コンソールからアクセスできるようになりました。
- アラートの送信先が通知の宛先と呼ばれるようになりました。
修正:
- テーブルに 2 つのスクロール バーが表示されなくなりました。
- 空のウィジェット タイトルがダッシュボードで上書きされなくなりました。
2023 年 3 月 2 日
修理する:
- テーブルの相対 URL を使用してダッシュボードにアクセスできるようになりました。
2023 年 2 月 23 日
改善:
-
TINYINTは、ノートブックの結果テーブルでサポートされるようになりました。
修理する:
- ダッシュボードの作成フィルター モーダルでスクロールするとエラーが発生するバグを修正しました。
2023 年 2 月 16 日
機能強化:
- グラフ上のデータ ラベルに、説明の切り捨てを避けるために、より多くの文字が表示されるようになりました。
- オートコンプリートは、
range()および Python UDFcreate関数を認識するようになりました。 - オートコンプリートでは、小数部とコード コメント内でスニペットを開始することを回避できるようになりました。
修正:
- ユーザーはマップを拡大できるようになりました。
- ノートブックでは、色がグラフに正しく割り当てられるようになりました。
2023 年 2 月 2 日
機能強化:
- エディターでの
DESCRIBE DETAILSのサポート。 - スキーマ ブラウザーの読み込み速度が向上しました。
-
SELECT *のサイド パネルで、使用可能な列の一覧を表示できるようになりました。
2023 年 1 月 26 日
改善:
- クエリのエラー メッセージに、エラーを説明する関連ドキュメント トピックへのリンクが含まれるようになりました。
2023 年 1 月 19 日
機能強化:
- これで、主要な改善点が強調された「新着情報」パネルを見つけることができます。 このパネルを開いたり閉じたりするには、ギフト アイコンをクリックします。
- 管理者は SQL ウェアハウスの所有権を変更できるようになりました。
- [追加] をクリックし>フィルター処理するクエリと列を選択することで、ダッシュボード内の複数の視覚エフェクトをフィルター処理できるようになりました。
2023 年 1 月 12 日
機能強化:
- ダッシュボード上の視覚化ウィジェットのタイトルは、既定で [視覚化名] - [クエリ名] として書式設定されるようになりました。
- インライン パネル参照に H3 地理空間関数を追加しました。
-
CREATE TABLEやOVERなどの SQL 構文のインライン参照を追加しました。
修正:
- X 軸スケールを自動に設定すると、並べ替えと逆の切り替えができるようになりました。
- ヒート マップとピボット テーブルが、特定のエッジ ケースに対応するようになりました。
- カテゴリ Y 軸の目盛りは、既定で並べ替えられるようになりました。
- ブラウザーの更新を実行した後、クエリの下書きが失われなくなりました。