次の方法で共有

Databricks SQL リリースノート 2021

次に、2021 年 1 月から 12 月までの Databricks SQL の機能強化と更新について説明します。

2021 年 12 月 15 日

  • Databricks SQL は一般公開されています。 これは、データ、AI、BI のワークロードを 1 か所で統合する最初の Lakehouse プラットフォームを提供する際の大きなマイルストーンです。 GA を使用すると、ミッション クリティカルなワークロードに対する Databricks の最高レベルの安定性、サポート、エンタープライズ対応性を期待できます。 詳細については、 GA のお知らせブログ を参照してください。
  • これで、クエリとは別にアラートがスケジュールされるようになりました。 新しいアラートを作成してクエリを作成すると、アラートのスケジュールも作成するように求められます。 既存のアラートがある場合は、元のクエリからスケジュールが複製されています。 この変更により、 所有者として実行 クエリと ビューアー 実行クエリの両方にアラートを設定することもできます。 所有者として実行 クエリは、クエリ所有者の資格情報を使用して、指定されたアラート スケジュールで実行されます。 指定されたアラート スケジュールに対して、アラート作成者の資格情報を使用してビューアー クエリを実行します。 Databricks SQL アラートとクエリのスケジュールを参照してください。
  • SQL エディターとダッシュボードの両方でパラメーターの順序を変更できるようになりました。
  • ヒートマップの視覚化を作成するためのドキュメントが拡張されました。 ヒートマップ オプションを参照してください。

2021 年 12 月 9 日

  • テーブルの視覚エフェクトを作成するときに、列のフォントの色を静的な値または列のフィールドの値に基づく値の範囲に設定できるようになりました。 リテラル値は、しきい値と比較されます。 たとえば、値が500000を超える結果を色分けするには、> 500000ではなく、しきい値> 500,000を作成します。 「 列の色を条件付きで書式設定する」を参照してください。
  • タブ付き SQL エディター スキーマ ブラウザーのアイコンを使用して、テーブルとビューを区別できるようになりました。

2021 年 12 月 1 日

  • ワークスペース レベルで SQL 構成パラメーターを適用できるようになりました。 これらのパラメーターは、ワークスペース内のすべての既存および新しい SQL エンドポイントに自動的に適用されます。 SQL パラメーターの構成を参照してください。

2021 年 11 月 18 日

  • クエリの履歴を表示するときに、クエリを実行したサービス プリンシパルでクエリをフィルター処理できるようになりました。 クエリ履歴を表示を参照してください。
  • サイドバーのショートカットを使用して、SQL エディターを開くようになりました。 SQL エディターを開くには、[ SQL エディター] をクリックします。
  • データ サイエンス & エンジニアリング クラスターを作成するアクセス許可がある場合は、サイドバーで [ 作成 ] をクリックし、[SQL エンドポイント] をクリックして SQL エンドポイントを作成できるようになりました。
  • 管理者は、UI を使用して、クエリ、ダッシュボード、またはアラートの所有権を別のユーザーに譲渡できるようになりました。 参照:
  • クエリの所有権を譲渡する
  • レガシ ダッシュボードの所有権を譲渡する
  • アラートの所有権を譲渡する

2021 年 11 月 4 日

  • マップ (Choropleth) の視覚化で、凡例の色のグラデーション ステップの最大数が 11 から 20 に増えました。 既定値は、 最小色 と 最大色を含む 5 つのグラデーションステップです。
  • タブ付き SQL エディターで一括タブ管理がサポートされるようになりました。 タブを右クリックすると、[他のタブを 閉じる]、[ 左を閉じる]、[右に 閉じる]、[ すべて閉じる] のオプションが表示されます。 最初または最後のタブを右クリックしても、[ 左に閉じる ] または [右に 閉じる] のオプションは表示されません。

2021 年 10 月 28 日

  • カタログ エクスプローラーでテーブルを表示する場合、テーブルの操作を簡略化するための 2 つのオプションがあります。
  • [ Create > Query ]\(クエリの作成\) をクリックして、すべての列を選択し、最初の 1,000 行を返すクエリを作成します。
  • [ Create > Quick Dashboard ]\(クイック ダッシュボードの作成\) をクリックして構成ページを開きます。このページでは、目的の列を選択し、それらの列を使用していくつかの基本情報を提供するダッシュボードとサポート クエリを作成し、ダッシュボード レベルのパラメーターやその他の機能を紹介できます。

2021 年 10 月 19 日

  • タブ付きエディターで新しいキーボード ショートカットを使用できるようになりました。
  • 新しいタブを開く:
    • ウィンドウズ： Cmd+Alt+T
    • Mac: Cmd+Option+T
  • 現在のタブを閉じる
    • ウィンドウズ： Cmd+Alt+W
    • Mac: Cmd+Option+W
  • クエリ ダイアログを開く
    • ウィンドウズ： Cmd+Alt+O
    • Mac: Cmd+Option+O

2021 年 9 月 23 日

  • ダッシュボードとすべてのアップストリーム クエリに対する CAN RUN、CAN EDIT、CAN MANAGE のアクセス許可がある限り、既存のダッシュボードを複製して新しいダッシュボードを作成できるようになりました。 「 従来のダッシュボードを複製する」を参照してください。
  • 複数の Y 軸列を含む視覚エフェクトで GROUP BY を使用できるようになりました。 散布図を参照してください。
  • {{ @@yPercent}}を使用して、正規化されていない積み上げ横棒グラフのデータ ラベルを書式設定できるようになりました。 横棒グラフを参照してください。
  • SAML 認証を使用し、SAML 資格情報の有効期限が数分以内に切れる場合、クエリを実行するかダッシュボードを更新する前に、再度ログインするように事前に求められます。 これは、クエリの実行中に有効期限が切れる資格情報による中断を防ぐのに役立ちます。

2021 年 9 月 20 日

  • アクセス許可 REST API を使用して、ダッシュボード、クエリ、およびアラートの所有権を譲渡できるようになりました。 「クエリ ACL」を参照してください。

2021 年 9 月 16 日

  • クエリ結果では、 BIGINT 結果は、9007199254740991より大きい場合に文字列としてシリアル化されるようになりました。 これにより、クエリ結果で BIGINT 結果が切り捨てられる可能性がある問題が修正されます。 その他の整数の結果は、引き続き数値としてシリアル化されます。 軸ラベルとツールヒントの数値書式は、文字列としてシリアル化 BIGINT 結果には適用されません。 Databricks SQL のデータ型の詳細については、「 BIGINT 型」を参照してください。

2021 年 9 月 7 日

Databricks は、1 週間の間に続く変更をロールアウトしています。 ワークスペースは、9 月 7 日以降まで、これらの変更に対して有効にならない場合があります。

  • Databricks SQL がパブリック プレビューになり、新しいワークスペース内のすべてのユーザーに対して有効になりました。

注

パブリック プレビュー期間中、つまり 2021 年 9 月 7 日から始まる週の前に、ワークスペースが Databricks SQL に対して有効になっていた場合、ユーザーは変更しない限り、その日付より前に割り当てられた権利を保持します。 つまり、パブリック プレビュー中にユーザーが Databricks SQL にアクセスできなかった場合、管理者がアクセス権を付与しない限り、ユーザーは Databricks SQL にアクセスできなくなります。

  • 管理者は、Databricks SQL アクセス権 (API で) をユーザーまたはグループに割り当てることで、databricks-sql-accessできるユーザーを管理できます。 既定では、新しいユーザーはこの権利を持っています。

管理者は、ユーザーまたはグループが Databricks SQL のみにアクセスすることを制限し、ユーザーまたはグループから ワークスペース アクセス 権 (API 内のworkspace-access ) を削除することで、データ サイエンス & エンジニアリングまたは Databricks Mosaic AI にアクセスできないようにすることができます。 既定では、新しいユーザーはこの権利を持っています。

Von Bedeutung

Azure Databricks にログインしてアクセスするには、ユーザーが Databricks SQL アクセス 権または ワークスペース アクセス 権 (またはその両方) を持っている必要があります。

  • スターター エンドポイントと呼ばれる小さなクラシック SQL エンドポイントはすべてのワークスペースで事前に構成されているため、ダッシュボード、視覚化、クエリの作成をすぐに開始できます。 より複雑なワークロードを処理するには、(待機時間を短縮するために) サイズを簡単に増やすか、基になるクラスターの数 (より多くの同時実行ユーザーを処理するため) を簡単に増やすことができます。 コストを管理するために、スターター エンドポイントは、アイドル状態の 120 分後に終了するように構成されます。

2021 年 9 月 2 日

  • ダッシュボードの CAN EDIT アクセス許可を持つユーザーは、ダッシュボードの更新スケジュールとサブスクリプションの一覧を管理できるようになりました。 以前は、CAN MANAGE アクセス許可が必要でした。 詳細については、「 ダッシュボードを自動的に更新する」を参照してください。
  • 既定では、視覚エフェクトは返された結果の数に基づいて動的にサイズ変更されなくなりましたが、結果の数に関係なく同じ高さを維持します。 前の動作に戻り、動的なサイズ変更を行う視覚エフェクトを構成するには、ダッシュボードの視覚エフェクトの設定で パネルの高さの動的なサイズ変更 を有効にします。 詳細については、「 テーブルオプション」を参照してください。
  • 同じアカウント内の複数のワークスペースにアクセスできる場合は、Databricks SQL 内からワークスペースを切り替えることができます。 Azure Databricks ワークスペースの左下隅にある [ アカウント アイコン ] をクリックし、切り替えるワークスペースを選択します。

2021 年 7 月 1 日

  • 新しいカタログ エクスプローラーを使用すると、データベースとテーブルに対するアクセス許可を簡単に調べて管理できます。 ユーザーは、スキーマの詳細の表示、サンプル データのプレビュー、テーブルの詳細とプロパティの表示を行うことができます。 管理者はデータ オブジェクトの所有者を表示および変更でき、データ オブジェクトの所有者はアクセス許可の付与と取り消しを行うことができます。 詳細については、「 カタログ エクスプローラーとは」を参照してください。
  • 横グラフの Y 軸は、テーブルと同じ順序を反映するように更新されました。 以前に逆順を選択した場合は、[Y 軸] タブの [ 逆順 ] トグルを使用して、新しい順序を元に戻すことができます。

2021 年 6 月 23 日

  • サービス プリンシパルを使用して SQL エンドポイントを簡単に構成できます。 グローバル SQL エンドポイント設定でサービス プリンシパルを構成するのに役立つコントロールが追加されました。 サービス プリンシパルの構成を参照してください。
  • 一時ビューがサポートされるようになりました。

2021 年 6 月 17 日

  • Databricks の新しいベクター化された実行エンジンである Photon は、新しく作成された SQL エンドポイント (UI と REST API の両方) に対して既定でオンになっています。 Photon の透過的な高速化
    • Parquet テーブルと Delta テーブルに書き込みます。
    • 多くの SQL クエリ。 「制限事項」を参照してください。
  • CREATE GROUP、DROP GROUP、ALTER GROUP、SHOW GROUPS、およびSHOW USERSコマンドを使用して、ユーザーとグループを簡単に管理できます。 詳細については、「セキュリティ ステートメント」および「Show ステートメント」を参照してください。
  • クエリ エディター のスキーマ ブラウザー は、100 を超えるテーブルを含むスキーマでは、より迅速かつ高速です。 このようなスキーマでは、スキーマ ブラウザーはすべての列を自動的に読み込むわけではありません。テーブルの一覧は引き続き通常どおり表示されますが、列はテーブルをクリックしたときにのみ読み込まれます。 この変更はクエリ エディターのクエリ オートコンプリートに影響します。これは、候補を表示するためにこの情報に依存するためです。 テーブルを展開してその列を読み込むまでは、これらの候補は使用できません。

2021 年 6 月 3 日

  • 新しく有効になった Azure Databricks ワークスペースの管理者は、既定で Databricks SQL の権利を受け取るようになり、管理コンソールを使用して Databricks SQL アクセス権を自分自身に付与する必要がなくなりました。
  • Photon はパブリック プレビュー段階になり、新しい SQL エンドポイントに対して既定で有効になっています。
  • マルチクラスターの負荷分散は、パブリック プレビュー段階になりました。
  • CAN EDIT アクセス許可を使用して、組織の他のメンバーとのダッシュボードとクエリのコラボレーションを有効にできるようになりました。 「アクセス制御リスト」を参照してください。

2021 年 5 月 26 日

  • SQL Analytics は Databricks SQLという名前に変更されました。 この変更には、次のような顧客向けの影響があります。

    • Web UI の参照が更新されました。

    • Databricks SQL へのアクセスを許可する権利の名前が変更されました。

      • UI: [Databricks SQL アクセス](以前の [SQL 分析アクセス])
      • SCIM API: databricks-sql-access (以前の sql-analytics-access)

      以前の権利を持つユーザー、グループ、およびサービス プリンシパルは、新しいエンタイトルメントに移行されました。

    • Databricks SQL に関連する 監査ログ イベント のタグが変更されました。

      • Databricks SQL イベントのプレフィックスが databrickssqlになりました。
      • changeSqlAnalyticsAcl は changeDatabricksSqlAcl になりました。

  • ダッシュボードの更新

    • ダッシュボードのエクスポート ファイル名が、UUID ではなくダッシュボードとタイムスタンプの名前に更新されました。
    • エクスポート レコードの制限が 22k から 64k に引き上げされました。

2021 年 5 月 13 日

  • Databricks SQL では、列の型の推測が試みなくなりました。 以前は、 xxxx-yy-dd 形式の列は、識別コードであっても、自動的に日付として扱われました。 これで、その列は自動的に日付として扱われなくなりました。 必要に応じて、クエリで指定する必要があります。 この変更により、以前の動作に依存していた一部の視覚化が機能しなくなる可能性があります。 このリリースでは、 ユーザー設定アイコン>Settings>Backwards 互換性 オプションを変更して、以前の動作に戻すことができます。 今後のリリースでは、その機能を削除します。

  • クエリ エディターにクエリの進行状況インジケーターが表示されるようになりました。 状態の変更が継続的に更新された進行状況バーに表示されるようになりました。

    進行状況バー

修正された問題

  • SQL エディター。 SQL エディターでは、クエリ タブを切り替えるときに、選択したテキストとスクロール位置が保持されるようになりました。
  • SQL エディター。 SQL エディターでクエリの [実行] をクリックし、別のページに移動し、クエリの実行中に戻ると、エディターに正しいクエリ状態が表示されます。 別のページにいる間にクエリが完了すると、SQL エディター ページに戻るとクエリの結果が表示されます。
  • MySQL 8.0 を外部メタストアとして使用できるようになりました。
  • DESCRIBE DETAIL Delta テーブルのコマンドが失敗しなくなりました java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
  • INT96タイムスタンプを持つ Parquet ファイルの読み取りが失敗しなくなりました。
  • ユーザーがクエリに対する CAN RUN アクセス許可を持ち、それを実行すると、クエリが別のユーザーによって作成された場合、クエリ履歴にはクエリのランナーがユーザーとして表示されます。
  • グラフのレンダリング時に Null 値が無視され、グラフの使いやすさが向上しました。 たとえば、以前は、null 値が存在する場合、横棒グラフの棒は非常に小さく表示されていました。 これで、軸は null 以外の値のみに基づいて設定されます。
  • Last updated on