レイクハウス Real-Time

Important

この機能は ベータ版です。 Databricks アカウント チームに連絡して、アカウントでこの機能を有効にします。

Lakehouse//RT は開発中です。 パフォーマンス特性とサポートされている機能セットは、一般公開前に変更されます。

Lakehouse Real-Time (Lakehouse/RT) は、カスタム アプリケーションへの分析データの提供、運用分析の実行、数百から数千人の同時実行ユーザーに対する 1 秒未満の応答を必要とする BI ダッシュボードの強化など、待機時間が短くコンカレンシーの高いユース ケース用に構築されたサーバーレス コンピューティングです。

Lakehouse//RT では、クラウド ストレージで Delta Lake 形式または Apache Iceberg 形式を使用する Unity カタログ テーブルに対する SQL 読み取りクエリで 1 秒未満の待機時間が提供されます。 他の SQL ウェアハウスと同様に、Lakehouse//RT を作成して管理します。 ワークスペース管理者または特権ユーザーは、ワークスペースごとに 1 つ以上を作成し、ユーザーにアクセス許可を割り当てます。

Requirements

Lakehouse//RT を使用するには、次の手順を実行する必要があります。

ワークスペースで Lakehouse//RT を有効にする

ワークスペース管理者は、ワークスペースで Lakehouse//RT Beta を有効にすることができます。

  1. ワークスペース メニュー (右上隅) で、[プレビュー] に移動 します。
  2. Lakehouse RT を検索します。
  3. プレビューを有効にします。

プレビューを有効にすると、ワークスペースの SQL ウェアハウス作成フローで リアルタイム ウェアハウスの種類が使用できるようになります。

Lakehouse//RT ウェアハウスを作成

Lakehouse//RT ウェアハウスを作成するには:

  1. Compute>SQL Warehouses>Create SQL Warehouse に移動します。
  2. [リアルタイム] を選択します。
  3. クエリのサイズを選択してください:小、中、大、またはX-ラージで、クエリに必要なパフォーマンスに応じて。
  4. オートスケーリングを設定して、時間あたりに請求できる最大DBU数を決定してください。
  5. 自動 停止 をアイドル倉庫が停止した時の制御に設定してください。
  6. 倉庫の名前を入力します。
  7. Create をクリックしてください。

アクセス許可を割り当てるには、SQL ウェアハウスと同じように、[ 使用できる]、[ 監視可能]、または [ 管理可能 ] をユーザーとグループに付与します。

Note

現在、既存の SQL ウェアハウスを Lakehouse//RT にアップグレードしたり、既存の Lakehouse//RT ウェアハウスを別の種類のウェアハウスにダウングレードしたりすることはできません。

レイクハウス/RT倉庫のサイズとスケール

Lakehouse//RTにはパフォーマンスとコストを制御する設定があります:

  • クエリサイズは 、単一のクエリで利用可能な計算量を制御します。
  • オートスケーリング は、並行クエリに対応するためにウェアハウスがどれだけスケールアウトするかを制御します。
  • 自動停止 は、アイドル状態のウェアハウスが停止するまでの稼働時間を制御します。

クエリサイズや自動スケーリングは、サーバーレスSQLウェアハウスのサイズやスケーリング設定とは異なる仕組みです。

クエリサイズ

クエリサイズは、単一のクエリが使用できる最大計算量を決定し、これが個々のクエリの実行速度を決定します。 また、倉庫が稼働している間に稼働する最小計算量と請求される最低値も設定します。

クエリサイズはウェアハウスを作成するときに設定します。 スモール、ミディアム、ラージ、またはXラージを選びましょう。 サイズが大きいほど、各クエリの計算量が増え、より高速な結果が得られ、最小コストも高くなります。

この設定は、サーバーレスSQLウェアハウスのサイズに似ており、同じく単一のクエリで利用可能な計算量を設定します。

Autoscaling

オートスケーリングは、倉庫がより多くの同時クエリに対応するための計算を追加し、需要が減少するとそれを解放できるようにします。 倉庫が最大までスケールできる計算量(DBU単位)を設定します。

Lakehouse//RTでのオートスケーリングは、サーバーレスSQLウェアハウスでのクラスタースケーリングといくつかの点で異なります。

  • これはクラスターではなくDBU単位で測定されます。
  • 最大値はクエリサイズに依存しません。 小さなクエリサイズと高い最大値を組み合わせることで、各クエリに計算量を増やすことなく高い同時実行性を得ることができます。
  • Lakehouse//RTのオートスケーリングは、クラスタ単位ではなく必要な計算量だけを追加・削除します。

倉庫のスケールアップを確認するには、 そのモニタリングページを使ってください。

オートストップ

設定した時間 (分単位) にわたってウェアハウスがアイドル状態になると自動停止によってウェアハウスが停止されるため、アイドル状態のウェアハウスに料金が継続発生することはありません。 倉庫を作成するときにアイドルタイムアウトを設定します。

Lakehouse//RTの自動停止はサーバーレスSQLウェアハウスと同じように動作します。 デフォルト値と最小値については 、「SQL ウェアハウス設定の設定」を参照してください。

Lakehouse//RT アクティビティを監視する

Lakehouse//RT クエリは、SQL ウェアハウスで実行されるクエリと同じように監視できます。

  • クエリ履歴: Lakehouse//RT クエリは、 クエリ履歴 UI と クエリ履歴システム テーブルに表示されます。
  • クエリ プロファイル: クエリ履歴 UI で Lakehouse//RT クエリを開き、 そのクエリ プロファイルを表示します。
  • [監視] ページ: 各 Lakehouse//RT ウェアハウスの 監視ページ で、クエリのスループット、キューに登録されたクエリ、およびクエリ履歴を監視します。
  • 請求: Lakehouse//RT の使用状況は、sku_name の Lakehouse_Serverless で課金システム テーブルに表示されます。

ベスト プラクティス

Lakehouse//RT から最適な結果を得るには、ワークロードを移動する前に準備します。

  • 最初にサーバーレス SQL で検証します。 サーバーレス SQL ウェアハウスでクエリを実行し、数秒で実行されることを確認します。
  • Unity カタログのマネージド テーブルを使用します。 予測最適化と液体クラスタリングを備えたマネージド テーブルにより、ワークロード パターンに合わせてデータが適切にクラスター化されます。
  • クエリに十分な選択性があることを確認します。 2 秒未満の待機時間の場合は、クエリのスキャン量が少ないことを確認します。 WHERE句を使用して早期にフィルター処理し、必要な列のみを選択し、集計に頼ります。 テーブル間の結合はサポートされていますが、クエリが複雑になったり遅くなったりする場合は、待機時間を短縮するためにデータを事前に集計する具体化されたビューの使用を検討してください。
  • SQL カバレッジを確認する。 Lakehouse//RT では、ANSI 準拠の読み取りクエリのみがサポートされます。 ワークロードが ANSI に準拠 していることを確認し、[ 制限事項] に記載されているサポートされていないステートメント、関数、およびデータ型を回避します。

サポートされている機能

ツールとインターフェイス

次のいずれかのAzure Databricks機能で、コンピューティング ピッカーから Lakehouse//RT を選択できます。

  • SQL エディター
  • SQL ノートブック
  • AI/BI ダッシュボード
  • カタログ エクスプローラー
  • Alerts

テーブルの種類

Lakehouse//RT では、Unity カタログ データのみがクエリされます。 パフォーマンスを最大限に高めるには、Unity カタログのマネージド テーブルを使用します。このテーブルでは、待機時間を短くするために必要なデータ レイアウトがエンジンに提供されます。

Lakehouse//RT では、次のテーブルの種類がサポートされています。

  • マネージド テーブル (Delta Lake テーブルと Apache Iceberg テーブル)
  • 具体化されたビューとストリーミング テーブル
  • メトリック ビュー

Connectivity

Lakehouse//RT は 、ステートメント実行 API を使用する接続のみを受け入れます。 従来の Thrift プロトコルはサポートされていないため、ステートメント実行 API を明示的に使用せずに接続するドライバーは、 501 エラーを受け取ります。

Lakehouse//RT ウェアハウスには、次の方法で接続できます。

Pricing

価格については、 Lakehouse Real-Time の価格 に関するページを参照してください。

Limitations

クエリでサポートされていない機能が使用されている場合、Lakehouse//RT は機能の名前付けエラーを返します。 クエリを正常に実行するには、代わりにサーバーレス SQL ウェアハウスを使用します。

ツールと機能

Lakehouse//RT では、次の機能はまだサポートされていません。

  • Genie
  • Genie エージェント
  • ジョブ タスク

テーブルの種類

次の表の種類はまだサポートされていません。

  • システム テーブル
  • Delta Sharing テーブル
  • Unity カタログの既定のストレージ内のテーブル
  • Unity カタログの外部テーブル

Lakehouse//RT では、次のテーブルの種類はサポートされていません。

  • Hive メタストア内のテーブル（マネージド テーブルまたは外部テーブル）
  • 外部テーブルとクエリ フェデレーション (レイクハウス フェデレーション)
  • 一時テーブル
  • 他のデータ形式 (CSV、JSON、Avro、Parquet、ORC、およびテキスト) を使用するテーブル

ドライバーとコネクタ

Lakehouse//RT では、次のドライバーとコネクタはサポートされていません。

  • ADBC
  • ODBC

SQL 言語

Lakehouse//RT では、 ANSI モード でのみ SQL 読み取りクエリが実行されます。 厳密な ANSI SQL 規則に従って、すべての暗黙的な型強制とキャストが評価され、この動作は無効にできません。 ANSI セマンティクスでは、ANSI 以外の動作に依存するクエリは次の場合があります。

  • NULL を黙って生成するのではなく、実行時エラーを発生させる。 たとえば、数値以外の文字列を数値にキャストします。
  • 安全な共通型がない場合は、分析時エラーを発生させます。 たとえば、COALESCE、CASE、IN、または互換性のない型間での集合演算。
  • ANSI 文字列の昇格と数値の拡大は安全で無損失の型を選択するため、レガシ モードとは異なる結果の型を返します。

予測可能な結果を得るには、ANSI モードの暗黙的な変換で予期した動作が生成されない場合は、明示的な CAST 式を使用します。

Lakehouse//RT では、次の機能はサポートされていません。

  • データ型:GEOGRAPHYデータ型とGEOMETRYデータ型。
  • 関数：AI 関数、Python UDF、空間 SQL 関数、XPath および XML 関数。
  • ガバナンス： 行レベルのセキュリティと列マスクを含む属性ベースのアクセス制御 (ABAC)。

Lakehouse//RT は読み取り (SELECT) クエリ専用です。 次のような書き込みコマンドと ETL コマンドはサポートされていません。

  • 書き込み操作:INSERT、UPDATE、DELETE、MERGE、およびCREATE TABLE AS SELECT（CTAS）。
  • DDL:CREATE、 ALTER、 DROP、およびオブジェクトを作成または変更するその他のステートメント。
  • セキュリティ ステートメント:GRANT と REVOKE。
  • スクリプト、ストアド プロシージャ、一時テーブル、および複数ステートメント トランザクション。
  • Delta Lake のメンテナンス:OPTIMIZE、 ANALYZE、 VACUUM、および REFRESH。

ネットワークのセキュリティ

Important

Lakehouse//RTはAzure Databricksのサーバーレスコンピュート上で動作します。 サーバーレス計算からアクセスを許可しつつ、クラウドストレージの周りにファイアウォールを作成するには、「 サーバーレス計算アクセスのためのファイアウォールの設定」を参照してください。 従来のファイアウォール設定方法は最近廃止されました。 もしまだ使われているなら、サーバーレスコンピュートはストレージにアクセスしようとした際に 403 Forbidden エラーを返すことがあります。

Lakehouse//RT では、次のネットワーク構成はまだサポートされていません。

Compliance

コンプライアンス セキュリティ プロファイル は現在サポートされていません。

  • Last updated on