SQL ウェアハウスの種類

[アーティクル]
04/11/2024

Databricks SQL では、次の種類の SQL ウェアハウスがサポートされています:

サーバーレス
良い点
クラシック

SQL ウェアハウスの種類ごとに、パフォーマンス機能が異なります。次の表では、SQL ウェアハウスの種類ごとに、サポートされているパフォーマンス機能を示します。

	Photon エンジン	予測 AI	インテリジェントワークロード管理
サーバーレス	x	X	x
Pro	x	x
クラシック	x

次の一覧では、各パフォーマンス機能を説明します:

Photon: Databricks 上の、ネイティブのベクター化されたクエリエンジンです。これにより、既存の SQL とデータフレーム API 呼び出しが高速化され、ワークロードごとの総コストが減少します。
予測 IO: SQL クエリでの選択的スキャン操作を高速化するための一連の機能です。予測 IO では、さまざまな高速化を実現できます。
インテリジェントワークロード管理 (IWM): Databricks SQL Serverless での大量のクエリを迅速かつコスト効率よく処理する能力を高める、一連の機能です。 IWM では、AI を利用した予測と動的な管理の手法を使って、ワークロードで適切な量のリソースが迅速に確保されるよう試みられます。重要な違いは、静的なしきい値を使うのではなくワークロードの需要に動的に対応する、Databricks SQL の AI 機能にあります。

Note

各ウェアハウスの種類に対する価格と詳細な機能の比較については、「Databricks SQL」を参照してください。 Databricks SQL の最新機能については、「Databricks SQL リリースノート」を参照してください。

SQL ウェアハウスの種類によるパフォーマンスの違い

SQL ウェアハウスの種類ごとに、パフォーマンス特性が異なります。

サーバーレス SQL ウェアハウス

サーバーレス SQL ウェアハウスでは、Azure Databricks サーバーレスアーキテクチャが使われており、Databricks SQL のすべてのパフォーマンス機能がサポートされています。サーバーレス SQL ウェアハウスとそのパフォーマンス機能により、次のことを実現できます:

起動時間が短くなる (通常は 2 から 6 秒)。
待ち時間の短縮を維持することが必要な場合に、より多くのコンピューティングを取得するための迅速なアップスケーリング。
クエリの受け入れが仮想マシンではなくハードウェアの上限に近くなる。
需要が低い場合にコストを最小限に抑える迅速なダウンスケールにより、最適化されたコストとリソースで一貫したパフォーマンスを提供します。

最適な起動パフォーマンスと最も効率的な IO を実現し、時間の経過と共に大きく変化するクエリ要求をよりスマートに処理し、クエリキューが発生したときに迅速に自動スケーリングを行うには、サーバーレス SQL ウェアハウスをお選びください。サーバーレスの自動スケーリングとクエリキューに関するページをご覧ください。

サーバーレス SQL ウェアハウスは、次の種類のワークロードに適しています:

ETL
Business intelligence
調査分析

重要

SQL ウェアハウスでは、資格情報のパススルーはサポートされていません。 Databricks では、データガバナンスに Unity Catalog を使用することをお勧めします。「Unity Catalog とは」を参照してください。

Pro SQL ウェアハウス

プロ SQL ウェアハウスでは、Photon と予測 IO はサポートされていますが、インテリジェントワークロード管理はサポートされていません。サーバーレス SQL ウェアハウスとは異なり、プロ SQL ウェアハウスでは、コンピューティングレイヤーは Azure Databricks アカウントではなく Azure サブスクリプションアカウントにあります。結果として、プロ SQL ウェアハウスでは、インテリジェントワークロード管理がサポートされていません。そのため、時間の経過と共に大きく変化するクエリ要求への応答性が低くなり、自動スケーリングをサーバーレス SQL ウェアハウスほど迅速には行えません。プロ SQL ウェアハウスは、起動 (通常は約 4 分) やスケールアップとスケールダウンに数分かかり、サーバーレス SQL ウェアハウスよりも応答性が低くなります。プロおよびクラシック SQL ウェアハウスのキューと自動スケーリングに関するページをご覧ください。

次の場合にはプロ SQL ウェアハウスをお使いください:

サーバーレス SQL ウェアハウスがリージョン内で使用できない。
カスタム定義のネットワークがあり、フェデレーションまたはハイブリッド型アーキテクチャのためにクラウドまたはオンプレミスのネットワーク内のデータベースに接続する必要がある。たとえば、イベントバスやデータベースなど、他のサービスをネットワークに配置する場合や、ネットワークをオンプレミスネットワークに接続する必要がある場合に Pro SQL ウェアハウスを使用します。

クラシック SQL ウェアハウス

クラシック SQL ウェアハウスでは、Photon はサポートされていますが、予測 IO とインテリジェントワークロード管理はサポートされていません。 (サーバーレス SQL ウェアハウスとは異なり) クラシック SQL ウェアハウスでは、コンピューティングレイヤーは Azure Databricks アカウントではなく Azure サブスクリプションアカウント内に存在します。予測 IO やインテリジェントワークロード管理がサポートされていない、クラシック SQL ウェアハウスでは、エントリレベルのパフォーマンスのみが提供され、サーバーレスまたはプロ SQL ウェアハウスよりもパフォーマンスが低くなります。クラシック SQL ウェアハウスも、起動 (通常は約 4 分) やスケールアップとスケールダウンに数分かかり、サーバーレス SQL ウェアハウスよりも応答性が低くなります。プロおよびクラシック SQL ウェアハウスのキューと自動スケーリングに関するページをご覧ください。

エントリレベルのパフォーマンスと Databricks SQL 機能でデータ探索のために対話型クエリを実行するには、クラシック SQL ウェアハウスをお使いください。

Note

SQL ウェアハウスのサイズ設定と、SQL ウェアハウスでクエリキューに対応したスケーリングがどのように行われるかについては、プロおよびクラシック SQL ウェアハウスでのキューと自動スケーリングに関するページをご覧ください。

ウェアハウスの種類の既定値は

サーバーレス SQL ウェアハウスをサポートし、要件を満たすリージョン内のワークスペースの場合:

UI を使用すると、既定の SQL ウェアハウスの種類はサーバーレスになります。
SQL warehouses API を既定のパラメーターで使用すると、既定の SQL ウェアハウスの種類はクラシックになります。サーバーレスを使用するには、enable_serverless_compute パラメーターを true に設定し、さらに warehouse_type を pro に設定します。このワークスペースで SQL warehouses API を使用して 2022 年 11 月 1 日から 2023 年 5 月 19 日の間にウェアハウスを作成し、サーバーレス SQL ウェアハウスの要件に適合する場合、既定値は true に設定されたままになります。特に多くのワークスペースを持つ組織は、あいまいさを避けるために、Databricks では常にこのフィールドを設定することをお勧めします。
ワークスペースでレガシ外部 Hive メタストアが使用されている場合、サーバーレス SQL ウェアハウスはサポートされません。既定の SQL ウェアハウスの種類は、サーバーレスコンピューティングが無効になっている場合と同じであり、UI ではプロ、API を使用するとクラシックです。また、Unity Catalog やその他のオプションの詳細については、Azure Databricks アカウントチームにお問い合わせください。

サーバーレス SQL ウェアハウスをサポートしていないワークスペースの場合:

UI を使用すると、既定の SQL ウェアハウスの種類はプロになります。
SQL warehouses API を既定のパラメーターで使用すると、既定の SQL ウェアハウスの種類はクラシックになります。

次の方法で共有