Microsoft Fabric のデータ ウェアハウスとは
適用対象:
Microsoft Fabric の SQL 分析エンドポイントおよびウェアハウス
Microsoft Fabric は、完全な SaaS で修飾されたデータ、分析、AI プラットフォームを提供することで、データ資産のあらゆる側面に対応する統合製品を顧客に提供します。これは、レイク中心でオープンなものです。 Microsoft Fabric の基盤により、初心者のユーザーは、経験豊富なプロフェッショナルが、Microsoft OneLake との豊富で使いやすく共有された SaaS エクスペリエンスを中心に、データベース、分析、メッセージング、データ 統合、ビジネス インテリジェンスのワークロードを活用できます。
任意のスキル レベル用に構築されたレイク中心の SaaS エクスペリエンス
Microsoft Fabric では、エンタープライズ グレードの分散処理エンジンに基づいて構築されたレイク中心のデータ ウェアハウスが導入されています。これにより、業界をリードするパフォーマンスを大規模に実現しながら、構成と管理が不要になります。 Microsoft Fabric のウェアハウスは、Power BI と緊密に統合された使いやすい SaaS エクスペリエンスを通じて、分析資産への組織の投資を大幅に簡素化することを目標に、データ レイクとウェアハウスの世界を収束させます。 データ ウェアハウス ワークロードは、オープン データ形式で SQL エンジンの豊富な機能を利用できるため、お客様は Microsoft OneLake に格納されているデータの単一コピーに対してデータの準備、分析、レポートに集中できます。
ウェアハウスは、市民開発者からプロの開発者、DBA、またはデータ エンジニアまで、あらゆるスキル レベル用に構築されています。 Microsoft Fabric ワークスペースに組み込まれている豊富なエクスペリエンス セットを使用すると、DirectLake モードで Power BI と統合された、簡単に使用可能で常に接続されたセマンティック モデルを使用できるため、分析情報への時間を短縮できます。 これにより、どこにも負けない業界トップのパフォーマンスを実現し、顧客のレポートに分析とレポート用の最新のデータが常に含まれるようにします。 データベース間クエリを利用して、複数のデータベースにまたがる複数のデータ ソースを迅速かつシームレスに活用して、迅速な分析情報とデータ重複ゼロを実現できます。
データベース間のクエリを実行する仮想ウェアハウス
Microsoft Fabric は、ショートカットを使用して、事実上すべてのソースからのデータを含む仮想ウェアハウスを立ち上げる機能を提供します。 データがどこにあってもショートカットを作成することで、仮想ウェアハウスを構築できます。 仮想ウェアハウスは、OneLake、Azure Data Lake Storage、またはその他のクラウド ベンダー ストレージのデータで構成され、1 つの境界内にあり、データの重複はありません。
Microsoft Fabric でのデータベース間クエリの豊富さを通じて、さまざまなデータ ソースからシームレスに価値を引き出します。 クロス データベース クエリを使用すると、お客様は複数のデータ ソースを迅速かつシームレスに活用して、迅速な分析情報を得て、データの重複をゼロにできます。 さまざまなソースに格納されたデータを簡単に結合できるため、以前はデータ統合チームやエンジニアリング チームの多大な労力を必要としていた豊富な分析情報を提供できるようになります。
データベース間クエリは、複数のテーブルに対する分析情報へのコードなしのパスを提供するビジュアル クエリ エディターを使用して作成できます。 SQL クエリ エディターや、SQL Server Management Studio (SSMS) などの使い慣れたツールを使用して、データベース間クエリを作成することもできます。
自律的なワークロード管理
Microsoft Fabric のウェアハウスは、業界をリードする分散クエリ処理エンジンを活用しており、自然な分離境界を持つワークロードを提供します。 リソースの自律的な割り当てと解放により、ノブを回す必要はなく、自動的なスケーリングと並行性が組み込まれた最高のパフォーマンスを提供します。 実際の分離は、ワークロードの特性が異なるワークロードを分離し、ETL ジョブがアドホック分析とレポート ワークロードに干渉しないようにすることで実現されます。
シームレスなエンジン相互運用性のためのオープン形式
ウェアハウス内のデータは Parquet ファイル形式で格納され、Delta Lake Logs として公開されるため、ACID トランザクションとエンジン間の相互運用性が可能になり、Spark、Pipelines、Power BI、Azure Data Explorer などの他の Microsoft Fabric ワークロードを通じて利用できます。 さまざまなスキル セットを持つデータプロフェッショナルを有効にするために、データの複数のコピーを作成する必要がなくなりました。 Python での作業に慣れているデータ エンジニアは、SQL での作業に慣れているデータ ウェアハウスの専門家がモデル化して提供したのと同じデータを簡単に活用できます。 並行して、BI プロフェッショナルは同じデータを迅速かつ簡単に活用して、レコードのパフォーマンスとデータ重複のない豊富な視覚化セットを Power BI に作成できます。
ストレージとコンピューティングの分離
コンピューティングとストレージはウェアハウスで切り離され、ビジネスの需要に合わせてほぼ瞬時にスケーリング可能です。 これにより、複数のコンピューティング エンジンが、堅牢なセキュリティと完全な ACID トランザクション保証を使用して、サポートされている任意のストレージ ソースから読み取られます。
大規模な取り込み、読み込み、変換が簡単
データは、Pipelines、データフロー、データベース間のクエリ、または COPY INTO コマンドを使用してウェアハウスに取り込むことができます。 取り込まれたデータは、共有やデータベース間のクエリなどの機能を使用して、複数のビジネス グループによって分析できます。 ウェアハウス エディター内でクエリを実行するための Web エクスペリエンスを使いやすいグラフィカル データ モデリングにより、完全に統合された BI エクスペリエンスを通じて分析情報を得る時間が短縮されます。
Microsoft Fabric のデータ ウェアハウス アイテム
2 つの異なるデータ ウェアハウスのアイテムがあります。レイクハウスとウェアハウスにおける SQL 分析エンドポイントです。
レイクハウスの SQL 分析エンドポイント
SQL 分析エンドポイントは、Microsoft Fabric のレイクハウスから自動的に生成されるウェアハウスです。 お客様は、レイクハウスの "Lake" ビュー (Data Engineering と Apache Spark をサポート) から、同じレイクハウスの "SQL" ビューに移行できます。 SQL 分析エンドポイントは読み取り専用であり、データは Spark を使用してレイクハウスの "Lake" ビューでのみ変更できます。
ユーザーは、レイクハウスの SQL 分析エンドポイント経由でデータ オブジェクトの定義およびクエリはできるが、データの操作はできない SQL コマンドのサブセットを持っています。 SQL 分析エンドポイントで実行できるアクションは、次のとおりです。
- レイク内の Delta Lake フォルダー内のデータを参照するテーブルに対してクエリを実行します。
- T-SQL でセマンティクスとビジネス ロジックをカプセル化するためのビュー、インライン TVF、およびプロシージャを作成します。
- オブジェクトに対するアクセス許可を管理します。
Microsoft Fabric ワークスペースで、SQL 分析エンドポイントには、[種類] 列に "SQL 分析エンドポイント" というラベルが付けられます。 各レイクハウスには自動生成された SQL 分析エンドポイントがあり、SQL Server Management Studio、Azure Data Studio、Microsoft Fabric SQL クエリ エディターなどの使い慣れた SQL ツールを使用して利用できます。
SQL 分析エンドポイントの使用を開始するには、Microsoft Fabric の「一緒に使えばより便利に: レイクハウスとウェアハウス」を参照してください。
Synapse Data Warehouse
Microsoft Fabric ワークスペースでは、Synapse データ ウェアハウスまたは ウェアハウスの [種類] 列の下に `Warehouse` というラベルが付けられます。 ウェアハウスでは、トランザクション、DDL、および DML クエリがサポートされています。
読み取り専用クエリと、ビューおよび TVF の作成のみをサポートする SQL 分析エンドポイントとは異なり、ウェアハウスには完全なトランザクション DDL と DML サポートがあり、顧客によって作成されます。 ウェアハウスには、COPY INTO、Pipelines、データフロー、または CREATE TABLE AS SELECT (CTAS)、INSERT..SELECT、SELECT INTO などのデータベース間取り込みオプションなどのサポートされているデータ インジェスト方法のいずれかが設定されます。
ウェアハウスの使用を開始するには、「Microsoft Fabric でウェアハウスを作成する」を参照してください。
ウェアハウスとレイクハウスの SQL 分析エンドポイントを比較する
このセクションでは、Microsoft Fabric のウェアハウスと SQL 分析エンドポイントの違いについて説明します。
SQL 分析エンドポイントは、Microsoft Fabric のレイクハウスから作成時に自動的に生成される "読み取り専用" ウェアハウスです。 レイクハウスの Spark を使用して作成された Delta テーブルは、SQL 分析エンドポイントでテーブルとして自動的に検出可能です。 SQL 分析エンドポイントを使用すると、データ エンジニアはレイクハウスの物理データの上にリレーショナル レイヤーを構築し、それを SQL 接続文字列を使用して分析およびレポート ツールに公開できます。 データ アナリストは T-SQL を使用して、Synapse Data Warehouse を使用してレイクハウス データにアクセスできます。 SQL 分析エンドポイントを使用して、BI のニーズとデータの提供に向けてウェアハウスを設計します。
Synapse データ ウェアハウス またはウェアハウスは、"従来の" データ ウェアハウスを提供し、エンタープライズ データ ウェアハウスに期待される完全なトランザクション T-SQL 機能をサポートします。 テーブルとデータが自動的に作成される SQL 分析エンドポイントとは対照的に、Microsoft Fabric ポータルまたは T-SQL コマンド を使用して、データ ウェアハウスでのテーブルの作成や、データの読み込み、変換、クエリの実行を完全に制御できます。
Microsoft Fabric でのデータのクエリの詳細については、「Microsoft Fabric の SQL 分析エンドポイントまたはウェアハウスでクエリを実行する」を参照してください。
さまざまなウェアハウス機能を比較する
分析のユース ケースを最適に提供するために、さまざまな機能を利用できます。 一般的に、ウェアハウスは他のすべての機能のスーパーセットと考えることができ、T-SQL を提供する他のすべての分析オファリングの間に相乗効果をもたらす関係を提供します。
ファブリック内には、ウェアハウス、レイクハウス、さらには Power BI データマートのどちらかを決定する必要があるユーザーがいます。
Microsoft Fabric のオファリング
倉庫
レイクハウスの SQL 分析エンドポイント
Power BI データマート
ライセンス
Fabric または Power BI Premium
Fabric または Power BI Premium
Power BI Premium のみ
主な機能
ACID に準拠し、T-SQL でトランザクションをサポートする完全なデータ ウェアハウス。
読み取り専用で、T-SQL クエリとサービスのためにレイクハウス用にシステムによって生成された SQL 分析エンドポイント。 レイクハスの Delta テーブルと、ショートカットを介して参照される Delta Lake フォルダーの分析をサポートします。
コードなしのデータ ウェアハウスと T-SQL クエリ
開発者プロファイル
SQL 開発者または市民開発者
データ エンジニアまたは SQL 開発者
市民開発者のみ
推奨されるユース ケース
- エンタープライズ向けのデータ ウェアハウス
- 部門、部署、またはセルフ サービスの使用をサポートするデータ ウェアハウス
- テーブル、ビュー、プロシージャ、関数、BI の高度な SQL サポートを使用した T-SQL の構造化データ分析
- レイクハウスからのデルタ テーブルの探索とクエリ
- 分析のためのステージング データとアーカイブ ゾーン
- ブロンズ、シルバー、ゴールド分析のためのゾーンを備えたメダリオン レイクハウス アーキテクチャ
- エンタープライズ分析ユース ケース用のウェアハウスとのペアリング
- 小規模部門または部署のウェアハウス管理のユース ケース
- セルフ サービス データ ウェアハウスのユース ケース
- Power BI データフローのランディング ゾーンと BI の単純な SQL サポート
開発環境
- T-SQL データ インジェスト、モデリング、開発、およびデータ インジェスト、モデリング、クエリのための UI エクスペリエンスのクエリを完全にサポートするウェアハウス エディター
- サード パーティ製ツールの読み取り/書き込みサポート
- ビュー、テーブル値関数、SQL クエリに対する限定的な T-SQL サポートを備えたレイクハウス SQL 分析エンドポイント
- モデリングとクエリのための UI エクスペリエンス
- ファースト パーティおよびサード パーティ製ツールの制限付き T-SQL サポート
- UI エクスペリエンスとクエリのサポートを備えたデータマート エディター
- データ インジェスト、モデリング、クエリのための UI エクスペリエンス
- ファースト パーティおよびサード パーティ製ツールの読み取り専用サポート
T-SQL 機能
完全な DQL、DML、DDL T-SQL のサポート、完全なトランザクション サポート
完全な DQL、DML なし、SQL ビューや TVF などの制限付き DDL T-SQL サポート
完全な DQL のみ
データの読み込み
SQL, パイプライン, データフロー
Spark、パイプライン、データフロー、ショートカット
データフローのみ
Delta テーブルのサポート
Delta テーブルの読み取りと書き込み
Delta テーブルの読み取り
NA
ストレージ レイヤー
データ形式を開く - Delta
データ形式を開く - Delta
NA
レイクハウスの SQL 分析エンドポイントで自動的に生成されたスキーマ
SQL 分析エンドポイントは、自動的に生成されたテーブルを管理して、ワークスペース ユーザーがテーブルを変更できないようにします。 ユーザーは、独自の SQL スキーマ、ビュー、プロシージャ、およびその他のデータベース オブジェクトを追加することで、データベース モデルを強化できます。
レイクハウス内のすべての Delta テーブルに対して、SQL 分析エンドポイントがテーブルを 1 つ自動的に生成します。
SQL 分析エンドポイント内のテーブルは、遅延して作成されます。 レイクで Delta Lake フォルダー/テーブルを作成または更新すると、レイク データを参照するウェアハウス テーブルはすぐには作成/更新されません。 変更は、5 秒から 10 秒後にウェアハウスに適用されます。
SQL 分析エンドポイントの自動生成されたスキーマ データ型については、Microsoft Fabric のデータ型に関する記事を参照してください。
関連するコンテンツ
フィードバック
以下は間もなく提供いたします。2024 年を通じて、コンテンツのフィードバック メカニズムとして GitHub の issue を段階的に廃止し、新しいフィードバック システムに置き換えます。 詳細については、「https://aka.ms/ContentUserFeedback」を参照してください。
フィードバックの送信と表示