Microsoft Fabric ウェアハウスの V オーダーについて
- [アーティクル]
-
-
適用対象:✅Microsoft Fabric のウェアハウス
Microsoft Fabric ストレージ内のウェアハウスでは、すべてのユーザー データに Delta Lake テーブル形式が使用されます。 Delta 形式によって提供される最適化に加えて、ウェアハウスはストレージに最適化を適用して、Parquet 形式への準拠を維持しながら、分析シナリオでのクエリ パフォーマンスを高速化します。 この記事では、V オーダー書き込みの最適化とその利点、およびそれを制御する方法について説明します。
V オーダーは、Parquet ファイル形式に対する書き込み時間の最適化であり、Power BI、SQL、Spark などの Microsoft Fabric コンピューティング エンジンでの高速読み取りを可能にします。
Power BI エンジンと SQL エンジンでは、Microsoft Verti-Scan テクノロジと V オーダー Parquet ファイルを使用して、インメモリのようなデータ アクセス タイムを実現します。 Spark やその他の Verti-Scan 以外のコンピューティング エンジンも、読み取り時間が平均 10% 速い V オーダー ファイルの恩恵を受け、一部のシナリオは最大 50% です。
V オーダーは、特殊な並べ替え、行グループの配布、辞書のエンコード、Parquet ファイルへの圧縮を適用することによって機能します。 その結果、コンピューティング エンジンでは、ストレージからデータを読み取るために必要なネットワーク、ディスク、CPU のリソースが少なくなり、コスト効率とパフォーマンスが実現します。 オープンソースの Parquet 形式に 100% 準拠しています。すべての Parquet エンジンは、これを通常の Parquet ファイルとして読み込むことができます。
V オーダーを無効にすることを決定する前に、次のことを検討してください:
- Microsoft Fabric Direct Lake モード は V オーダーに依存します。
- ウェアハウスでは、V オーダーのパフォーマンスへの影響は、テーブル スキーマ、データ ボリューム、クエリ、およびインジェスト パターンによって異なる場合があります。
- 無効にすることを決定する前に、V オーダーがデータ インジェストとクエリのパフォーマンスに与える影響を必ずテストしてください。 ソース管理を使用して テスト ウェアハウスのコピーを作成 し、コピーで V オーダーを無効にし、データ インジェストとクエリ タスクを実行してパフォーマンスへの影響をテストすることを検討してください。
V オーダーを無効にすることが適切かどうかを判断する前に、V オーダーのパフォーマンスへの影響を検討してください。
注意事項
現時点では、V オーダーの無効化はウェアハウス レベルでのみ実行でき、元に戻すことはできません。一度無効にすると、再び有効にすることはできません。 ファブリック ウェアハウスで V オーダー無効にする ことを選択する場合、ユーザーはパフォーマンスを考慮する必要があります。
V オーダーを無効にすると、データ インジェスト プロセスの一部としてステージング データ専用のウェアハウスなど、書き込み重視のウェアハウスに役立ちます。 ステージング テーブルは、多くの場合、新しいデータを処理するために削除されて再作成 (または切り捨てられます) されます。 その後、これらのステージング テーブルは 1 回または 2 回だけ読み取られる可能性があり、V オーダーを適用することで追加されたインジェスト時間が揃わない可能性があります。 V オーダーを無効にし、データを取り込む時間を短縮することで、インジェスト ジョブ中にデータを処理する全体的な時間が短縮される可能性があります。 この場合、分析クエリと Power BI が V オーダーの恩恵を受けることができるように、メインのユーザー向けウェアハウスからステージング ウェアハウスをセグメント化する必要があります。