適用対象:✅Microsoft Fabric 内の SQL データベース
この記事では、Fabric で SQL データベースを使用して 運用データ ストア (ODS) を実装する方法について説明します。 セキュリティで保護され、パフォーマンスが高く、管理された ODS を構築するためのアーキテクチャ ガイダンス、設計パターン、ワークロード特性、ファブリック固有の考慮事項が提供されます。
ODS とは
運用データ ストア (ODS) は、サブジェクト指向の統合されたほぼリアルタイムのストアであり、複数の運用システムのデータを、通常は正規化されたスキーマで、少し精選された正規化されたモデルに統合します。 運用レポート、軽量分析、API サービス、および Fabric Warehouse や Fabric Lakehouse などの分析レイヤーへのダウンストリームの伝達がサポートされています。
ODS は、ソース オンライン トランザクション処理 (OLTP) システムまたはディメンション ウェアハウス ではありません 。
代わりに、ソースシステムと分析プラットフォームの間に位置する、過去 N 分間、N 時間、または N 日間にわたる「最新で調和の取れた事実」として機能します。
ODS の主な特性
Microsoft Fabric の運用データ ストア (ODS) は、強力なガバナンスとパフォーマンスの保証を備えた運用データのほぼリアルタイムのビューを提供するように設計されています。
- 待機時間が短い複数のソース システムからデータを取り込みます。
- スキーマは通常、柔軟性と追跡可能性をサポートするために、3 番目の標準形式 (3NF) で正規化されます。
- データ品質は、重複除去、ID 解決、および到着遅延レコードまたは論理的に削除されたレコードの処理によって適用され、運用レポートとダウンストリーム分析のための信頼性の高い基盤が作成されます。
- サービス パターンには SQL ベースのクエリ、運用ダッシュボード、アラート、API が含まれますが、Fabric ガバナンス機能により、データ ライフサイクル全体のコンプライアンスとセキュリティが保証されます。
Fabric の SQL データベースは、運用データと分析プラットフォームの間のセキュリティで保護された効率的な導管として機能します。
Components
次のコンポーネントは、運用データ ストアとして Fabric の SQL データベースを使用する場合に関係します。
- 制約とキー: ビジネス ロジックと参照整合性 (自然キー、代理キー、外部キー) を適用します。
- アイデンティティ解決: ソース間で重複を除去し、生存ルールを適用します。
- サービス: GraphQL エンドポイントを公開したり、Power BI ダッシュボードを構築したりします。
インジェストとワークロードのベスト プラクティス
Fabric で SQL データベースに ODS を構築するには、鮮度、信頼性、パフォーマンスのバランスを取るインジェスト戦略が必要です。
- バッチ読み込みと増分読み込みは、通常、変更データキャプチャが有効なコネクタを通じてFabricデータパイプラインでオーケストレーションされます。一貫性を確保するために、ウォーターマーキングとリトライロジックが用いられます。
- データの最新性のためにサービス レベルの目標を満たしながら、ピーク時の読み込み中に SQL データベースをスケーリングできるように、パイプラインのコンカレンシーを調整します。
- 透かし技術は、インクリメンタルコピー プロセスにおける重要な概念です。 これは、増分読み込みが最後に停止した場所を簡単に識別するのに役立ちます。
- Dataflow Gen2 または Spark Notebook のアップストリームで大量の変換を実行します。 制約を適用し、OLTP に似たパフォーマンスを維持する最終的な
MERGE操作のために SQL レイヤーを予約します。 - 安全な再起動と運用上の復元性のために、変更検出、ウォーターマーキング、T-SQL MERGE、制御テーブルを組み合わせた冪等性設計パターンを使用します。
エンジンと環境
Fabric の SQL データベースは、Azure SQL Database と同じ SQL Database エンジンに基づいており、標準的なクライアント ツールとの完全な互換性を備えた使い慣れた T-SQL エクスペリエンスを提供します。
Microsoft Fabric で SQL データベースを使用すると、Microsoft Fabric の他の機能を使用して、インジェストから分析まで、エンドツーエンドのワークフローを作成できます。
- データ パイプライン
- データフロー Gen2
- Notebooks
- リアルタイム インテリジェンス
- Power BI
- Git ベースのCI/CDを活用して、DevOpsのすべてのプロセスを合理化する