イントロダクション
組織は、複数のソース システムから毎日何百万ものトランザクションを処理しており、利害関係者には、現在の運用と過去の傾向の両方を反映した信頼性の高い分析が必要です。 データ エンジニアリング チームは、重要な決定に直面しています。ソース システムから Lakehouse にデータを流す方法 パフォーマンスと互換性の適切なバランスを提供するテーブル形式はどれですか? クエリを高速に保ちながら履歴の精度を維持するにはどうすればよいですか?
Unity カタログを使用した Azure Databricks でのデータ モデリングは、すべてのダウンストリーム コンシューマーに影響を与える意図的な設計選択を通じて、これらの課題に対処します。 待機時間の要件に一致する インジェスト パターン を選択します。 トランザクションのニーズとクロスプラットフォームの互換性に基づいて 、Delta Lake や Apache Iceberg などのテーブル形式を選択します。 アナリストがデータに対してクエリを実行する方法に合わせて 、パーティション分割スキーム と クラスタリング戦略 を設計します。
これらの決定は、時間の経過と同時に複合します。 現在、テーブルが正しくパーティション分割されていないと、データ ボリュームで増加するパフォーマンスの問題が発生します。 適切な変更の追跡を行わない ディメンション テーブル では、履歴コンテキストが失われます。 慎重な事前設計により、効率的にスケーリングし、まだ予想していない質問に答える基盤が作り出されます。
このモジュールでは、Azure Databricks 環境の主要なデータ モデリングの決定について説明します。 インジェスト ロジックを設計し、データ ソースの種類ごとに適切なツールを選択し、クエリのパフォーマンスを最適化するストレージ戦略を実装する方法について説明します。 履歴の正確さのために 緩やかに変化するディメンションを 調べ、 マネージド テーブル が 外部テーブルよりも利点を提供するタイミングを理解します。