Azure Databricks を使用したデータ モデリングの設計と実装
中級
データ エンジニア
Azure Databricks
効果的なデータ モデリングは、パフォーマンスと保守性に優れたデータ プラットフォームの基盤を形成します。 このモジュールでは、インジェスト ロジックの設計、適切なツールとテーブル形式の選択、パーティション分割スキームの実装、緩やかに変化するディメンションの管理、適切なデータ細分性の選択、Unity Catalog を使用した Azure Databricks のクラスタリング戦略によるテーブルパフォーマンスの最適化の方法について説明します。
学習の目的
このモジュールを終了すると、次のことができるようになります。
- データ インジェスト ロジックを設計し、データ ソース接続を構成する
- シナリオに適したデータ インジェスト ツールを選択する
- Delta Lake、Apache Iceberg、およびその他のテーブル形式から選択する
- 効果的なデータ パーティション分割スキームを設計して実装する
- 緩やかに変化するディメンションの種類を選択して実装する
- 変更の追跡と監査のためのテンポラル テーブルの設計と実装
- ファクト テーブルとディメンション テーブルに適したデータ細分性を選択する
- クエリの最適化のためのクラスタリング戦略の設計と実装
- マネージド テーブルと外部テーブルを使用するタイミングを評価する
前提条件
次の前提条件を満たす必要があります。
- Azure Databricks ワークスペースと Unity カタログの基本的な理解
- SQL とデータ ウェアハウスの概念に関する知識
- Delta Lake の基礎に関する知識