Azure Databricks を使用してデータを準備して処理する

効果的なデータ モデリングは、パフォーマンスと保守性に優れたデータ プラットフォームの基盤を形成します。 このモジュールでは、インジェスト ロジックの設計、適切なツールとテーブル形式の選択、パーティション分割スキームの実装、緩やかに変化するディメンションの管理、適切なデータ細分性の選択、Unity Catalog を使用した Azure Databricks のクラスタリング戦略によるテーブルパフォーマンスの最適化の方法について説明します。

データ インジェストは、あらゆるデータ プラットフォームの基本的な機能です。 このモジュールでは、Unity カタログ テーブルにデータを読み込むための Azure Databricks で使用できる包括的な手法のセットについて説明します。 Lakeflow Connect でマネージド コネクタを使用する方法、ノートブックにカスタム インジェスト コードを記述する方法、バッチ ファイルの読み込みに SQL コマンドを適用する方法、変更データ キャプチャ フィードを処理する方法、メッセージ バスからのストリーミング インジェストを構成する方法、自動ファイル検出用の Auto Loader を設定する方法、Lakeflow パイプラインを使用したインジェスト ワークフローの調整を行う方法について説明します。

データ エンジニアリングでは、生データを分析の準備ができているクリーンで適切に構造化された形式に変換する必要があります。 このモジュールでは、データ品質のプロファイリング、適切な列の種類の選択、重複と null 値の解決、フィルター処理と集計変換の適用、データセットと結合演算子とセット演算子の組み合わせ、ピボットと非正規化によるデータの再整形、および追加、上書き、およびマージ戦略を使用した変換されたデータの読み込みの手法について説明します。

このモジュールでは、Azure Databricks で高いデータ品質を維持するための戦略について説明します。 検証チェックを実装し、スキーマを適用し、スキーマの誤差を管理し、パイプラインの期待を使用してデータ パイプライン全体のデータ整合性を確保する方法について説明します。