まとめ
このモジュールでは、Azure Databricks の Unity カタログ テーブルにデータをクレンジング、変換、読み込むための完全なデータ エンジニアリング ワークフローについて説明しました。 初期データ プロファイリングから最終的な読み込み操作まで、各手法は前の手法に基づいて構築され、分析に適した高品質で適切に構造化されたデータを提供します。
と Unity カタログの監視機能を使用したANALYZE TABLEで、null の割合、重複レコード、分布の異常などのデータ品質の問題がどのように明らかであるかを学習しました。
適切なデータ型を選択すると、ストレージの効率、クエリのパフォーマンス、データの整合性 、特に財務計算にDECIMALを使用することの重要性に及ぼす影響について説明しました。 ウィンドウ関数、、QUALIFYメソッドを使用したdropDuplicates()などの手法を使用して、重複値と fillna()を特定して解決する練習をしました。
データ変換では、フィルター 処理、グループ化、集計操作を適用して、 分析要件のデータを整形しました。 水平方向の結合に結合を使用してデータセットを結合し、垂直方向の組み合わせに対して、UNION、INTERSECTなどのEXCEPTします。 クエリのパフォーマンス向上のための非正規化、クロス集計分析のためのピボット変換、及び広いデータセットを正規化するためのアンピボットを通じてデータ構造を整形しました。
最後に、新しいレコードを追加するための、データを置き換えるINSERT INTO、変更を同期するアップサート操作のINSERT OVERWRITEなど、データ シナリオに一致するMERGE INTOを実装しました。 データ パイプラインを構築する際は、これらの手法を体系的に適用します。まずデータのプロファイリングを行い、内容を理解します。次に、データのクレンジングを行って品質の問題を解決し、分析の要件を満たすようにデータを変換します。そして、Lakehouse のデータ整合性を維持するために、適切な戦略を用いてデータを読み込みます。