Unity カタログへのデータのクレンジング、変換、読み込み
中級
データ エンジニア
Azure Databricks
データ エンジニアリングでは、生データを分析の準備ができているクリーンで適切に構造化された形式に変換する必要があります。 このモジュールでは、データ品質のプロファイリング、適切な列の種類の選択、重複と null 値の解決、フィルター処理と集計変換の適用、データセットと結合演算子とセット演算子の組み合わせ、ピボットと非正規化によるデータの再整形、および追加、上書き、およびマージ戦略を使用した変換されたデータの読み込みの手法について説明します。
学習の目的
このモジュールを終了すると、次のことが可能になります。
- SQL コマンドとデータ プロファイル機能を使用してデータをプロファイリングし、データ品質を評価する
- 適切な列データ型を選択してストレージを最適化し、データの整合性を確保する
- データセット内の重複値、欠落値、および null 値を特定して解決する
- フィルター処理、グループ化、集計操作を適用してデータを変換する
- 結合と SET 演算子 (UNION、INTERSECT、EXCEPT など) を使用してデータセットを結合する
- 非正規化、ピボット、ピボット解除の手法を使用してデータを整形する
- INSERT、MERGE、および上書き操作を使用して変換されたデータを Unity カタログ テーブルに読み込む
前提条件
次の前提条件を満たす必要があります。
- Azure Databricks と Unity カタログの概念に関する基本的な理解
- SQL および Python プログラミングに関する知識
- データ品質や変換などのデータ エンジニアリングの概念に関する知識