Unity カタログにデータを取り込む
中級
データ エンジニア
Azure Databricks
データ インジェストは、あらゆるデータ プラットフォームの基本的な機能です。 このモジュールでは、Unity カタログ テーブルにデータを読み込むための Azure Databricks で使用できる包括的な手法のセットについて説明します。 Lakeflow Connect でマネージド コネクタを使用する方法、ノートブックにカスタム インジェスト コードを記述する方法、バッチ ファイルの読み込みに SQL コマンドを適用する方法、変更データ キャプチャ フィードを処理する方法、メッセージ バスからのストリーミング インジェストを構成する方法、自動ファイル検出用の自動ローダーを設定する方法、Lakeflow パイプラインを使用したインジェスト ワークフローの調整を行う方法について説明します。
学習の目的
このモジュールを終了すると、次のことができるようになります。
- マネージド コネクタを使用して外部ソースからデータを取り込むよう Lakeflow Connect を構成する
- DataFrames と Structured Streaming を使用してノートブックを使用してバッチ データとストリーミング データを取り込む
- ファイル ベースのインジェストに COPY INTO や CREATE TABLE AS SELECT などの SQL コマンドを使用する
- AUTO CDC API を使用して変更データ キャプチャ フィードを処理する
- Kafka と Event Hubs からのリアルタイム データ インジェスト用に Spark 構造化ストリーミングを構成する
- スキーマの進化に伴って新しいファイルを自動的に検出して処理するように自動ローダーを設定する
- Lakeflow パイプラインを使用して、データ インジェスト ワークフローを調整する
前提条件
次の前提条件を満たす必要があります。
- Azure Databricks と Unity カタログの概念に関する基本的な理解
- SQL および Python プログラミングに関する知識
- バッチ処理やストリーミングなどのデータ エンジニアリングの概念に関する知識