レイクハウスに読み込む前にストアドプロシージャを使用してデータを前処理する

2024-12-18

このチュートリアルでは、パイプラインの Script アクティビティを使用してストアドプロシージャを実行し、テーブルを作成して Azure Synapse データウェアハウスでデータを前処理する方法について説明します。その後、前処理されたテーブルをレイクハウスに読み込みます。

前提条件

Microsoft Fabric 対応ワークスペース。まだお持ちでない場合は、「ワークスペースの作成」の記事を参照してください。

Azure Synapse Data Warehouse でストアドプロシージャを準備します。次のストアドプロシージャを事前に作成します。

CREATE PROCEDURE spM_add_names
AS
--Create initial table
IF EXISTS (SELECT * FROM sys.objects
WHERE object_id = OBJECT_ID(N'[dbo].[names]') AND TYPE IN (N'U'))
BEGIN
DROP TABLE names
END;

CREATE TABLE names
(id INT,fullname VARCHAR(50));

--Populate data
INSERT INTO names VALUES (1,'John Smith');
INSERT INTO names VALUES (2,'James Dean');

--Alter table for new columns
ALTER TABLE names
ADD first_name VARCHAR(50) NULL;

ALTER TABLE names
ADD last_name VARCHAR(50) NULL;

--Update table
UPDATE names
SET first_name = SUBSTRING(fullname, 1, CHARINDEX(' ', fullname)-1);

UPDATE names
SET last_name = SUBSTRING(fullname, CHARINDEX(' ', fullname)+1, LEN(fullname)-CHARINDEX(' ', fullname));

--View Result
SELECT * FROM names;

ストアドプロシージャを実行してサンプルテーブルを生成した結果を示すスクリーンショット。

ストアドプロシージャを実行するパイプラインスクリプトアクティビティを作成する

このセクションでは、スクリプトアクティビティを使用して、前提条件で作成したストアドプロシージャを実行します。

[アクティビティ] ツールバーから [Script] アクティビティを選択し、プロパティペインの [設定] タブを選択して接続の詳細を選択します。 [接続] ドロップダウンを選択して [その他] を選択します。その後、Azure Synapse Data Warehouse に接続できます。
[新しいソース] セクションで、[Azure Synapse Analytics (SQL DW)] を選択します。
[基本認証] の [サーバー]、[データベース]、[ユーザー名]、[パスワード] の各フィールドを指定し、[接続名] に「SynapseConnection」と入力します。次に、[作成] を選択して、新しい接続を作成します。
「EXEC spM_add_names」と入力してストアドプロシージャを実行します。これにより新しいテーブル dbo.name が作成され、単純な変換でデータが前処理され、[fullname] フィールドが [first_name] と [last_name] の 2 つのフィールドに変更されます。

パイプラインアクティビティを使用して前処理されたテーブルデータをレイクハウスに読み込む

[アクティビティ] ツールバーから [データのコピー] を選択し、[コピーアシスタントを使用] を選択するか、パイプラインランディングページの [コピーデータアシスタント] カードを使用して、[コピーデータアシスタント]を開始します。
検索フィルターに「Synapse」と入力し、データソースの [Azure Synapse Analytics (SQL DW)] を選択し、[次へ] を選択します。
前に作成した既存の接続 [SynapseConnection] を選びます。
ストアドプロシージャによって作成および前処理されたテーブル dbo.names を選びます。 [次へ] を選択します。
[レイクハウス] を選択します。
名前を入力し、作成して接続を選択します。
データをコピーするコピー先のレイクハウスのテーブル名を入力し、[次へ] を選びます。
コピーアシスタントの最後のページで概要を確認します。 [データ転送をすぐに開始する] ボックスチェックチェックを解除し、[OK] を選択します。
[OK] を選択すると、新しいコピーアクティビティがパイプラインキャンバスに追加されます。