Předběžné zpracování dat pomocí uložené procedury před načtením do Lakehouse

Článek
11/19/2024

V tomto kurzu vám ukážeme, jak pomocí aktivity skriptu kanálu spustit uloženou proceduru k vytvoření tabulky a předběžnému zpracování dat v datovém skladu Azure Synapse. Potom načteme předem zpracovanou tabulku do Lakehouse.

Požadavky

Pracovní prostor s povolenou službou Microsoft Fabric. Pokud ho ještě nemáte, přečtěte si článek Vytvoření pracovního prostoru.

Připravte uloženou proceduru ve službě Azure Synapse Data Warehouse. Předem vytvořte následující uloženou proceduru:

CREATE PROCEDURE spM_add_names
AS
--Create initial table
IF EXISTS (SELECT * FROM sys.objects
WHERE object_id = OBJECT_ID(N'[dbo].[names]') AND TYPE IN (N'U'))
BEGIN
DROP TABLE names
END;

CREATE TABLE names
(id INT,fullname VARCHAR(50));

--Populate data
INSERT INTO names VALUES (1,'John Smith');
INSERT INTO names VALUES (2,'James Dean');

--Alter table for new columns
ALTER TABLE names
ADD first_name VARCHAR(50) NULL;

ALTER TABLE names
ADD last_name VARCHAR(50) NULL;

--Update table
UPDATE names
SET first_name = SUBSTRING(fullname, 1, CHARINDEX(' ', fullname)-1);

UPDATE names
SET last_name = SUBSTRING(fullname, CHARINDEX(' ', fullname)+1, LEN(fullname)-CHARINDEX(' ', fullname));

--View Result
SELECT * FROM names;

Snímek obrazovky znázorňující výsledky spuštění uložené procedury pro vygenerování ukázkové tabulky

Vytvoření aktivity skriptu kanálu pro spuštění uložené procedury

V této části používáme aktivitu Skript ke spuštění uložené procedury vytvořené v požadavcích.

Na panelu nástrojů Aktivity zvolte aktivitu skriptů a pak v podokně vlastností vyberte kartu Nastavení, abyste zvolili podrobnosti o připojení. Vyberte rozevírací seznam Připojení a zvolte Další. Pak se můžete připojit ke svému datovému skladu Azure Synapse.
V části Nové zdroje vyberte Azure Synapse Analytics (SQL DW).
Zadejte pole Server, Databáze a Uživatelské jméno a Heslo pro základní ověřování a jako název připojení zadejte SynapseConnection. Potom výběrem možnosti Vytvořit vytvořte nové připojení.
Vstup EXEC spM_add_names ke spuštění uložené procedury. Vytvoří novou tabulku dbo.name a předzpracuje data pomocí jednoduché transformace, která změní pole fullname na dvě pole, first_name a last_name.

Načtení dat předem zpracovaných tabulek do Lakehouse pomocí aktivity kanálu

Na panelu nástrojů Aktivity vyberte Kopírovat data a pak vyberte Použít pomocníka pro kopírování nebo kartu Pomocníka pro kopírování dat na cílové stránce kanálu a spusťte Pomocníka pro kopírování dat.
Do vyhledávacího filtru zadejte Synapse a jako zdroj dat vyberte Azure Synapse Analytics (SQL DW) a pak vyberte Další.
Zvolte existující připojení SynapseConnection , které jste vytvořili dříve.
Zvolte tabulku dbo.names , která byla vytvořena a předem zpracována uloženou procedurou. Pak vyberte Další.
Vyberte Lakehouse.
Zadejte název a pak vyberte Vytvořit a připojit.
Zadejte název cílové tabulky pro data, která se mají zkopírovat do cíle Lakehouse, a vyberte Další.
Projděte si souhrn na poslední stránce pomocníka pro kopírování. Zrušte zaškrtnutí políčka Spustit přenos dat okamžitě a pak vyberte OK.
Po výběru možnosti OK se nová aktivita Copy přidá na plátno kanálu.

Spuštěním dvou aktivit kanálu načtěte data.

Propojte aktivity skriptů a kopírování dat podle úspěchu z aktivity Skript.
Vyberte Spustit a pak uložte a spusťte spuštění a spusťte dvě aktivity v kanálu.
Po úspěšném spuštění kanálu můžete zobrazit podrobnosti o dalších informacích. Výběrem odkazu s názvem aktivita Copy zobrazíte podrobnosti o spuštění.
Přepněte do pracovního prostoru a najděte lakehouse, který jste vytvořili. Výběrem koncového bodu analýzy SQL pod ním zkontrolujte výsledky.
Výběrem tabulky SynapseNamesTable zobrazíte data načtená do Lakehouse.