Udostępnij za pośrednictwem


Wstępne przetwarzanie danych za pomocą procedury składowanej przed załadowaniem do usługi Lakehouse

W tym samouczku pokazano, jak za pomocą działania skryptu potoku uruchomić procedurę składowaną w celu utworzenia tabeli i wstępnie przetworzyć dane w usłudze Azure Synapse Data Warehouse. Następnie załadujemy wstępnie przetworzoną tabelę do usługi Lakehouse.

Wymagania wstępne

  • Obszar roboczy z obsługą usługi Microsoft Fabric. Jeśli jeszcze go nie masz, zapoznaj się z artykułem Tworzenie obszaru roboczego.

  • Przygotuj procedurę składowaną w usłudze Azure Synapse Data Warehouse. Utwórz następującą procedurę składowaną z wyprzedzeniem:

    CREATE PROCEDURE spM_add_names
    AS
    --Create initial table
    IF EXISTS (SELECT * FROM sys.objects
    WHERE object_id = OBJECT_ID(N'[dbo].[names]') AND TYPE IN (N'U'))
    BEGIN
    DROP TABLE names
    END;
    
    CREATE TABLE names
    (id INT,fullname VARCHAR(50));
    
    --Populate data
    INSERT INTO names VALUES (1,'John Smith');
    INSERT INTO names VALUES (2,'James Dean');
    
    --Alter table for new columns
    ALTER TABLE names
    ADD first_name VARCHAR(50) NULL;
    
    ALTER TABLE names
    ADD last_name VARCHAR(50) NULL;
    
    --Update table
    UPDATE names
    SET first_name = SUBSTRING(fullname, 1, CHARINDEX(' ', fullname)-1);
    
    UPDATE names
    SET last_name = SUBSTRING(fullname, CHARINDEX(' ', fullname)+1, LEN(fullname)-CHARINDEX(' ', fullname));
    
    --View Result
    SELECT * FROM names;
    

    Zrzut ekranu przedstawiający wyniki uruchamiania procedury składowanej w celu wygenerowania przykładowej tabeli.

Tworzenie działania skryptu potoku w celu uruchomienia procedury składowanej

W tej sekcji użyjemy działania Skrypt, aby uruchomić procedurę składowaną utworzoną w wymaganiach wstępnych.

  1. Wybierz działanie Skrypt na pasku narzędzi Działania , a następnie wybierz kartę ustawienia w okienku właściwości, aby wybrać szczegóły połączenia. Wybierz listę rozwijaną Połączenie , aby wybrać pozycję Więcej. Następnie możesz nawiązać połączenie z usługą Azure Synapse Data Warehouse.

    Zrzut ekranu przedstawiający interfejs potoku umożliwiający utworzenie nowego działania skryptu i nawiązanie połączenia z usługą Azure Synapse Data Warehouse.

  2. Wybierz pozycję Azure Synapse Analytics (SQL DW) w sekcji Nowe źródła .

    Zrzut ekranu przedstawiający okno dialogowe Pobieranie danych z wybraną usługą Azure Synapse Analytics (SQL DW).

  3. Podaj pola Serwer, Baza danych i Nazwa użytkownika i Hasło dla uwierzytelniania podstawowego, a następnie wprowadź wartość SynapseConnection jako nazwę połączenia. Następnie wybierz pozycję Utwórz , aby utworzyć nowe połączenie.

    Zrzut ekranu przedstawiający okno dialogowe tworzenia nowego połączenia.

  4. Dane wejściowe EXEC spM_add_names do uruchomienia procedury składowanej. Tworzy nową tabelę dbo.name i wstępnie przetwarza dane za pomocą prostego przekształcenia, aby zmienić pole fullname na dwa pola, first_name i last_name.

    Zrzut ekranu przedstawiający kartę ustawień działania skryptu skonfigurowanego do wykonania procedury składowanej spM_add_names.

Ładowanie wstępnie przetworzonych danych tabeli do usługi Lakehouse za pomocą działania potoku

  1. Wybierz pozycję Kopiuj dane na pasku narzędzi Działania , a następnie wybierz pozycję Użyj asystenta kopiowania lub użyj karty Asystent kopiowania danych na stronie docelowej potoku, aby uruchomić asystenta kopiowania danych.

    Zrzut ekranu przedstawiający przycisk Użyj asystenta kopiowania w obszarze Kopiuj dane.

  2. Wprowadź ciąg Synapse w filtrze wyszukiwania i wybierz pozycję Azure Synapse Analytics (SQL DW) dla źródła danych, a następnie wybierz pozycję Dalej.

    Zrzut ekranu przedstawiający stronę wyboru źródła danych asystenta kopiowania z wybraną usługą Azure Synapse Analytics.

  3. Wybierz istniejące połączenie SynapseConnection utworzone wcześniej.

    Zrzut ekranu przedstawiający wybór wcześniej utworzonego programu SynapseConnection na stronie Wybieranie źródła danych asystenta kopiowania.

  4. Wybierz tabelę dbo.names , która została utworzona i przetworzona wstępnie przez procedurę składowaną. Następnie kliknij przycisk Dalej.

    Zrzut ekranu przedstawiający wybór tabeli dbo.names utworzonej i wstępnie przetworzonej przez procedurę składowaną w poprzednich krokach.

  5. Wybierz pozycję Lakehouse.

    Zrzut ekranu przedstawiający wybór usługi Lakehouse dla miejsca docelowego kopiowania w asystencie kopiowania.

  6. Wprowadź nazwę, a następnie wybierz pozycję Utwórz i połącz.

    Zrzut ekranu przedstawiający okno dialogowe New Lakehouse.

  7. Wprowadź nazwę tabeli docelowej dla danych, które mają zostać skopiowane do miejsca docelowego usługi Lakehouse, a następnie wybierz pozycję Dalej.

    Zrzut ekranu przedstawiający nazwę tabeli docelowej, która ma być używana w miejscu docelowym usługi Lakehouse.

  8. Przejrzyj podsumowanie na ostatniej stronie Asystenta kopiowania. Usuń zaznaczenie pola wyboru Rozpocznij transfer danych natychmiast , a następnie wybierz przycisk OK.

    Zrzut ekranu przedstawiający stronę podsumowania asystenta kopiowania ze szczegółami skonfigurowanych połączeń.

  9. Po wybraniu przycisku OK nowe działanie Kopiuj zostaną dodane na kanwę potoku.

    Zrzut ekranu przedstawiający kanwę potoku z dodanym działanie Kopiuj.

Wykonaj dwa działania potoku, aby załadować dane

  1. Połącz działania skryptu i kopiowania danych według powodzenia działania Skrypt.

    Zrzut ekranu przedstawiający połączenie dwóch działań dotyczących powodzenia działania Skrypt.

  2. Wybierz pozycję Uruchom , a następnie pozycję Zapisz i uruchom , aby uruchomić dwa działania w potoku.

    Zrzut ekranu przedstawiający przycisk Uruchom potok.

    Zrzut ekranu przedstawiający przycisk Zapisz i uruchom dla potoku.

  3. Po pomyślnym uruchomieniu potoku możesz wyświetlić szczegóły, aby uzyskać więcej informacji. Wybierz link z nazwą działanie Kopiuj, aby wyświetlić jego szczegóły uruchomienia.

    Zrzut ekranu przedstawiający przycisk Wyświetl szczegóły uruchomienia potoku.

    Zrzut ekranu przedstawiający szczegóły przebiegu potoku.

  4. Przejdź do obszaru roboczego i znajdź utworzoną usługę Lakehouse. Wybierz pod nim punkt końcowy analizy SQL, aby sprawdzić wyniki.

    Zrzut ekranu przedstawiający obszar roboczy z wyróżnionym miejscem docelowym usługi Lakehouse.

  5. Wybierz tabelę SynapseNamesTable, aby wyświetlić dane załadowane do usługi Lakehouse.

    Zrzut ekranu przedstawiający wyniki w tabeli SynapseNamesTable w usłudze Lakehouse.

W tym przykładzie pokazano, jak wstępnie przetworzyć dane za pomocą procedury składowanej przed załadowaniem wyników do usługi Lakehouse. W tym samouczku omówiono:

  • Utwórz potok danych za pomocą działania Skrypt, aby uruchomić procedurę składowaną.
  • Użyj działania potoku, aby załadować wstępnie przetworzone dane tabeli do usługi Lakehouse.
  • Wykonaj działania potoku, aby załadować dane.

Następnie przejdź dalej, aby dowiedzieć się więcej na temat monitorowania przebiegów potoku.