Lakehouse'a yüklemeden önce saklı yordamla verileri ön işleme

Bu öğreticide, bir tablo oluşturmak ve Synapse Veri Ambarı'ndaki verileri önceden işlemek üzere saklı yordam çalıştırmak için işlem hattı Betiği etkinliğinin nasıl kullanılacağını göstereceğiz. Bundan sonra, önceden işlenmiş tabloyu Lakehouse'a yükleriz.

Önkoşullar

  • Microsoft Fabric özellikli bir çalışma alanı. Henüz bir çalışma alanınız yoksa Çalışma alanı oluşturma makalesine bakın.

  • Azure Synapse Veri Ambarı'nda bir saklı yordam hazırlayın. Aşağıdaki saklı yordamı önceden oluşturun:

    CREATE PROCEDURE spM_add_names
    AS
    --Create initial table
    IF EXISTS (SELECT * FROM sys.objects
    WHERE object_id = OBJECT_ID(N'[dbo].[names]') AND TYPE IN (N'U'))
    BEGIN
    DROP TABLE names
    END;
    
    CREATE TABLE names
    (id INT,fullname VARCHAR(50));
    
    --Populate data
    INSERT INTO names VALUES (1,'John Smith');
    INSERT INTO names VALUES (2,'James Dean');
    
    --Alter table for new columns
    ALTER TABLE names
    ADD first_name VARCHAR(50) NULL;
    
    ALTER TABLE names
    ADD last_name VARCHAR(50) NULL;
    
    --Update table
    UPDATE names
    SET first_name = SUBSTRING(fullname, 1, CHARINDEX(' ', fullname)-1);
    
    UPDATE names
    SET last_name = SUBSTRING(fullname, CHARINDEX(' ', fullname)+1, LEN(fullname)-CHARINDEX(' ', fullname));
    
    --View Result
    SELECT * FROM names;
    

    Screenshot showing the results of running the stored procedure to generate a sample table.

Saklı yordamı çalıştırmak için işlem hattı Betiği etkinliği oluşturma

Bu bölümde, önkoşullarda oluşturulan saklı yordamı çalıştırmak için bir Betik etkinliği kullanacağız.

  1. Azure Synapse Veri Ambarınıza bağlanmak için Betik etkinliği'ni ve ardından Yeni'yi seçin.

    Screenshot showing the pipeline interface to create a new script activity and connect to your Azure Synapse Data Warehouse.

  2. Azure Synapse Analytics'i ve ardından Devam'ı seçin.

    Screenshot showing the New connection dialog with Azure Synapse Analytics selected.

  3. Temel kimlik doğrulaması için Sunucu, Veritabanı, Kullanıcı Adı ve Parola alanlarınızı sağlayın ve Bağlan ion adı için Synapse Bağlan ion girin. Ardından Oluştur'u seçerek yeni bağlantı oluşturun.

    Screenshot showing the create new connection dialog.

  4. Saklı yordamı çalıştırmak için EXEC spM_add_names giriş. Dbo.name yeni bir tablo oluşturur ve tam ad alanını first_name ve last_name olmak üzere iki alana dönüştürmek için basit bir dönüştürmeyle verileri önceden işler.

    Screenshot showing the settings tab of the Script activity configured to execute the spM_add_names stored procedure.

Önceden işlenmiş tablo verilerini Lakehouse'a yüklemek için işlem hattı etkinliği kullanma

  1. Veri kopyala'yı ve ardından Kopyalama yardımcısı kullan'ı seçin.

    Screenshot showing the Use copy assistant button under Copy data.

  2. Veri kaynağı için Azure Synapse Analytics'i ve ardından İleri'yi seçin.

    Screenshot showing the Copy assistant data source selection page with Azure Synapse Analytics selected.

  3. Daha önce oluşturduğunuz synapse Bağlan ion bağlantısını seçin.

    Screenshot showing the selection of the previously created SynapseConnection in the Choose data source page of the Copy assistant.

  4. Saklı yordam tarafından oluşturulan ve önceden işlenmiş dbo.names tablosunu seçin. Sonra İleri'yi seçin.

    Screenshot showing the selection of the dbo.names table created and preprocessed by the stored procedure in the previous steps.

  5. Hedef olarak Çalışma Alanı sekmesinin altında Lakehouse'ı seçin ve sonra yeniden İleri'yi seçin.

    Screenshot showing the selection of Lakehouse for the copy destination in the Copy assistant.

  6. Mevcut bir göl evi seçin veya yeni bir Lakehouse oluşturun ve ardından İleri'yi seçin.

    Screenshot showing the selection of a Lakehouse destination in the Copy assistant.

  7. Lakehouse hedefi için kopyalanacak veriler için bir hedef tablo adı girin ve İleri'yi seçin.

    Screenshot showing the destination table name to be used in the Lakehouse destination.

  8. Kopyalama yardımcısı'nın son sayfasındaki özeti gözden geçirin ve Tamam'ı seçin.

    Screenshot showing the summary page of the Copy assistant with details of the configured connections.

  9. Tamam'ı seçtikten sonra yeni Kopyalama etkinliği işlem hattı tuvaline eklenir.

    Screenshot showing the pipeline canvas with the Copy activity added.

Verileri yüklemek için iki işlem hattı etkinliğini yürütme

  1. Betik ve Kopyalama veri etkinliklerini BağlanBetik etkinliğinden başarılı olduğunda.

    Screenshot showing the connection of the two activities on success of the Script activity.

  2. Çalıştır'ı seçin ve ardından kaydet ve çalıştır'ı seçerek işlem hattındaki iki etkinliği çalıştırın.

    Screenshot showing the pipeline Run button.

    Screenshot showing the Save and run button for the pipeline.

  3. İşlem hattı başarıyla çalıştırıldıktan sonra daha fazla bilgi için ayrıntıları görüntüleyebilirsiniz.

    Screenshot showing the view pipeline run details button.

    Screenshot showing the run details for the pipeline.

  4. Çalışma alanına geçin ve sonuçları denetlemek için Lakehouse'ı seçin.

    Screenshot showing the workspace with the Lakehouse destination highlighted.

  5. Lakehouse'a yüklenen dat'ı görüntülemek için SynapseNamesTable tablosunu seçin.

    Screenshot showing the results in the SynapseNamesTable in Lakehouse.

Bu örnek, sonuçları Lakehouse'a yüklemeden önce saklı yordamla verileri ön işlemeyi gösterir. Şunları öğrendiniz:

  • Saklı yordam çalıştırmak için Betik etkinliğiyle bir veri işlem hattı oluşturun.
  • Önceden işlenmiş tablo verilerini Lakehouse'a yüklemek için bir işlem hattı etkinliği kullanın.
  • Verileri yüklemek için işlem hattı etkinliklerini yürütür.

Ardından işlem hattı çalıştırmalarınızı izleme hakkında daha fazla bilgi edinmek için ilerleyin.