Kopiera data från en SQL Server-databas till Azure Blob Storage

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

I den här självstudien använder du Användargränssnittet för Azure Data Factory för att skapa en datafabrikspipeline som kopierar data från en SQL Server-databas till Azure Blob Storage. Du skapar och använder en lokal installation av Integration Runtime som flyttar data mellan lokala datalager och datalager i molnet.

Kommentar

Den här artikeln ger inte någon detaljerad introduktion till Data Factory. Mer information finns i Introduktion till Data Factory.

I den här självstudien får du göra följande:

• Skapa en datafabrik.
• Skapa en lokalt installerad integrationskörning.
• Skapa länkade tjänster för SQL Server och Azure Storage.
• Skapa datauppsättningar för SQL Server och Azure Blob.
• Skapa en pipeline med en kopieringsaktivitet för att flytta data.
• Starta en pipelinekörning.
• Övervaka pipelinekörningen.

Förutsättningar

Azure-prenumeration

Om du inte redan har en Azure-prenumeration kan du skapa ett kostnadsfritt konto innan du börjar.

Azure-roller

Om du vill skapa Data Factory-instanser måste det användarkonto du använder för att logga in på Azure vara tilldelad en deltagare eller ägare, eller vara en administratör för Azure-prenumerationen.

Gå till Azure Portal om du vill se vilka behörigheter du har i prenumerationen. Välj användarnamnet längst upp till höger och välj sedan Behörigheter. Om du har åtkomst till flera prenumerationer väljer du rätt prenumeration. Exempelinstruktioner om hur du lägger till en användare i en roll finns i Tilldela Azure-roller med hjälp av Azure-portalen.

SQL Server 2014, 2016 och 2017

I den här självstudien använder du en SQL Server-databas som källdatalager. Pipelinen i datafabriken som du skapar i den här självstudien kopierar data från den här SQL Server-databasen (källa) till Blob Storage (mottagare). Skapa sedan en tabell med namnet emp i SQL Server-databasen och infoga ett par exempelposter i tabellen.

1. Starta SQL Server Management Studio. Om det inte redan är installerat på datorn öppnar du Ladda ner SQL Server Management Studio.

2. Anslut till SQL Server-instansen med hjälp av dina autentiseringsuppgifter.

3. Skapa en exempeldatabas. I trädvyn högerklickar du på Databaser och sedan väljer du Ny databas.

4. I fönstret Ny databas anger du ett namn för databasen och sedan väljer du OK.

5. Skapa tabellen emp och infoga lite exempeldata i den genom att köra följande frågeskript mot databasen. I trädvyn högerklickar du på databasen du skapade och sedan väljer du Ny fråga.

    CREATE TABLE dbo.emp
    (
        ID int IDENTITY(1,1) NOT NULL,
        FirstName varchar(50),
        LastName varchar(50)
    )
    GO
   
    INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
    INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
    GO
   

Azure-lagringskonto

I den här självstudien använder du ett allmänt Azure Storage-konto (Blob Storage, för att vara specifik) som datalager för destination/mottagare. Om du inte har något allmänt Azure Storage-konto kan du läsa Skapa ett lagringskonto. Pipelinen i datafabriken som du skapar i den här självstudien kopierar data från SQL Server-databasen (källa) till Blob Storage (mottagare).

Hämta lagringskontots namn och åtkomstnyckel

Du använder namnet och nyckeln för lagringskontot i den här självstudien. Gör så här för att hämta namnet och nyckeln till lagringskontot:

1. Logga in på Azure Portal med användarnamnet och lösenordet för Azure.

2. Välj Alla tjänster i rutan till vänster. Filtrera genom att använda nyckelordet Lagring och välj sedan Lagringskonton.

   

3. I listan över lagringskonton filtrerar du efter ditt lagringskonto om det behövs. Välj sedan ditt lagringskonto.

4. I fönstret Lagringskonto väljer du Åtkomstnycklar.

5. I rutorna Lagringskontonamn och key1 kopierar du värdena och klistrar sedan in dem i Anteckningar eller annat redigeringsprogram så att du har dem när du behöver dem senare i självstudien.

Skapa containern adftutorial

I det här avsnittet skapar du en blobcontainer med namnet adftutorial i Blob Storage.

1. I fönstret Lagringskonto går du till Översikt och väljer sedan Containrar.

   

2. I fönstret Containrar väljer du + Container för att skapa en ny.

3. I fönstret Ny container, under Namn anger du adftutorial. Välj sedan Skapa.

4. I listan med containrar väljer du adftutorial som du nyss skapade.

5. Låt containerfönstret för adftutorial vara öppet. Du använder den för att verifiera utdata i slutet av självstudien. Data Factory skapar automatiskt utdatamappen i den här containern, så du behöver inte skapa en.

Skapa en datafabrik

I det här steget skapar du en datafabrik och startar sedan användargränssnittet för datafabriken för att skapa en pipeline i datafabriken.

1. Öppna webbläsaren Microsoft Edge eller Google Chrome. Just nu är det bara webbläsarna Microsoft Edge och Google Chrome som har stöd för Data Factory UI.

2. Välj Skapa en resursintegreringsdatafabrik>> på den vänstra menyn:

   

3. I fönstret Ny datafabrik, under Namn anger du ADFTutorialDataFactory.

   Namnet på datafabriken måste vara globalt unikt. Om följande felmeddelande visas för namnfältet ändrar du namnet på datafabriken (t.ex. dittnamnADFTutorialDataFactory). Se artikeln om namnregler för datafabriker för namnregler för datafabriksartefakter.

   

4. Välj den Azure-prenumeration som du vill skapa den nya datafabriken i.

5. Gör något av följande för Resursgrupp:

   • Välj Använd befintlig och välj en befintlig resursgrupp i listrutan.

   • Välj Skapa ny och ange namnet på en resursgrupp.

     Mer information om resursgrupper finns i Använda resursgrupper för att hantera Azure-resurser.

6. Under Version väljer du V2.

7. Under Plats väljer du en plats för datafabriken. Endast platser som stöds visas i listrutan. Datalagren (t.ex. lagring och SQL-databas) och beräkningarna (t.ex. Azure HDInsight) som används i Data Factory kan finnas i andra regioner.

8. Välj Skapa.

9. När datafabriken har skapats visas sidan Data Factory som på bilden:

   

10. Välj Öppna på panelen Öppna Azure Data Factory Studio för att starta användargränssnittet för Data Factory på en separat flik.

Skapa en pipeline

1. På startsidan för Azure Data Factory väljer du Orchestrate. En pipeline skapas automatiskt åt dig. Pipelinen visas i trädvyn och dess redigerare öppnas.

   

2. I panelen Allmänt under Egenskaper anger du SQLServerToBlobPipeline som Namn. Dölj sedan panelen genom att klicka på ikonen Egenskaper i det övre högra hörnet.

3. I verktygsrutan Aktiviteter expanderar du Flytta och transformera. Dra och släpp aktiviteten Kopiera på pipelinedesignytan. Ge aktiviteten namnet CopySqlServerToAzureBlobActivity.

4. I fönstret Egenskaper går du till fliken Källa och väljer + Ny.

5. I dialogrutan Ny datauppsättning söker du efter SQL Server. Välj SQL Server och välj sedan Fortsätt.

6. I dialogrutan Ange egenskaper under Namn anger du SqlServerDataset. Under Länkad tjänst väljer du + Ny. I det här steget skapar du en anslutning till källdatalagret (SQL Server-databasen).

7. I dialogrutan Ny länkad tjänst lägger du till Namn som SqlServerLinkedService. Under Anslut via integrationskörning väljer du +Nytt. I det här avsnittet kan du skapa en lokal Integration Runtime och koppla den till en lokal dator med SQL Server-databasen. En lokal Integration Runtime är den komponent som kopierar data från SQL Server-databasen på din dator till Blob Storage.

8. I dialogrutan Installation av Integration Runtime väljer du Lokalt installerad och väljer sedan Fortsätt.

9. Under namn anger du TutorialIntegrationRuntime. Välj sedan Skapa.

10. För Inställningar väljer du Klicka här för att starta expresskonfigurationen för den här datorn. Med den här åtgärden installeras integreringskörningen på datorn och registreras med Data Factory. Alternativt kan du använda det manuella installationsalternativet för att ladda ned installationsfilen, köra den och använda nyckeln för att registrera integreringskörning.

11. I expressinstallationsfönstret Integration Runtime (lokalt) väljer du Stäng när processen är klar.

    

12. I dialogrutan Ny länkad tjänst (SQL Server) bekräftar du att TutorialIntegrationRuntime har valts under Anslut via integrationskörning. Utför sedan följande steg:

    a. Under Namn anger du SqlServerLinkedService.

    b. Under Servernamn anger du namnet på SQL Server-instansen.

    c. Under Databasnamn anger du namnet på databasen med emp-tabellen.

    d. Under Autentiseringstyp väljer du den autentiseringstyp som Data Factory ska använda för att ansluta till SQL Server-databasen.

    e. Under Användarnamn och Lösenord anger du användarnamnet och lösenordet. Använd mydomain\myuser som användarnamn om det behövs.

    f. Välj Testanslutning. Det här steget är att bekräfta att Data Factory kan ansluta till din SQL Server-databas med hjälp av den lokala integrationskörningen som du skapade.

    g. Spara den länkade tjänsten genom att välja Skapa.

    

13. När den länkade tjänsten har skapats är du tillbaka på sidan Ange egenskaper för SqlServerDataset. Utför följande steg:

    a. Bekräfta att du ser SqlServerLinkedService i Länkad tjänst.

    b. Under Tabellnamn väljer du [dbo].[ emp].

    c. Välj OK.

14. Gå till fliken med SQLServerToBlobPipeline eller välj SQLServerToBlobPipeline i trädvyn.

15. Gå till fliken Mottagare längst ned i fönstret Egenskaper och välj + Ny.

16. I dialogrutan Ny datauppsättning väljer du Azure Blob Storage. Välj sedan Fortsätt.

17. I dialogrutan Välj format väljer du formattypen för dina data. Välj sedan Fortsätt.

    

18. I dialogrutan Ange egenskaper anger du AzureBlobDataset som Namn. Vid textrutan Länkad tjänst väljer du + Nytt.

19. I dialogrutan Ny länkad tjänst (Azure Blob Storage) anger du AzureStorageLinkedService som namn och väljer ditt lagringskonto i listan Med lagringskontonamn. Testa anslutningen och välj sedan Skapa för att distribuera den länkade tjänsten.

20. När den länkade tjänsten har skapats är du tillbaka på sidan Ange egenskaper . Välj OK.

21. Öppna datauppsättningen för mottagare. Gör följande på fliken Anslutning:

    a. I Länkad tjänst bekräftar du att AzureStorageLinkedService är vald.

    b. I Filsökväg anger du adftutorial/fromonprem för delen Container/Directory . Om utdatamappen inte finns i containern adftutorial skapas den automatiskt av Data Factory.

    c. För fildelen väljer du Lägg till dynamiskt innehåll.

    d. Lägg till @CONCAT(pipeline().RunId, '.txt')och välj sedan Slutför. Den här åtgärden byter namn på filen med PipelineRunID.txt.

22. Gå till fliken med pipelinen öppen eller välj pipelinen i trädvyn. I Sink Dataset (Datauppsättning för mottagare) bekräftar du att AzureBlobDataset är vald.

23. Verifiera pipelineinställningarna genom att välja Verifiera i verktygsfältet för pipelinen. Om du vill stänga pipvalideringsutdata väljer du >> ikonen.

24. Om du vill publicera entiteter som du skapade till Data Factory väljer du Publicera alla.

25. Vänta tills popup-fönstret Publicering har slutförts . Om du vill kontrollera publiceringsstatusen väljer du länken Visa meddelanden överst i fönstret. Stäng meddelandefönstret genom att klicka på Stäng.

Utlös en pipelinekörning

Välj Lägg till utlösare i verktygsfältet för pipelinen och välj sedan Utlösa nu.

Övervaka pipelinekörningen

1. Gå till fliken Övervaka . Du ser pipelinen som du utlöste manuellt i föregående steg.

2. Om du vill visa aktivitetskörningar som är associerade med pipelinekörningen väljer du länken SQLServerToBlobPipeline under PIPELINENAMN.

3. På sidan Aktivitetskörningar väljer du länken Information (glasögonbild) för att se information om kopieringsåtgärden. Om du vill gå tillbaka till vyn Pipelinekörningar väljer du Alla pipelinekörningar överst.

Verifiera utdata

Pipelinen skapar automatiskt utdatamappen med namnet fromonprem i adftutorial-blobcontainern. Bekräfta att du ser filen [pipeline().RunId].txt i utdatamappen.

Relaterat innehåll

Pipelinen i det här exemplet kopierar data från en plats till en annan i Blob Storage. Du har lärt dig att:

• Skapa en datafabrik.
• Skapa en lokalt installerad integrationskörning.
• Skapa länkade tjänster för SQL Server och lagring.
• Skapa datauppsättningar för SQL Server och Blob Storage.
• Skapa en pipeline med en kopieringsaktivitet för att flytta data.
• Starta en pipelinekörning.
• Övervaka pipelinekörningen.

Se Datalager som stöds för att få en lista över datalager som stöds av Data Factory.

Fortsätt till följande självstudiekurs för att lära dig att masskopiera data från en källa till ett mål:

Masskopiera data i molnet