Läsa in data i Azure Synapse Analytics med hjälp av Azure Data Factory eller en Synapse-pipeline

Artikel
05/15/2024

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

Azure Synapse Analytics är en molnbaserad, skalbar databas som kan bearbeta stora mängder data, både relationsbaserade och icke-relationella. Azure Synapse Analytics bygger på MPP-arkitekturen (massively parallel processing) som är optimerad för arbetsbelastningar i företagets informationslager. Den erbjuder molnelasticitet med flexibiliteten att skala lagring och beräkning oberoende av varandra.

Det är nu enklare än någonsin att komma igång med Azure Synapse Analytics. Azure Data Factory och dess motsvarande pipelinefunktion i Azure Synapse tillhandahåller en fullständigt hanterad molnbaserad dataintegreringstjänst. Du kan använda tjänsten för att fylla i en Azure Synapse Analytics med data från ditt befintliga system och spara tid när du skapar dina analyslösningar.

Azure Data Factory- och Synapse-pipelines har följande fördelar när du läser in data i Azure Synapse Analytics:

Enkelt att konfigurera: En intuitiv 5-stegsguide utan skript.
Stöd för omfattande datalager: Inbyggt stöd för en omfattande uppsättning lokala och molnbaserade datalager. En detaljerad lista finns i tabellen med datalager som stöds.
Säker och kompatibel: Data överförs via HTTPS eller ExpressRoute. Den globala tjänstnärvaron säkerställer att dina data aldrig lämnar den geografiska gränsen.
Oöverträffad prestanda med hjälp av PolyBase: Polybase är det mest effektiva sättet att flytta data till Azure Synapse Analytics. Använd funktionen mellanlagringsblob för att uppnå höga belastningshastigheter från alla typer av datalager, inklusive Azure Blob Storage och Data Lake Store. (Polybase stöder Azure Blob Storage och Azure Data Lake Store som standard.) Mer information finns i Kopiera aktivitetsprestanda.

Den här artikeln visar hur du använder verktyget Kopiera data för att läsa in data från Azure SQL Database till Azure Synapse Analytics. Du kan följa liknande steg för att kopiera data från andra typer av datalager.

Kommentar

Mer information finns i Kopiera data till eller från Azure Synapse Analytics.

Förutsättningar

Azure-prenumeration: Om du inte har en Azure-prenumeration skapar du ett kostnadsfritt konto innan du börjar.
Azure Synapse Analytics: Informationslagret innehåller de data som kopieras från SQL-databasen. Om du inte har någon Azure Synapse Analytics kan du läsa anvisningarna i Skapa en Azure Synapse Analytics.
Azure SQL Database: Den här självstudien kopierar data från Adventure Works LT-exempeldatauppsättningen i Azure SQL Database. Du kan skapa den här exempeldatabasen i SQL Database genom att följa anvisningarna i Skapa en exempeldatabas i Azure SQL Database.
Azure Storage-konto: Azure Storage används som mellanlagringsblob i masskopieringsåtgärden. Om du inte har något Azure-lagringskonto finns det anvisningar i Skapa ett lagringskonto.

Skapa en datafabrik

Om du inte har skapat din datafabrik ännu följer du stegen i Snabbstart: Skapa en datafabrik med hjälp av Azure-portalen och Azure Data Factory Studio för att skapa en. När du har skapat den bläddrar du till datafabriken i Azure-portalen.
Välj Öppna på panelen Öppna Azure Data Factory Studio för att starta dataintegreringsprogrammet på en separat flik.

Läsa in data till Azure Synapse Analytics

På startsidan för Azure Data Factory eller Azure Synapse-arbetsytan väljer du panelen Mata in för att starta verktyget Kopiera data. Välj sedan den inbyggda kopieringsaktiviteten.
På sidan Egenskaper väljer du Inbyggd kopieringsaktivitet under Aktivitetstyp och väljer sedan Nästa.
Slutför följande steg på sidan Källdatalager :

Dricks

I den här självstudien använder du SQL-autentisering som autentiseringstyp för källdatalagret, men du kan välja andra autentiseringsmetoder som stöds:Tjänstens huvudnamn och hanterade identitet om det behövs. Mer information finns i motsvarande avsnitt i den här artikeln . Om du vill lagra hemligheter för datalager på ett säkert sätt rekommenderar vi också att du använder ett Azure Key Vault. Mer information finns i den här artikeln.
1. Välj + Ny anslutning.
2. Välj Azure SQL Database i galleriet och välj Fortsätt. Du kan skriva "SQL" i sökrutan för att filtrera anslutningsapparna.
3. På sidan Ny anslutning (Azure SQL Database) väljer du ditt servernamn och db-namn i listrutan och anger användarnamnet och lösenordet. Välj Testa anslutning för att verifiera inställningarna och välj sedan Skapa.
4. På sidan Källdatalager väljer du den nyligen skapade anslutningen som källa i avsnittet Anslutning .
5. I avsnittet Källtabeller anger du SalesLT för att filtrera tabellerna. Välj rutan (Markera alla) för att använda alla tabeller för kopian och välj sedan Nästa.
På sidan Använd filter anger du dina inställningar eller väljer Nästa. Du kan förhandsgranska data och visa schemat för indata genom att välja knappen Förhandsgranska data på den här sidan.
Slutför följande steg på sidan Måldatalager :

Dricks

I den här självstudien använder du SQL-autentisering som autentiseringstyp för måldatalagret, men du kan välja andra autentiseringsmetoder som stöds:Tjänstens huvudnamn och hanterade identitet om det behövs. Mer information finns i motsvarande avsnitt i den här artikeln . Om du vill lagra hemligheter för datalager på ett säkert sätt rekommenderar vi också att du använder ett Azure Key Vault. Mer information finns i den här artikeln.
1. Välj + Ny anslutning för att lägga till en anslutning.
2. Välj Azure Synapse Analytics i galleriet och välj Fortsätt.
3. På sidan Ny anslutning (Azure Synapse Analytics) väljer du ditt servernamn och db-namn i listrutan och anger användarnamnet och lösenordet. Välj Testa anslutning för att verifiera inställningarna och välj sedan Skapa.
4. På sidan Måldatalager väljer du den nyligen skapade anslutningen som mottagare i avsnittet Anslutning .
I avsnittet Tabellmappning granskar du innehållet och väljer Nästa. En intelligent tabellmappning visas. Källtabellerna mappas till måltabellerna baserat på tabellnamnen. Om det inte finns någon källtabell i målet skapar tjänsten en måltabell med samma namn som standard. Du kan också mappa en källtabell till en befintlig måltabell.
Granska innehållet på sidan Kolumnmappning och välj Nästa. Den intelligenta tabellmappningen baseras på kolumnnamnet. Om du låter tjänsten automatiskt skapa tabellerna kan datatypkonvertering ske när det finns inkompatibiliteter mellan käll- och målarkiven. Om det finns en datatypskonvertering som inte stöds mellan käll- och målkolumnen visas ett felmeddelande bredvid motsvarande tabell.
Slutför följande steg på sidan Inställningar :
1. Ange CopyFromSQLToSQLDW för fältet Aktivitetsnamn .
2. I avsnittet Mellanlagringsinställningar väljer du + Ny till ny mellanlagring. Lagringen används för att mellanlagring av data innan de läses in i Azure Synapse Analytics med hjälp av PolyBase. När kopian är klar rensas interimdata i Azure Blob Storage automatiskt.
3. På sidan Ny länkad tjänst väljer du ditt lagringskonto och väljer Skapa för att distribuera den länkade tjänsten.
4. Avmarkera standardalternativet Använd typ och välj sedan Nästa.
På sidan Sammanfattning granskar du inställningarna och väljer Nästa.
Välj Övervaka på sidan Distribution för att övervaka pipelinen (aktiviteten).
Observera att fliken Övervaka till vänster väljs automatiskt. När pipelinekörningen har slutförts väljer du länken CopyFromSQLToSQLDW under kolumnen Pipelinenamn för att visa aktivitetskörningsinformation eller köra pipelinen igen.
- Azure Data Factory
- Azure Synapse

Om du vill växla tillbaka till pipelinekörningsvyn väljer du länken Alla pipelinekörningar längst upp. Om du vill uppdatera listan väljer du Refresh (Uppdatera).
Om du vill övervaka körningsinformationen för varje kopieringsaktivitet väljer du länken Information (glasögonikon) under Aktivitetsnamn i aktivitetskörningsvyn. Du kan övervaka information som mängden data som kopieras från källan till mottagaren, dataflödet, körningsstegen med motsvarande varaktighet och använda konfigurationer.