Gegevens kopiëren vanuit Azure Blob-opslag naar een SQL Database met het hulpprogramma Gegevens kopiëren

Artikel
10/03/2024

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In deze zelfstudie gebruikt u Azure Portal om een gegevensfactory te maken. Vervolgens gebruikt u het hulpprogramma Gegevens kopiëren om een pijplijn te maken waarmee gegevens uit Azure Blob-opslag worden gekopieerd naar een SQL Database.

Notitie

Zie Inleiding tot Azure Data Factory als u niet bekend bent met Azure Data Factory.

In deze zelfstudie voert u de volgende stappen uit:

Een data factory maken.
Het hulpprogramma Copy Data gebruiken om een pijplijn te maken.
De uitvoering van de pijplijn en van de activiteit controleren.

Vereisten

Azure-abonnement: als u nog geen abonnement op Azure hebt, maakt u een gratis Azure-account aan voordat u begint.
Azure Storage-account: Gebruik Blob Storage als brongegevensarchief. Als u geen Azure-opslagaccount hebt, raadpleegt u de instructies in Een opslagaccount maken.
Azure SQL Database: gebruik een SQL Database als de sinkgegevensopslag . Als u geen SQL Database hebt, raadpleegt u de instructies in Een SQL Database maken.

De SQL-database voorbereiden

Sta Azure-services toegang toe tot de logische SQL Server van uw Azure SQL Database.

Controleer of de instelling Azure-services en -resources toegang geven tot deze server is ingeschakeld voor uw server waarop SQL Database wordt uitgevoerd. Met deze instelling kan Data Factory gegevens naar uw database-instantie schrijven. Als u deze instelling wilt controleren en inschakelen, gaat u naar logische SQL Server-beveiligingsfirewalls > > en virtuele netwerken > stelt u de optie Azure-services en -resources toegang verlenen tot deze serveroptie in op AAN.

Notitie

De optie om Azure-services en -resources toegang te geven tot deze server , maakt netwerktoegang tot uw SQL Server mogelijk vanuit elke Azure-resource, niet alleen die in uw abonnement. Het is mogelijk niet geschikt voor alle omgevingen, maar is geschikt voor deze beperkte zelfstudie. Zie Firewallregels voor Azure SQL Server voor meer informatie. In plaats daarvan kunt u privé-eindpunten gebruiken om verbinding te maken met Azure PaaS-services zonder openbare IP-adressen te gebruiken.

Een blob en een SQL-tabel maken

Bereid uw Blob-opslag en de SQL Database voor voor gebruik tijdens de zelfstudie, door de volgende stappen uit te voeren.

Een bron-blob maken

Start Kladblok. Kopieer de volgende tekst en sla deze op schijf op in een bestand met de naaminputEmp.txt:
```
FirstName|LastName
John|Doe
Jane|Doe
```
Maak een container met de naam adfv2tutorial en upload het bestand inputEmp.txt naar de container. U kunt de Azure Portal of verschillende hulpprogramma's gebruiken zoals Azure Storage Explorer om deze taken uit te voeren.

Een SQL-sink-tabel maken

Gebruik het volgende SQL-script om een tabel te maken met de naam dbo.emp in uw SQL Database:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO
CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Een data factory maken

Selecteer in het linkermenu Een resource maken>Integratie>Data Factory:
Voer op de pagina Nieuwe data factoryADFTutorialDataFactory in bij Naam.

De naam van de data factory moet wereldwijd uniek zijn. Mogelijk wordt het volgende foutbericht weergegeven:

Als u een foutbericht ontvangt dat betrekking heeft op de waarde die bij de naam is ingevuld, voert u een andere naam in voor de data factory. Gebruik bijvoorbeeld de naam uwnaamADFTutorialDataFactory. Raadpleeg het onderwerp Data Factory - Naamgevingsregels voor meer informatie over naamgevingsregels voor Data Factory-artefacten.
Selecteer het Azure-abonnement waarin u de nieuwe data factory wilt maken.
Voer een van de volgende stappen uit voor Resourcegroep:

a. Selecteer Bestaande gebruiken en selecteer een bestaande resourcegroep in de vervolgkeuzelijst.

b. Selecteer Nieuwe maken en voer de naam van een resourcegroep in.

Zie Resourcegroepen gebruiken om Azure-resources te beheren voor meer informatie.
Selecteer bij Versie de optie V2 als de versie.
Selecteer bij Locatie de locatie voor de data factory. In de vervolgkeuzelijst worden alleen ondersteunde locaties weergegeven. De gegevensarchieven (bijvoorbeeld Azure Storage en SQL Database) en -berekeningen (bijvoorbeeld Azure HDInsight) die door uw data factory worden gebruikt, kunnen zich in andere locaties of regio's bevinden.
Selecteer Maken.
Nadat de data factory is gemaakt, wordt de startpagina Data Factory weergegeven.
Als u de gebruikersinterface (UI) van Azure Data Factory op een afzonderlijk tabblad wilt starten, selecteert u Openen op de tegel Azure Data Factory Studio openen.

Het hulpprogramma Copy Data gebruiken om een pijplijn te maken

Selecteer op de startpagina van Azure Data Factory de tegel Opnemen om het hulpprogramma Copy Data te starten.
Kies op de pagina Eigenschappen van het hulpprogramma Gegevens kopiëren de optie Ingebouwde kopieertaak onder Taaktype en selecteer Vervolgens.
Voltooi op de pagina Brongegevensarchief de volgende stappen:

a. Selecteer + Nieuwe verbinding maken om een verbinding toe te voegen.

b. Selecteer in de galerie de optie Azure Blob Storage. Selecteer vervolgens Doorgaan.

c. Selecteer op de pagina Nieuwe verbinding (Azure Blob Storage) uw Azure-abonnement in de lijst met Azure-abonnementen en selecteer uw opslagaccount in de lijst met opslagaccountnamen . Test de verbinding en selecteer vervolgens Maken.

d. Selecteer de zojuist gemaakte gekoppelde service als bron in het verbindingsblok .

e. Selecteer Bladeren in de sectie Bestand of map om naar de map adfv2tutorial te navigeren, selecteer het inputEmp.txt bestand en selecteer VERVOLGENS OK.

f. Selecteer Volgende om naar de volgende stap te gaan.
Schakel op de pagina Instellingen bestandsindeling het selectievakje voor Eerste rij als header in. U ziet dat het hulpprogramma automatisch de scheidingstekens voor kolommen en rijen detecteert en u gegevens kunt bekijken en het schema van de invoergegevens kunt bekijken door op deze pagina de knop Voorbeeld van gegevens te selecteren. Selecteer Volgende.
Voltooi op de pagina Doelgegevensarchief de volgende stappen:

a. Selecteer + Nieuwe verbinding maken om een verbinding toe te voegen.

b. Selecteer in de galerie de optie Azure SQL Database. Selecteer vervolgens Doorgaan.

c. Selecteer op de pagina Nieuwe verbinding (Azure SQL Database) uw Azure-abonnement, servernaam en databasenaam in de vervolgkeuzelijst. Selecteer vervolgens SQL-verificatie onder Verificatietype, geef de gebruikersnaam en het wachtwoord op. Test de verbinding en selecteer Maken.

d. Selecteer de zojuist gemaakte gekoppelde service als sink en selecteer vervolgens Volgende.
Selecteer op de pagina Doelgegevensarchief bestaande tabel gebruiken en selecteer de dbo.emp tabel. Selecteer Volgende.
Op de pagina Kolomtoewijzing ziet u dat de tweede en derde kolom in het invoerbestand zijn toegewezen aan de kolommen FirstName en LastName van de tabel emp. Pas de toewijzing aan om ervoor te zorgen dat er geen fout is en selecteer vervolgens Volgende.
Voer op de pagina Instellingen, onder Taaknaam, CopyFromBlobToSqlPipeline in en selecteer vervolgens Volgende.
Bekijk op de Overzichtspagina de waarden voor alle instellingen en selecteer vervolgens Volgende.
Selecteer op de pagina Implementatie de optie Controleren om de pijplijn of taak te controleren.
Selecteer op de pagina Pijplijnuitvoeringen Vernieuwen om de lijst te vernieuwen. Selecteer de koppeling onder Pijplijnnaam om details van de activiteitsuitvoering weer te geven of voer de pijplijn opnieuw uit.
Selecteer op de pagina 'Uitvoeringen van activiteit' de koppeling Details (brilpictogram) onder de kolom Activiteitsnaam voor meer informatie over de kopieerbewerking. Als u wilt teruggaan naar de weergave Pijplijnuitvoeringen, selecteert u de koppeling Alle pijplijnuitvoeringen in het breadcrumb-menu. Selecteer Vernieuwen om de weergave te vernieuwen.
Controleer of de gegevens zijn opgenomen in de tabel dbo.emp in uw SQL Database.
Selecteer het tabblad Auteur aan de linkerkant om over te schakelen naar de bewerkingsmodus. U kunt de gekoppelde services, gegevenssets en pijplijnen die zijn gemaakt met het hulpprogramma, bijwerken met behulp van de editor. Bekijk de Azure Portal-versie van deze tutorial voor details over het bewerken van entiteiten in de Data Factory-UI.