Copier des données depuis une base de données SQL Server vers un stockage Blob Azure à l’aide de l’outil Copier les données

Article
08/10/2023

S’APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Conseil

Essayez Data Factory dans Microsoft Fabric, une solution d’analyse tout-en-un pour les entreprises. Microsoft Fabric couvre tous les aspects, du déplacement des données à la science des données, en passant par l’analyse en temps réel, l’aide à la décision et la création de rapports. Découvrez comment démarrer un nouvel essai gratuitement !

Dans ce didacticiel, vous utilisez le portail Azure pour créer une fabrique de données. Vous utilisez ensuite l’outil Copier les données pour créer un pipeline qui copie des données depuis une base de données SQL Server vers un stockage Blob Azure.

Notes

Si vous débutez avec Azure Data Factory, consultez Présentation d’Azure Data Factory.

Dans ce tutoriel, vous effectuerez les étapes suivantes :

Créer une fabrique de données.
Utiliser l’outil Copier les données pour créer un pipeline.
Surveiller les exécutions de pipeline et d’activité.

Prérequis

Abonnement Azure

Si vous n’avez pas d’abonnement Azure, créez un compte gratuit avant de commencer.

Rôles Azure

Pour créer des instances de fabrique de données, le compte d’utilisateur que vous utilisez pour vous connecter à Azure doit être un membre des rôles contributeur ou propriétaire, ou un administrateur de l’abonnement Azure.

Pour afficher les autorisations dont vous disposez dans l’abonnement, accédez au portail Azure. Dans l’angle supérieur droit, sélectionnez votre nom d’utilisateur, puis Autorisations. Si vous avez accès à plusieurs abonnements, sélectionnez l’abonnement approprié. Pour obtenir des exemples d’instructions sur l’ajout d’un utilisateur à un rôle, consultez Attribuer des rôles Azure à l’aide du portail Azure.

SQL Server 2014, 2016 et 2017

Dans le cadre de ce tutoriel, vous allez utiliser une base de données SQL Server comme magasin de données source. Le pipeline de la fabrique de données que vous allez créer dans ce tutoriel copie les données de cette base de données SQL Server (source) dans un stockage Blob (récepteur). Créez ensuite un tableau nommé emp dans votre base de données SQL Server, puis insérez-y quelques exemples d’entrées.

Exécutez SQL Server Management Studio. S’il n’est pas déjà installé sur votre machine, accédez à Télécharger SQL Server Management Studio.
Connectez-vous à votre instance SQL Server à l’aide de vos informations d’identification.
Créez un exemple de base de données. Dans l’arborescence, cliquez avec le bouton droit sur Bases de données, puis sur Nouvelle base de données.
Dans la fenêtre Nouvelle base de données, entrez un nom pour la base de données, puis cliquez sur OK.
Pour créer la table emp et y insérer quelques données d’exemple, exécutez le script de requête suivant sur la base de données. Dans l’arborescence, cliquez avec le bouton droit sur la base de données créée, puis sur Nouvelle requête.
```
CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
GO
```

Compte Azure Storage

Dans ce didacticiel, vous utilisez un compte de stockage Azure à usage général (stockage Blob plus spécifiquement) comme banque de données réceptrice/de destination. Si vous ne possédez pas de compte de stockage à usage général, consultez la section Créer un compte de stockage pour savoir comment en créer un. Le pipeline de la fabrique de données que vous allez créer dans ce tutoriel copie les données de la base de données SQL Server (source) dans ce stockage Blob (récepteur).

Obtenir le nom de compte de stockage et la clé de compte

Dans ce didacticiel, vous utilisez le nom et la clé de votre compte de stockage. Pour obtenir le nom et la clé de votre compte de stockage, procédez comme suit :

Connectez-vous au portail Azure avec votre nom d’utilisateur et votre mot de passe Azure.
Dans le volet gauche, sélectionnez Tous les services. Filtrez à l’aide du mot-clé Stockage, puis sélectionnez Comptes de stockage.
Dans la liste des comptes de stockage, appliquez un filtre pour votre compte de stockage (si nécessaire). Sélectionnez ensuite votre compte de stockage.
Dans la fenêtre Compte de stockage, sélectionnez Clés d’accès.
Dans les zones Nom du compte de stockage et key1, copiez les valeurs, puis collez-les dans le bloc-notes ou un autre éditeur pour une utilisation ultérieure dans le tutoriel.

Créer une fabrique de données

Dans le menu de gauche, sélectionnez Créer une ressource>Intégration>Data Factory.
Sur la page Nouvelle fabrique de données, entrez ADFTutorialDataFactory dans le champ Nom.

Le nom de la fabrique de données doit être un nom global unique. Si le message d’erreur suivant s’affiche pour le champ du nom, modifiez le nom de la fabrique de données (par exemple, votrenomADFTutorialDataFactory). Consultez l’article Azure Data Factory - Règles d’affectation des noms pour savoir comment nommer les règles Data Factory.
Sélectionnez l’abonnement Azure dans lequel vous voulez créer la fabrique de données.
Pour Groupe de ressources, réalisez l’une des opérations suivantes :
- Sélectionnez Utiliser l’existant, puis sélectionnez un groupe de ressources existant dans la liste déroulante.
- Sélectionnez Créer, puis entrez le nom d’un groupe de ressources.
  
  Pour plus d’informations sur les groupes de ressources, consultez Utilisation des groupes de ressources pour gérer vos ressources Azure.
Sous Version, sélectionnez V2.
Sous Emplacement, sélectionnez l’emplacement de la fabrique de données. Seuls les emplacements pris en charge sont affichés dans la liste déroulante. Les magasins de données (tels que le Stockage Azure et SQL Database) et les services de calcul (comme Azure HDInsight) utilisés par Data Factory peuvent se trouver dans d’autres emplacements/régions.
Sélectionnez Create (Créer).
Une fois la création terminée, la page Data Factory s’affiche comme sur l’image.
Sélectionnez Ouvrir dans la vignette Ouvrir Azure Data Factory Studio pour lancer l’interface utilisateur de Data Factory dans un onglet distinct.

Utiliser l’outil Copier les données pour créer un pipeline

Sur la page d’accueil d’Azure Data Factory, sélectionnez Ingérer pour lancer l’outil Copier des données.
Sur la page Propriétés de l’outil Copier des données, choisissez Tâche de copie intégrée sous Type de tâche et choisissez Exécuter une fois maintenant sous Cadence ou planification des tâches, puis sélectionnez Suivant.
Dans la page Banque de données sources, sélectionnez + Créer une connexion.
Sous Nouvelle connexion, recherchez SQL Server, puis sélectionnez Continuer.
Dans la boîte de dialogue Nouvelle connexion (SQL Server) , sous Nom, entrez SqlServerLinkedService. Sélectionnez + Nouveau sous Se connecter via le runtime d’intégration. Vous devez créer un runtime d’intégration auto-hébergé, le télécharger sur votre machine et l’inscrire auprès de Data Factory. Le runtime d’intégration auto-hébergé copie des données entre votre environnement local et le cloud.
Dans la boîte de dialogue Configuration du runtime d’intégration, sélectionnez Auto-hébergé. Sélectionnez Continuer.
Dans la boîte de dialogue Configuration du runtime d’intégration, sous Nom, entrez TutorialIntegrationRuntime. Sélectionnez ensuite Créer.
Dans la boîte de dialogue Configuration du runtime d’intégration, sélectionnez Cliquez ici pour lancer l’installation rapide pour cet ordinateur. Cette action installe le runtime d’intégration sur votre machine et l’inscrit auprès de Data Factory. Vous pouvez également utiliser l’option d’installation manuelle pour télécharger le fichier d’installation, l’exécuter et utiliser la clé pour inscrire le runtime d’intégration.
Exécutez l’application téléchargée. Vous pouvez voir l’état de l’installation rapide dans la fenêtre.
Dans la boîte de dialogue Nouvelle connexion (SQL Server) , vérifiez que TutorialIntegrationRuntime est sélectionné sous Se connecter via le runtime d’intégration. Ensuite, effectuez les étapes suivantes :

a. Dans le champ Nom, entrez SqlServerLinkedService.

b. Entrez le nom de votre instance SQL Server dans le champ Nom du serveur.

c. Entrez le nom de votre base de données locale dans le champ Nom de la base de données.

d. Sélectionnez l’authentification appropriée sous Type d’authentification.

e. Entrez le nom d’utilisateur ayant accès au SQL Server dans le champ Nom d’utilisateur.

f. Entrez le mot de passe correspondant à l’utilisateur.

g. Testez la connexion et sélectionnez Créer.
Sur la page Banque de données sources, assurez-vous que la connexion SQL Server nouvellement créée est sélectionnée dans le bloc Connexion. Ensuite, dans la section Tables sources, choisissez TABLES EXISTANTES et sélectionnez la table dbo.emp dans la liste, puis sélectionnez Suivant. Vous pouvez sélectionner n’importe quelle autre table en fonction de votre base de données.
Sur la page Appliquer le filtre, vous pouvez prévisualiser les données et visualiser le schéma des données d’entrée en sélectionnant le bouton Prévisualiser les données. Sélectionnez ensuite Suivant.
Sur la page Banque de données de destination, sélectionnez + Créer une connexion.
Dans Nouvelle connexion, recherchez et sélectionnez Stockage Blob Azure, puis cliquez sur Continuer.
Dans la boîte de dialogue Nouvelle connexion (Stockage Blob Azure) , procédez comme suit :

a. Dans le champ Nom, entrez AzureStorageLinkedService.

b. Sous Se connecter via le runtime d’intégration, sélectionnez TutorialIntegrationRuntime, puis sélectionnez Clé de compte sous Méthode d’authentification.

c. Sous Abonnement Azure, sélectionnez votre abonnement Azure dans la liste déroulante.

d. Sélectionnez votre compte de stockage dans la liste déroulante sous Nom du compte de stockage.

e. Testez la connexion et sélectionnez Créer.
Dans la boîte de dialogue Banque de données de destination, assurez-vous que la connexion Stockage Blob Azure nouvellement créée est sélectionnée dans le bloc Connexion. Puis, sous Chemin d’accès du dossier, entrez adftutorial/fromonprem. Vous avez créé le conteneur adftutorial dans le cadre des conditions préalables. Si le dossier de sortie n’existe pas (ici fromonprem), Data Factory le crée automatiquement. Vous pouvez également utiliser le bouton Parcourir pour parcourir le stockage d’objets blob et ses conteneurs/dossiers. Si vous ne spécifiez pas de valeur sous Nom de fichier, le nom de la source est utilisé par défaut (ici dbo.emp).
Dans la boîte de dialogue Paramètres de format de fichier, sélectionnez Suivant.
Dans la boîte de dialogue Paramètres, sous Nom de la tâche, entrez CopyFromOnPremSqlToAzureBlobPipeline, puis sélectionnez Suivant. L’outil Copier les données crée un pipeline avec le nom que vous spécifiez dans ce champ.
Dans la boîte de dialogue Résumé, vérifiez la valeur de tous les paramètres, puis sélectionnez Suivant.
Sur la page Déploiement, sélectionnez Surveiller pour surveiller le pipeline (tâche).
Une fois l’exécution du pipeline terminée, vous pouvez afficher l’état du pipeline que vous avez créé.
Dans la page « Exécutions de pipeline », sélectionnez Actualiser pour actualiser la liste. Sélectionnez le lien situé sous Nom du pipeline pour voir les détails de l’exécution d’activité ou réexécuter le pipeline.
Sur la page « Exécutions d’activité », sélectionnez le lien Détails (icône en forme de lunettes) sous la colonne Nom de l’activité pour plus d’informations sur l’opération de copie. Pour revenir à la page « Exécutions de pipeline », sélectionnez le lien Toutes les exécutions de pipeline dans le menu de navigation. Sélectionnez Actualiser pour actualiser l’affichage.
Vérifiez que le fichier de sortie apparaît bien dans le dossier fromonprem du conteneur adftutorial.
Sélectionnez l’onglet Auteur sur la gauche pour basculer en mode éditeur. Vous pouvez mettre à jour les services, jeux de données et pipelines liés créés par l’outil à l’aide de l’éditeur. Sélectionnez Code pour afficher le code JSON associé à l’entité ouverte dans l’éditeur. Pour plus de détails sur la modification de ces entités dans l’interface utilisateur de Data Factory, consultez la version du portail Azure de ce didacticiel.