Înțelegerea instrumentelor de mișcare a datelor disponibile

  • 8 minute

Punctul final REST este o resursă utilă pentru a importa date în baza de date AZURE SQL. Cu toate acestea, alte instrumente pentru mișcarea datelor includ Azure Data Factory (ADF), Programul de copiere în masă (BCP), Expertul import și export SQL Server și scripturi în Azure CLI și PowerShell. Aceste instrumente oferă diverse opțiuni pentru mișcarea datelor, fiecare potrivit pentru scenarii diferite.

În această unitate, vom vedea exemple pas cu pas pentru unele dintre aceste instrumente, în timp ce altele vor fi explicate în detaliu.

Utilizarea sincronizării datelor SQL pentru a sincroniza datele

Sincronizarea datelor SQL este o caracteristică din baza de date SQL Azure care vă permite să sincronizați datele în mai multe baze de date, atât în cloud, cât și la nivel local. Această capacitate este esențială pentru menținerea consistenței datelor și activarea scenariilor hibride în cloud. Sincronizarea datelor SQL este un serviciu construit pe baza bazei de date SQL Azure, care vă permite să sincronizați datele selectate bidirecial în mai multe baze de date. Acesta utilizează o topologie hub-and-spoke, unde o bază de date acționează ca hub și altele ca membri. Baza de date hub trebuie să fie o bază de date Azure SQL, în timp ce bazele de date membre pot fi baze de date Azure SQL sau baze de date SQL Server.

Diagramă afișând arhitectura sincronizării datelor SQL.

Configurarea sincronizării datelor SQL

  1. Creați un grup de sincronizare: Pentru a configura sincronizarea datelor, conectați-vă la portalul Azure și navigați la baza de date SQL Azure. Sub secțiunea Gestionare date , selectați Sincronizare cu alte baze de date. Apoi selectați Grup de sincronizare nou și configurați setările de grup de sincronizare, inclusiv numele grupului de sincronizare și baza de date de metadate de sincronizare.

    Captură de ecran care arată cum să creați un grup de sincronizare a datelor în portalul Azure.

  2. Adăugați membri de sincronizare: Pentru a adăuga bazele de date pe care doriți să le sincronizați, puteți include alte baze de date Azure SQL sau baze de date SQL Server locale. Pentru bazele de date locale, trebuie să instalați și să configurați un agent de sincronizare local.

  3. Configurarea setărilor de sincronizare: Pentru a defini schema de sincronizare, specificați tabelele și coloanele de sincronizat. Setați direcția de sincronizare (bidirecțional, hub-to-member sau membru-to-hub) și frecvența de sincronizare. În cele din urmă, alegeți o politică de rezolvare a conflictelor (hubul câștigă sau membrul câștigă) pentru a gestiona conflictele de date.

  4. Monitorizați și gestionați sincronizarea: Pentru a monitoriza starea sincronizării și jurnalele, utilizați portalul Azure. Verificați dacă există erori de sincronizare și rezolvați-le după cum este necesar.

Utilizarea Azure Data Factory pentru a manipula datele din baza de date SQL Azure

Azure Data Factory (ADF) este un serviciu de integrare a datelor complet gestionat, bazat pe cloud, care vă permite să creați fluxuri de lucru bazate pe date pentru orchestrarea și automatizarea mișcării datelor și a transformării datelor. Acesta acceptă o gamă largă de surse de date și destinații și procese complexe de extragere-transformare (ETL), procese de extragere-încărcare (ELT), făcându-l un instrument versatil pentru activitățile de integrare a datelor.

Cu ADF, vă puteți proiecta propriul proces de orchestrare și integrare a datelor.

  1. Creați o resursă Data Factory: Aceasta este resursa care încapsulează toate activitățile de integrare și transformare a datelor.

    • Pe portalul Azure, navigați la Creați o resursă și căutați "Fabrici de date".
    • Completați detaliile necesare, cum ar fi abonamentul, grupul de resurse și regiunea, apoi selectați Creare.

  2. Creare servicii legate: Serviciile legate sunt utilizate pentru a defini informațiile de conexiune pentru sursele de date și destinațiile.

    • În Azure Data Factory, selectați Gestionare , apoi selectați Servicii legate.
    • Creați un nou serviciu legat pentru baza de date Azure SQL, furnizând detaliile de conexiune necesare.

  3. Creare seturi de date: Seturile de date reprezintă structurile de date din cadrul datelor stochează activitățile dintr-o utilizare a canalului.

    • În Azure Data Factory, accesați fila Autor .
    • Selectați + (plus) și selectați Set de date.
    • Alegeți tipul de stocare de date (de exemplu, baza de date Azure SQL, Azure Blob Storage). De asemenea, furnizați detaliile de conexiune și proprietățile setului de date necesare.

  4. Crearea unui canal: Conductele sunt grupări logice ale activităților care efectuează o unitate de lucru.

    • În Azure Data Factory, selectați Autor și creați o nouă conductă.
    • Adăugați o activitate Copiere date la canal pentru a copia date din setul de date sursă în setul de date de destinație.

  5. Rulați conducta: Rularea canalului execută seria de activități pe care le-ați configurat.

    • Lansați canal pentru a începe procesul de copiere a datelor.
    • Monitorizați rularea canalului pentru a vă asigura că datele sunt importate cu succes.

Utilizarea BACPAC pentru a importa și a exporta date

Un fișier BACPAC este, în esență, un fișier ZIP cu extensia .bacpac, care conține schema bazei de date și datele. Este utilizat pentru migrarea, copierea backup și arhivarea bazei de date. Puteți să exportați o bază de date într-un fișier BACPAC și să o stocați în Spațiul de stocare blob Azure sau local și să o importați ulterior înapoi în baza de date SQL Azure, în Instanța gestionată Azure SQL sau în SQL Server. De asemenea, puteți utiliza fișiere BACPAC pentru a importa doar un subset de date. Această flexibilitate permite o abordare mai personalizată a mișcării datelor.

Puteți să importați și să exportați date cu fișiere BACPAC utilizând portalul Azure și SQL Server Management Studio (SSMS), dar puteți utiliza utilitarul SQLPackage.

Rulați următoarea comandă exemplu pentru a importa date într-un fișier BACPAC utilizând SQLPackage. Înlocuiți <ServerName>, , <DatabaseName><UserName><Password>, , și <PathToBacpacFile> în următoarele scripturi cu numele real de server, numele bazei de date, acreditările de utilizator și calea pentru fișierul BACPAC.

sqlpackage.exe /Action:Import /tsn:<ServerName> /tdn:<DatabaseName> /tu:<UserName> /tp:<Password> /sf:<PathToBacpacFile>

Rulați următoarea comandă exemplu pentru a exporta date într-un fișier BACPAC utilizând SQLPackage.

sqlpackage.exe /Action:Export /ssn:<ServerName> /sdn:<DatabaseName> /su:<UserName> /sp:<Password> /tf:<PathToBacpacFile>

Utilizare program de copiere în masă (BCP)

Utilitarul BCP este un instrument în linie de comandă care exportă tabele în fișiere, astfel încât să le puteți importa. Utilizați această abordare pentru a migra de la o singură bază de date SQL la Instanța gestionată SQL și înapoi.

Utilizare Expert import și export SQL Server

Expertul Import și export SQL Server este un instrument grafic în SSMS pentru importul și exportul datelor între SQL Server și multe surse de date. Un avantaj al Expertului import și export SQL Server este că utilizează SQL Server Integration Services (SSIS) pentru a copia date. SSIS este un instrument foarte configurabil pentru crearea proceselor de extragere, transformare și încărcare (ETL) care pot fi rulate atât pe instanțele SQL Server, cât și pe instanțele bazei de date SQL Azure.

Utilizarea Azure CLI și PowerShell

Puteți utiliza scripturi atât în Azure CLI, cât și în PowerShell pentru a automatiza procesele de import și export. Utilizarea scripturilor pentru import sau export este potrivită pentru integrarea în canale CI/CD, însă fiecare script necesită un grad ridicat de particularizare comparativ cu alte metode.

Pentru a afla mai multe despre alte instrumente disponibile pentru exportul și importul datelor, consultați Importul și exportul datelor din SQL Server și baza de date SQL Azure.