Kopírování dat ze služby Azure Blob Storage do služby SQL Database pomocí nástroje pro kopírování dat

Článek
11/08/2023

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

V tomto kurzu pomocí webu Azure Portal vytvoříte datovou továrnu. Potom pomocí nástroje pro kopírování dat vytvoříte kanál, který kopíruje data z úložiště objektů blob v Azure do služby SQL Database.

Poznámka:

Pokud se službou Azure Data Factory začínáte, přečtěte si téma Seznámení se službou Azure Data Factory.

V tomto kurzu budete provádět následující kroky:

Vytvoření datové továrny
Vytvoření kanálu pomocí nástroje pro kopírování dat
Monitorování spuštění aktivit a kanálu

Předpoklady

Předplatné Azure: Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet před tím, než začnete.
Účet služby Azure Storage: Jako zdrojové úložiště dat použijte úložiště objektů blob. Pokud účet Azure Storage nemáte, přečtěte si pokyny v tématu Vytvoření účtu úložiště.
Azure SQL Database: Jako úložiště dat jímky použijte službu SQL Database. Pokud databázi SQL nemáte, přečtěte si pokyny v tématu Vytvoření služby SQL Database.

Příprava databáze SQL

Povolte službám Azure přístup k logickému SQL Serveru služby Azure SQL Database.

Ověřte, že je pro váš server se spuštěnou službou SQL Database povolené nastavení Povolit službám a prostředkům Azure přístup k tomuto serveru . Toto nastavení umožní službě Data Factory zapisovat data do vaší instance databáze. Pokud chcete toto nastavení ověřit a zapnout, přejděte na logické brány firewall zabezpečení SQL Serveru > a virtuální sítě > a nastavte možnost Povolit službám a prostředkům Azure přístup k tomuto serveru na zapnuto.>

Poznámka:

Možnost Povolit službám a prostředkům Azure přístup k tomuto serveru umožňuje síťový přístup k SQL Serveru z libovolného prostředku Azure, nejen z prostředků Azure ve vašem předplatném. Nemusí být vhodné pro všechna prostředí, ale je vhodná pro tento omezený kurz. Další informace najdete v tématu Pravidla brány firewall pro Azure SQL Server. Místo toho se můžete pomocí privátních koncových bodů připojit ke službám Azure PaaS bez použití veřejných IP adres.

Vytvoření objektu blob a tabulky SQL

Pomocí těchto kroků připravte úložiště objektů blob a službu SQL Database na tento kurz.

Vytvoření zdrojového objektu blob

Spusťte Poznámkový blok. Zkopírujte následující text a uložte ho na disk do souboru inputEmp.txt:
```
FirstName|LastName
John|Doe
Jane|Doe
```
Vytvořte kontejner adfv2tutorial a nahrajte do něj soubor inputEmp.txt. K provádění těchto úloh můžete použít Azure Portal nebo různé nástroje, jako je Průzkumník služby Azure Storage.

Vytvoření tabulky SQL jímky

K vytvoření tabulky pojmenované dbo.emp ve službě SQL Database použijte následující skript SQL:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO
CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Vytvoření datové továrny

V nabídce vlevo vyberte Vytvořit službu Data Factory pro integraci>prostředků>:
Na stránce Nová datová továrna v části Název zadejte ADFTutorialDataFactory.

Název datové továrny musí být globálně jedinečný. Možná se zobrazí následující chybová zpráva:

Pokud se zobrazí chybová zpráva týkající se hodnoty názvu, zadejte jiný název datové továrny. Použijte například název vaše_jménoADFTutorialDataFactory. Pravidla pojmenování artefaktů služby Data Factory najdete v tématu Data Factory – pravidla pojmenování.
Vyberte předplatné Azure, v rámci kterého se má nová datová továrna vytvořit.
U položky Skupina prostředků proveďte jeden z následujících kroků:

a. Vyberte Použít existující a z rozevíracího seznamu vyberte existující skupinu prostředků.

b. Vyberte Vytvořit novou a zadejte název skupiny prostředků.

Informace o skupinách prostředků najdete v tématu Použití skupin prostředků ke správě prostředků Azure.
V části Verze vyberte V2.
V části Umístění vyberte umístění datové továrny. V rozevíracím seznamu se zobrazují jenom podporovaná umístění. Úložiště dat (například služby Azure Storage a SQL Database) a výpočetní prostředí (například Azure HDInsight) používané datovou továrnou můžou být v jiných umístěních a oblastech.
Vyberte Vytvořit.
Po vytvoření se zobrazí domovská stránka Datová továrna.
Pokud chcete spustit uživatelské rozhraní (UI) Azure Data Factory na samostatné kartě, vyberte Otevřít na dlaždici Otevřít Azure Data Factory Studio .

Vytvoření kanálu pomocí nástroje pro kopírování dat

Na domovské stránce služby Azure Data Factory vyberte dlaždici Ingestování a spusťte nástroj Pro kopírování dat.
Na stránce Vlastnosti nástroje Pro kopírování dat zvolte předdefinovaný úkol kopírování v části Typ úlohy a pak vyberte Další.
Na stránce Source data store (Zdrojové úložiště dat) proveďte následující kroky:

a. Vyberte + Vytvořit nové připojení pro přidání připojení.

b. V galerii vyberte Azure Blob Storage a pak vyberte Pokračovat.

c. Na stránce Nové připojení (Azure Blob Storage) vyberte své předplatné Azure ze seznamu předplatných Azure a ze seznamu názvů účtů úložiště vyberte svůj účet úložiště. Otestujte připojení a pak vyberte Vytvořit.

d. V bloku Připojení ion vyberte nově vytvořenou propojenou službu jako zdroj.

e. V části Soubor nebo složka vyberte Procházet a přejděte do složky adfv2tutorial, vyberte soubor inputEmp.txt a pak vyberte OK.

f. Výběrem možnosti Další přejdete k dalšímu kroku.
Na stránce Nastavení formátu souboru povolte zaškrtávací políčko pro první řádek jako záhlaví. Všimněte si, že nástroj automaticky rozpozná oddělovače sloupců a řádků a můžete zobrazit náhled dat a zobrazit schéma vstupních dat výběrem tlačítka Náhled dat na této stránce. Pak vyberte Další.
Na stránce Destination data store (Cílové úložiště dat) proveďte následující kroky:

a. Vyberte + Vytvořit nové připojení pro přidání připojení.

b. V galerii vyberte Azure SQL Database a pak vyberte Pokračovat.

c. Na stránce Nové připojení (Azure SQL Database) vyberte v rozevíracím seznamu vaše předplatné Azure, název serveru a název databáze. Potom v části Typ ověřování vyberte ověřování SQL a zadejte uživatelské jméno a heslo. Otestujte připojení a vyberte Vytvořit.

d. Vyberte nově vytvořenou propojenou službu jako jímku a pak vyberte Další.
Na stránce Cílové úložiště dat vyberte Použít existující tabulku a vyberte dbo.emp ji. Pak vyberte Další.
Na stránce mapování sloupců si všimněte, že druhý a třetí sloupec ve vstupním souboru jsou mapovány na sloupce FirstName a LastName v tabulce emp. Upravte mapování, abyste měli jistotu, že nedošlo k chybě, a pak vyberte Další.
Na stránce Nastavení v části Název úlohy zadejte CopyFromBlobToSqlPipeline a pak vyberte Další.
Na stránce Souhrn zkontrolujte nastavení a pak vyberte Další.
Na stránce Nasazení vyberte Monitorovat a začněte monitorovat kanál (úlohu).
Na stránce Spuštění kanálu vyberte Aktualizovat a aktualizujte seznam. Výběrem odkazu pod názvem kanálu zobrazíte podrobnosti o spuštění aktivity nebo znovu spustíte kanál.
Na stránce "Spuštění aktivit" vyberte odkaz Podrobnosti (ikona brýle) ve sloupci Název aktivity, kde najdete další podrobnosti o operaci kopírování. Pokud se chcete vrátit do zobrazení Spuštění kanálu, v nabídce s popisem cesty vyberte odkaz Všechna spuštění kanálu. Jestliže chcete zobrazení aktualizovat, vyberte Aktualizovat.
Ověřte, že se data vloží do tabulky dbo.emp ve vaší databázi SQL.
Výběrem karty Autor na levé straně přepněte do režimu úprav. Pomocí editoru můžete aktualizovat propojené služby, datové sady a kanály vytvořené nástrojem. Podrobnosti o úpravách těchto entit v uživatelském rozhraní služby Data Factory najdete ve verzi tohoto kurzu pro Azure Portal.