Kopírování dat z úložiště objektů blob v Azure do SQL Database pomocí nástroje pro kopírování dat

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

V tomto kurzu pomocí webu Azure Portal vytvoříte datovou továrnu. Pak pomocí nástroje pro kopírování dat vytvoříte kanál, který kopíruje data z úložiště objektů blob v Azure do SQL Database.

Poznámka

Pokud se službou Azure Data Factory začínáte, přečtěte si téma Seznámení se službou Azure Data Factory.

V tomto kurzu budete provádět následující kroky:

  • Vytvoření datové továrny
  • Vytvoření kanálu pomocí nástroje pro kopírování dat
  • Monitorování spuštění aktivit a kanálu

Požadavky

  • Předplatné Azure: Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet před tím, než začnete.
  • Účet služby Azure Storage: Jako zdrojové úložiště dat použijte blob storage. Pokud účet Azure Storage nemáte, projděte si pokyny v tématu Vytvoření účtu úložiště.
  • Azure SQL Database: Jako úložiště dat jímky použijte SQL Database. Pokud nemáte SQL Database, přečtěte si pokyny v tématu Vytvoření SQL Database.

Vytvoření objektu blob a tabulky SQL

Provedením těchto kroků připravte úložiště objektů blob a SQL Database pro tento kurz.

Vytvoření zdrojového objektu blob

  1. Spusťte Poznámkový blok. Zkopírujte následující text a uložte ho na disk do souboru inputEmp.txt:

    FirstName|LastName
    John|Doe
    Jane|Doe
    
  2. Vytvořte kontejner adfv2tutorial a nahrajte do něj soubor inputEmp.txt. K provádění těchto úloh můžete použít Azure Portal nebo různé nástroje, jako je Průzkumník služby Azure Storage.

Vytvoření tabulky SQL jímky

  1. Pomocí následujícího skriptu SQL vytvořte ve svém SQL Database tabulku s názvem dbo.emp:

    CREATE TABLE dbo.emp
    (
        ID int IDENTITY(1,1) NOT NULL,
        FirstName varchar(50),
        LastName varchar(50)
    )
    GO
    CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);
    
  2. Povolte službám Azure přístup k SQL Serveru. Ověřte, že je pro váš server, na kterém běží SQL Database, povolené nastavení Povolit službám a prostředkům Azure přístup k tomuto serveru. Toto nastavení umožní službě Data Factory zapisovat data do vaší instance databáze. Pokud chcete toto nastavení ověřit a zapnout, přejděte na logické brány firewall zabezpečení > SQL Serveru > a virtuální sítě>, nastavte možnost Povolit službám a prostředkům Azure přístup k tomuto serveru na ZAPNUTO.

    Poznámka

    Možnost Povolit službám a prostředkům Azure přístup k tomuto serveru umožňuje síťový přístup k vašemu SQL Server z jakéhokoli prostředku Azure, nejen z prostředků ve vašem předplatném. Další informace najdete v tématu pravidla brány firewall serveru Azure SQL. Místo toho můžete použít privátní koncové body pro připojení ke službám Azure PaaS bez použití veřejných IP adres.

Vytvoření datové továrny

  1. V nabídce vlevo vyberte Vytvořit prostředek>Integration>Data Factory:

    Vytvoření nové datové továrny

  2. Do pole Název na stránce Nová datová továrna zadejte ADFTutorialDataFactory.

    Název datové továrny musí být globálně jedinečný. Možná se zobrazí následující chybová zpráva:

    Chybová zpráva o nové datové továrně pro duplicitní název

    Pokud se zobrazí chybová zpráva týkající se hodnoty názvu, zadejte jiný název datové továrny. Použijte například název vaše_jménoADFTutorialDataFactory. Pravidla pojmenování artefaktů služby Data Factory najdete v tématu Data Factory – pravidla pojmenování.

  3. Vyberte předplatné Azure, v rámci kterého se má nová datová továrna vytvořit.

  4. U položky Skupina prostředků proveďte jeden z následujících kroků:

    a. Vyberte Použít existující a z rozevíracího seznamu vyberte existující skupinu prostředků.

    b. Vyberte Vytvořit novou a zadejte název skupiny prostředků.

    Informace o skupinách prostředků najdete v tématu Použití skupin prostředků ke správě prostředků Azure.

  5. V části Verze vyberte V2.

  6. V části Umístění vyberte umístění datové továrny. V rozevíracím seznamu se zobrazí pouze podporovaná umístění. Úložiště dat (například služby Azure Storage a SQL Database) a výpočetní prostředí (například Azure HDInsight) používané datovou továrnou můžou být v jiných umístěních a oblastech.

  7. Vyberte Vytvořit.

  8. Po vytvoření se zobrazí domovská stránka Datová továrna.

    Domovská stránka Azure Data Factory s dlaždicí Otevřít Azure Data Factory Studio

  9. Pokud chcete Azure Data Factory uživatelské rozhraní spustit na samostatné kartě, vyberte na dlaždici Otevřít Azure Data Factory Studio.

Vytvoření kanálu pomocí nástroje pro kopírování dat

  1. Na domovské stránce Azure Data Factory vyberte dlaždici Ingestovat a spusťte nástroj pro kopírování dat.

    Snímek obrazovky znázorňující Azure Data Factory domovskou stránku

  2. Na stránce Vlastnosti nástroje pro kopírování dat zvolte v části Typ úlohymožnost Předdefinovaný úkol kopírování a pak vyberte Další.

    Snímek obrazovky se stránkou Vlastnosti

  3. Na stránce Source data store (Zdrojové úložiště dat) proveďte následující kroky:

    a. Vyberte + Vytvořit nové připojení a přidejte připojení.

    b. V galerii vyberte Azure Blob Storage a pak vyberte Pokračovat.

    c. Na stránce Nové připojení (Azure Blob Storage) vyberte ze seznamu předplatných Azure své předplatné Azure a v seznamu Název účtu úložiště vyberte svůj účet úložiště. Otestujte připojení a pak vyberte Vytvořit.

    d. Vyberte nově vytvořenou propojenou službu jako zdroj v bloku Připojení .

    e. V části Soubor nebo složka vyberte Procházet a přejděte do složky adfv2tutorial , vyberte souborinputEmp.txt a pak vyberte OK.

    f. Výběrem možnosti Další přejděte k dalšímu kroku.

    Nakonfigurujte zdroj.

  4. Na stránce Nastavení formátu souboru zaškrtněte políčko První řádek jako záhlaví. Všimněte si, že nástroj automaticky rozpozná oddělovače sloupců a řádků a výběrem tlačítka Náhled dat na této stránce můžete zobrazit náhled dat a schéma vstupních dat. Pak vyberte Další.

    Nastavení formátu souboru

  5. Na stránce Destination data store (Cílové úložiště dat) proveďte následující kroky:

    a. Vyberte + Vytvořit nové připojení a přidejte připojení.

    b. V galerii vyberte Azure SQL Database a pak vyberte Pokračovat.

    c. Na stránce Nové připojení (Azure SQL Database) vyberte z rozevíracího seznamu své předplatné Azure, název serveru a název databáze. Pak v části Typ ověřování vyberte Ověřování SQL a zadejte uživatelské jméno a heslo. Otestujte připojení a vyberte Vytvořit.

    Konfigurace Azure SQL DB

    d. Vyberte nově vytvořenou propojenou službu jako jímku a pak vyberte Další.

  6. Na stránce Cílové úložiště dat vyberte Použít existující tabulku a vyberte tabulku dbo.emp . Pak vyberte Další.

  7. Na stránce Mapování sloupců si všimněte, že druhý a třetí sloupec ve vstupním souboru jsou mapovány na sloupce Jméno a Příjmení tabulky emp . Upravte mapování, abyste se ujistili, že nedošlo k žádné chybě, a pak vyberte Další.

    Stránka mapování sloupců

  8. Na stránce Nastavení v části Název úlohy zadejte CopyFromBlobToSqlPipeline a pak vyberte Další.

    Nakonfigurujte nastavení.

  9. Na stránce Souhrn zkontrolujte nastavení a pak vyberte Další.

  10. Na stránce Nasazení vyberte Monitorovat a monitorujte kanál (úlohu).

    Monitorování kanálu

  11. Na stránce Spuštění kanálu vyberte Aktualizovat a aktualizujte seznam. Výběrem odkazu v části Název kanálu zobrazte podrobnosti o spuštění aktivity nebo znovu spusťte kanál.

    Spuštění kanálu

  12. Na stránce Spuštění aktivit vyberte odkaz Podrobnosti (ikona brýlí) ve sloupci Název aktivity , kde najdete další podrobnosti o operaci kopírování. Pokud se chcete vrátit do zobrazení Spuštění kanálu, vyberte v nabídce popis cesty odkaz Všechna spuštění kanálu . Jestliže chcete zobrazení aktualizovat, vyberte Aktualizovat.

    Monitorování spuštění aktivit

  13. Ověřte, že jsou data vložena do tabulky dbo.emp v SQL Database.

  14. Výběrem karty Autor na levé straně přepněte do režimu úprav. Pomocí editoru můžete aktualizovat propojené služby, datové sady a kanály vytvořené nástrojem. Podrobnosti o úpravách těchto entit v uživatelském rozhraní služby Data Factory najdete ve verzi tohoto kurzu pro Azure Portal.

    Vyberte kartu Autor.

Další kroky

Kanál v této ukázce kopíruje data z úložiště objektů blob do SQL Database. Naučili jste se:

  • Vytvoření datové továrny
  • Vytvoření kanálu pomocí nástroje pro kopírování dat
  • Monitorování spuštění aktivit a kanálu

Pokud se chcete dozvědět, jak kopírovat data z místního prostředí do cloudu, přejděte k následujícímu kurzu: