Kopírování dat z databáze SQL Server do úložiště objektů blob Azure pomocí nástroje pro kopírování dat

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Návod

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

• Začněte bezplatnou zkušební verzi Fabric.
• Upgrade z Azure Data Factory do služby Data Factory v Microsoft Fabric

V tomto kurzu použijete portál Azure k vytvoření datové továrny. Potom pomocí nástroje pro kopírování dat vytvoříte kanál, který kopíruje data z databáze SQL Server do Azure Blob Storage.

Poznámka:

• Pokud s Azure Data Factory začínáte, přečtěte si téma Introduction do služby Data Factory.

V tomto kurzu budete provádět následující kroky:

• Vytvoření datové továrny
• Použijte nástroj pro kopírování dat k vytvoření pipeliny.
• Monitorujte kanál a běhy aktivit.

Požadavky

předplatné Azure

Než začnete, pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet.

Azure role

Vytvoření instancí datové továrny: Uživatelský účet, který používáte pro přihlášení k Azure, musí mít přiřazenou roli Contributor nebo Owner nebo musí být administrator předplatného Azure.

Pokud chcete zobrazit oprávnění, která máte v předplatném, přejděte na portál Azure. V pravém horním rohu vyberte své uživatelské jméno a pak vyberte Oprávnění. Pokud máte přístup k několika předplatným, vyberte odpovídající předplatné. Ukázkové pokyny k přidání uživatele do role najdete v tématu Assignování rolí Azure pomocí portálu Azure.

SQL Server 2014, 2016 a 2017

V tomto kurzu použijete databázi SQL Server jako úložiště dat source. Kanál v Data Factory, který vytvoříte v tomto kurzu, kopíruje data z této databáze SQL Server (zdroj) do úložiště Blob (cíl). Potom ve své databázi SQL Server vytvoříte tabulku s názvem emp a vložíte do tabulky několik ukázkových položek.

1. Spusťte SQL Server Management Studio. Pokud ještě není na vašem počítači nainstalovaný, přejděte na Stah SQL Server Management Studio.

2. Připojte se k instanci SQL Server pomocí svých přihlašovacích údajů.

3. Vytvořte ukázkovou databázi. Ve stromovém zobrazení klikněte pravým tlačítkem na Databáze a pak vyberte Nová databáze.

4. V okně Nová databáze zadejte název databáze a pak vyberte OK.

5. Vytvořte tabulku emp a vložte do ní nějaká ukázková data spuštěním následujícího skriptu dotazu proti databázi. Ve stromovém zobrazení klikněte pravým tlačítkem na databázi, kterou jste vytvořili, a pak vyberte Nový dotaz.

   CREATE TABLE dbo.emp
   (
       ID int IDENTITY(1,1) NOT NULL,
       FirstName varchar(50),
       LastName varchar(50)
   )
   GO
   
   INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
   INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
   GO
   

Azure úložiště účet

V tomto kurzu použijete účet úložiště Azure pro obecné účely (konkrétně úložiště objektů blob) jako cílové úložiště dat nebo datovou jímačku. Pokud účet úložiště pro obecné účely nemáte, přečtěte si téma Vytvoření účtu úložiště, kde najdete pokyny k jeho vytvoření. Kanál v datové továrně, který vytvoříte v tomto kurzu, kopíruje data z databáze SQL Server (zdroj) do tohoto úložiště objektů blob (jímka).

Získejte název účtu úložiště a klíč účtu

V tomto kurzu použijete název a klíč svého účtu úložiště. Název a klíč svého účtu úložiště získáte pomocí následujícího postupu:

1. Přihlaste se k portálu Azure pomocí svého uživatelského jména a hesla Azure.

2. V levém podokně vyberte Všechny služby. Proveďte filtrování pomocí klíčového slova úložiště a pak vyberte Účty úložiště.

   

3. V seznamu účtů úložiště vyfiltrujte, pokud je to potřeba, svůj účet úložiště. Pak vyberte svůj účet úložiště.

4. V okně Účet úložiště vyberte Přístupové klíče.

5. Zkopírujte hodnoty polí Název účtu úložiště a klíč1 a vložte je do Poznámkového bloku nebo jiného editoru pro pozdější použití v rámci kurzu.

Vytvoření datové továrny

1. V horní nabídce vyberte Vytvořit prostředek>Analýza>Datová továrna:

   

2. Na stránce Nová datová továrna v části Název zadejte ADFTutorialDataFactory.

   Název datové továrny musí být globálně jedinečný. Pokud se u pole s názvem zobrazí následující chybová zpráva, tak název datové továrny změňte (třeba na vaše_jméno_ADFTutorialDataFactory). Pravidla pro pojmenovávání artefaktů služby Data Factory najdete v tématu Data Factory – pravidla pojmenování.

   

3. Vyberte Azure předplatné, ve kterém chcete vytvořit službu Data Factory.

4. U položky Skupina prostředků proveďte jeden z následujících kroků:

   • Vyberte Použít existující a z rozevíracího seznamu vyberte existující skupinu prostředků.

   • Vyberte Vytvořit novou a zadejte název skupiny prostředků.

     Další informace o skupinách prostředků najdete v tématu Užití skupin prostředků ke správě prostředků Azure.

5. Jako Verzi vyberte V2.

6. V části Umístění vyberte umístění datové továrny. V rozevíracím seznamu se zobrazí pouze podporovaná umístění. Úložiště dat (například Azure Storage a SQL Database) a výpočty (například Azure HDInsight) používané službou Data Factory můžou být v jiných umístěních a oblastech.

7. Vyberte Vytvořit.

8. Po vytvoření se zobrazí stránka Datová továrna, jak je znázorněno na obrázku.

   

9. Výběrem Open na dlaždici Open Azure Data Factory Studio spusťte uživatelské rozhraní služby Data Factory na samostatné kartě.

Použijte nástroj Kopírování dat k vytvoření kanálu

1. Na domovské stránce Azure Data Factory vyberte Ingest a spusťte nástroj Pro kopírování dat.

   

2. Na stránce Vlastnosti nástroje Pro kopírování dat zvolte předdefinovaný úkol kopírování v části Typ úlohy a zvolte Spustit jednou v části Tempo úkolu nebo plán úkolu a pak vyberte Další.

3. Na stránce Zdrojové úložiště dat vyberte možnost + Vytvořit nové připojení.

4. V části New connection vyhledejte SQL Server a pak vyberte Continue.

5. V dialogovém okně Nové připojení (SQL server) v části Název zadejte SqlServerLinkedService. Vyberte +New v části Connect via integration runtime. Musíte vytvořit místní prostředí Integration Runtime, stáhnout ho na svůj počítač a zaregistrovat ho ve službě Data Factory. Na vlastním serveru hostovaná Integration Runtime kopíruje data mezi vaším místním prostředím a cloudem.

6. V dialogovém okně Nastavení prostředí Integration Runtime vyberte Místní prostředí. Potom vyberte Pokračovat.

   

7. V dialogovém okně Instalace prostředí Integration Runtime v části Název zadejte TutorialIntegrationRuntime. Pak vyberte Vytvořit.

8. V dialogovém okně Instalace prostředí Integration Runtime vyberte Kliknutím sem spusťte expresní instalaci pro tento počítač. Tato akce nainstaluje prostředí Integration Runtime na vašem počítači a zaregistruje ho ve službě Data Factory. Případně můžete využít možnost ruční instalace a stáhnout instalační soubor, spustit ho a použít klíč k registraci prostředí Integration Runtime.

9. Spusťte staženou aplikaci. V okně se zobrazí stav expresního nastavení.

   

10. V dialogovém okně New Connection (SQL Server) potvrďte, že TutorialIntegrationRuntime je vybraná v části Connect via integration runtime. Pak proveďte následující kroky:

    a. V části Název zadejte SqlServerLinkedService.

    b) V části Názevserveru zadejte název vaší instance SQL Server.

    c) V části Název databáze zadejte název vaší místní databáze.

    d. V části Typ ověřování vyberte odpovídající typ ověřování.

    e. V části Názvoživatele zadejte jméno uživatele s přístupem k SQL Server.

    f. Zadejte heslo pro uživatele.

    gram Otestujte připojení a vyberte Vytvořit.

    

11. Na stránce Zdrojový úložiště dat zkontrolujte, zda je v bloku Připojení vybráno nově vytvořené připojení SQL Server. Potom v části Zdrojové tabulky zvolte EXISTUJÍCÍ TABULKY a v seznamu vyberte tabulku dbo.emp a vyberte Další. Můžete vybrat jakoukoli jinou tabulku, která je založená na vaší databázi.

12. Na stránce Použít filtr můžete zobrazit náhled dat a zobrazit schéma vstupních dat výběrem tlačítka Náhled dat. Pak vyberte Další.

13. Na stránce Cílové úložiště dat vyberte + Vytvořit nové připojení.

14. V Nové připojení vyhledejte a vyberte Azure Blob Storage a pak vyberte Continue.

    

15. V dialogovém okně Nové připojení (Azure Blob Storage) proveďte následující kroky:

    a. Do pole Název zadejte AzureStorageLinkedService.

    b) V části Připojit přes prostředí Integration Runtime vyberte TutorialIntegrationRuntime a v části Metoda ověřování vyberte Klíč účtu.

    c) V části Azure předplatné vyberte v rozevíracím seznamu své předplatné Azure.

    d. V části Název účtu úložiště vyberte z rozevíracího seznamu svůj účet úložiště.

    e. Otestujte připojení a vyberte Vytvořit.

16. V dialogovém okně Destination data store zkontrolujte, jestli je v bloku Connection vybrané nově vytvořené připojení Azure Blob Storage. Poté v části Cesta k složce zadejte adftutorial/fromonprem. Kontejner adftutorial jste vytvořili jako součást požadavků. Pokud výstupní složka neexistuje (v tomto případě fromonprem), služba Data Factory ji automaticky vytvoří. Pomocí tlačítka Procházet můžete procházet úložiště objektů blob a jeho kontejnery a složky. Pokud do pole File name (Název souboru) nezadáte žádnou hodnotu, použije se ve výchozím nastavení název ze zdroje (v tomto případě dbo.emp).

    

17. V dialogovém okně File format settings (Nastavení formátu souboru) vyberte Next (Další).

18. V dialogovém okně Nastavení v části Název úlohy zadejte CopyFromOnPremSqlToAzureBlobPipeline a pak vyberte Další. Nástroj pro kopírování dat vytvoří kanál s názvem, který zadáte do tohoto pole.

19. V dialogovém okně Summary (Souhrn) zkontrolujte hodnoty všech nastavení a vyberte Next (Další).

20. Na stránce Nasazení vyberte Monitorovat a začněte monitorovat kanál (úlohu).

21. Po dokončení spuštění kanálu můžete zobrazit stav kanálu, který jste vytvořili.

22. Na stránce "Pipeline runs" vyberte Obnovit pro obnovení seznamu. Výběrem odkazu pod názvem kanálu zobrazíte podrobnosti o spuštění aktivity nebo znovu spustíte kanál.

    

23. Na stránce "Spuštění aktivit" vyberte odkaz Podrobnosti (ikona brýle) ve sloupci Název aktivity, kde najdete další podrobnosti o operaci kopírování. Pokud se chcete vrátit na stránku "Spuštění kanálu," vyberte odkaz "Všechna spuštění kanálu" v navigační nabídce. Jestliže chcete zobrazení aktualizovat, vyberte Aktualizovat.

    

24. Ověřte, že složka fromonprem kontejneru adftutorial obsahuje výstupní soubor.

25. Výběrem karty Autor na levé straně přepněte do režimu úprav. Pomocí editoru můžete aktualizovat propojené služby, datové sady a kanály vytvořené nástrojem. Vyberte Kód a zobrazte kód JSON přidružený k entitě otevřené v editoru. Podrobnosti o tom, jak tyto entity upravit v uživatelském rozhraní služby Data Factory, najdete v tématu verze portálu Azure tohoto kurzu.

    

Související obsah

Datový kanál v této ukázce kopíruje data z databáze SQL Server do úložiště BLOB. Naučili jste se:

• Vytvoření datové továrny
• Použijte nástroj pro kopírování dat k vytvoření pipeliny.
• Monitorujte kanál a běhy aktivit.

Seznam úložišť dat podporovaných službou Data Factory najdete v tématu popisujícím podporovaná úložiště dat.

Pokud se chcete dozvědět, jak hromadně kopírovat data ze zdroje do cíle, přejděte k následujícímu kurzu:

Hromadné kopírování dat