Ingestování dat do Azure Data Lake Storage Gen2

V tomto článku se dozvíte, jak ingestovat data z jednoho umístění do jiného v účtu úložiště Azure Data Lake Gen2 (Azure Data Lake Gen2) pomocí Azure Synapse Analytics.

Požadavky

  • Předplatné Azure: Pokud nemáte předplatné Azure, vytvořte si bezplatný účet Azure , než začnete.
  • Účet Azure Storage: Jako zdrojové úložiště dat používáte Azure Data Lake Gen2. Pokud účet úložiště nemáte, přečtěte si téma Vytvoření účtu služby Azure Storage , kde najdete postup jeho vytvoření.

Vytvoření propojených služeb

V Azure Synapse Analytics definujete informace o připojení k jiným službám jako propojená služba. V této části přidáte Azure Synapse Analytics a Azure Data Lake Gen2 jako propojené služby.

  1. Otevřete uživatelské prostředí Azure Synapse Analytics a přejděte na kartu Správa.
  2. V části Externí připojení vyberte Propojené služby.
  3. Pokud chcete přidat propojenou službu, vyberte Nová.
  4. V seznamu vyberte dlaždici Azure Data Lake Storage Gen2 a vyberte Pokračovat.
  5. Zadejte přihlašovací údaje pro ověřování. Klíč účtu, instanční objekt a spravovaná identita jsou aktuálně podporované typy ověřování. Vyberte test připojení a ověřte správnost přihlašovacích údajů.
  6. Po dokončení vyberte Vytvořit.

Vytvoření kanálu

Kanál obsahuje logický tok pro provádění sady aktivit. V této části vytvoříte kanál obsahující aktivitu kopírování, která ingestuje data z Azure Data Lake Gen2 do vyhrazeného fondu SQL.

  1. Přejděte na kartu Orchestrate (Orchestrace ). Vyberte ikonu plus vedle záhlaví kanálů a vyberte Kanál.
  2. V části Přesunout a transformovat v podokně aktivit přetáhněte kopírovat data na plátno kanálu.
  3. Vyberte aktivitu kopírování a přejděte na kartu Zdroj . Vyberte Nová a vytvořte novou zdrojovou datovou sadu.
  4. Jako úložiště dat vyberte Azure Data Lake Storage Gen2 a pak pokračovat.
  5. Jako formát vyberte DelimitedText a vyberte Pokračovat.
  6. V podokně nastavit vlastnosti vyberte propojenou službu ADLS, kterou jste vytvořili. Zadejte cestu k souboru zdrojových dat a určete, jestli má první řádek záhlaví. Schéma můžete importovat z úložiště souborů nebo z ukázkového souboru. Po dokončení vyberte OK.
  7. Přejděte na kartu Jímka . Vyberte Nová a vytvořte novou datovou sadu jímky.
  8. Jako úložiště dat vyberte Azure Data Lake Storage Gen2 a pak pokračovat.
  9. Jako formát vyberte DelimitedText a vyberte Pokračovat.
  10. V podokně nastavit vlastnosti vyberte propojenou službu ADLS, kterou jste vytvořili. Zadejte cestu ke složce, do které chcete zapisovat data. Po dokončení vyberte OK.

Ladění a publikování kanálu

Po dokončení konfigurace kanálu můžete před publikováním artefaktů spustit spuštění ladění, abyste ověřili, že je všechno v pořádku.

  1. K ladění kanálu vyberte na panelu nástrojů Ladit. Na kartě Výstup v dolní části okna se zobrazí stav spuštění kanálu.
  2. Po úspěšném spuštění kanálu na horním panelu nástrojů vyberte Publikovat vše. Tato akce publikuje entity (datové sady a kanály), které jste vytvořili, do služby Synapse Analytics.
  3. Počkejte, dokud se nezobrazí zpráva Publikování proběhlo úspěšně. Pokud chcete zobrazit oznámení, vyberte tlačítko zvonku v pravém horním rohu.

Aktivace a monitorování kanálu

V tomto kroku ručně aktivujete kanál publikovaný v předchozím kroku.

  1. Na panelu nástrojů vyberte Přidat aktivační událost a pak vyberte Aktivovat. Na stránce Spuštění kanálu vyberte Dokončit.
  2. Přejděte na kartu Monitorování na levém bočním panelu. Zobrazí se stav ručně aktivovaného spuštění kanálu. Pomocí odkazů ve sloupci Akce můžete zobrazit podrobnosti o aktivitě a spustit kanál znovu.
  3. Pokud se chcete podívat na spuštění aktivit, která souvisí se spuštěním kanálu, vyberte odkaz Zobrazit spuštění aktivit ve sloupci Akce. V tomto příkladu je jenom jedna aktivita, takže se v seznamu zobrazí jenom jedna položka. Podrobnosti o operaci kopírování zobrazíte výběrem odkazu Podrobnosti (ikona brýlí) ve sloupci Akce. Výběrem možnosti Spuštění kanálu v horní části se vraťte do zobrazení Spuštění kanálu. Jestliže chcete zobrazení aktualizovat, vyberte Aktualizovat.
  4. Ověřte, že jsou vaše data správně zapsaná ve vyhrazeném fondu SQL.

Další kroky

Další informace o integraci dat pro Azure Synapse Analytics najdete v článku Ingestování dat do vyhrazeného fondu SQL.