Kopírování dat z webové tabulky pomocí Azure Data Factory nebo Synapse Analytics

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

Tento článek popisuje, jak pomocí aktivity kopírování v kanálu Azure Data Factory nebo Synapse Analytics kopírovat data z databáze webové tabulky. Vychází z článku přehled kopírovací aktivita, který představuje obecný přehled kopírovací aktivity.

Rozdíl mezi tímto konektorem webové tabulky, konektorem REST a konektorem HTTP jsou:

  • Konektor webové tabulky extrahuje obsah tabulky z webové stránky HTML.
  • Konektor REST konkrétně podporuje kopírování dat z rozhraní RESTful API.
  • Konektor HTTP je obecný k načtení dat z libovolného koncového bodu HTTP, například ke stažení souboru.

Podporované funkce

Tento konektor webové tabulky je podporovaný pro následující funkce:

Podporované funkce IR
aktivita Copy (zdroj/-)
Vyhledávací aktivita

(1) Azure Integration Runtime (2) Lokálně hostované Integration Runtime

Seznam úložišť dat podporovaných jako zdroje nebo jímky najdete v tabulce Podporované úložiště dat.

Konkrétně tento konektor webové tabulky podporuje extrahování obsahu tabulky ze stránky HTML.

Požadavky

Pokud chcete použít tento konektor webové tabulky, musíte nastavit Integration Runtime v místním prostředí. Podrobnosti najdete v článku Integration Runtime s vlastním hostováním.

Začínáme

K provedení aktivity kopírování pomocí datového kanálu můžete použít jeden z následujících nástrojů nebo sad SDK:

Vytvoření propojené služby s webovou tabulkou pomocí uživatelského rozhraní

Pomocí následujícího postupu vytvořte propojenou službu s webovou tabulkou v uživatelském rozhraní portálu Azure.

  1. Přejděte na kartu Správa v pracovním prostoru Azure Data Factory nebo Synapse a vyberte Propojené služby a pak vyberte Nový:

  2. Vyhledejte web a vyberte konektor webové tabulky.

    Vyberte konektor webové tabulky.

  3. Nakonfigurujte podrobnosti o službě, otestujte připojení a vytvořte novou propojenou službu.

    Nakonfigurujte propojenou službu s webovou tabulkou.

Podrobnosti konfigurace konektoru

Následující části obsahují podrobnosti o vlastnostech, které slouží k definování entit služby Data Factory specifických pro konektor webové tabulky.

Vlastnosti propojené služby

Pro propojenou službu webové tabulky jsou podporovány následující vlastnosti:

Vlastnost Popis Povinné
typ Vlastnost typu musí být nastavena na: Web. Ano
url Adresa URL zdroje webu Ano
typ autentizace Povolená hodnota je: Anonymní. Ano
connectVia Integration Runtime pro připojení k úložišti dat. Vyžaduje se Integration Runtime v místním prostředí, jak je uvedeno v Prerequisites. Ano

Příklad:

{
    "name": "WebLinkedService",
    "properties": {
        "type": "Web",
        "typeProperties": {
            "url" : "https://en.wikipedia.org/wiki/",
            "authenticationType": "Anonymous"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Vlastnosti datové sady

Úplný seznam oddílů a vlastností dostupných pro definování datových sad najdete v článku o datových sadách . Tato část obsahuje seznam vlastností podporovaných datovou sadou webových tabulek.

Pokud chcete kopírovat data z webové tabulky, nastavte vlastnost typu datové sady na WebTable. Podporují se následující vlastnosti:

Vlastnost Popis Povinné
typ Vlastnost typu datové sady musí být nastavená na: Webová tabulka. Ano
cesta Relativní adresa URL k prostředku, který obsahuje tabulku. Ne. Pokud není zadána cesta, použije se pouze adresa URL zadaná v definici propojené služby.
index Index tabulky v tom zdroji. Postup získání indexu tabulky na stránce HTML najdete v části Získání indexu tabulky na stránce HTML. Ano

Příklad:

{
    "name": "WebTableInput",
    "properties": {
        "type": "WebTable",
        "typeProperties": {
            "index": 1,
            "path": "AFI's_100_Years...100_Movies"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Web linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Vlastnosti kopírovací aktivity

Úplný seznam oddílů a vlastností dostupných pro definování aktivit najdete v článku Pipelines . Tato část obsahuje seznam vlastností podporovaných zdrojem webových tabulek.

Webová tabulka jako zdroj

Pokud chcete kopírovat data z webové tabulky, nastavte zdrojový typ aktivity kopírování na WebSource, nejsou podporovány žádné další vlastnosti.

Příklad:

"activities":[
    {
        "name": "CopyFromWebTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Web table input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "WebSource"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Získání indexu tabulky na stránce HTML

Pokud chcete získat index tabulky, kterou potřebujete nakonfigurovat ve vlastnostech datové sady , můžete použít například Excel 2016 následujícím způsobem:

  1. Spusťte Excel 2016 a přepněte na kartu Data.

  2. Na panelu nástrojů vyberte Nový dotaz , přejděte na Příkaz Z jiných zdrojů a vyberte Z webu.

    nabídka Power Query

  3. V dialogovém okně Z webu zadejte adresu URL , kterou byste použili ve formátu JSON propojené služby (například: https://en.wikipedia.org/wiki/) spolu s cestou, kterou byste zadali pro datovou sadu (například: AFI%27s_100_Years... 100_Movies) a vyberte OK.

    Z webového dialogového okna

    Adresa URL použitá v tomto příkladu: https://en.wikipedia.org/wiki/AFI%27s_100_Years...100_Movies

  4. Pokud se zobrazí dialogové okno Přístup k webovému obsahu, vyberte správnou adresu URL, způsob ověřování a klikněte na Připojit.

    Dialogové okno pro přístup k webovému obsahu

  5. Vyberte položku tabulky ve stromovém zobrazení, abyste viděli obsah z tabulky a pak v dolní části vyberte tlačítko Upravit .

    Dialogové okno Navigátor

  6. V okně Editor Power Query vyberte na panelu nástrojů tlačítko Rozšířený editor.

    tlačítko Rozšířený editor

  7. V dialogovém okně Rozšířený editor je číslo vedle položky Zdroj indexem.

    Rozšířený editor – index

Pokud používáte Excel 2013, podrobnosti najdete v článku o připojení k webové stránce. Postup je podobný, pokud používáte Microsoft Power BI pro Desktop.

Vlastnosti aktivity Lookup

Podrobnosti o vlastnostech najdete v aktivitě Vyhledávání.

Pro seznam úložišť dat podporovaných jako zdroje a výstupy kopírovací aktivitou, vizte podporovaná úložiště dat.