Adatok másolása webtáblából az Azure Data Factory vagy a Synapse Analytics használatával

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk azt ismerteti, hogyan használhatja a másolási tevékenységet egy Azure Data Factory- vagy Synapse Analytics-folyamatban adatok webes táblaadatbázisból való másolásához. A másolási tevékenység áttekintési cikkére épül, amely a másolási tevékenység általános áttekintését mutatja be.

A webtábla-összekötő, a REST-összekötő és a HTTP-összekötő közötti különbség a következő:

  • Web table connector extracts table content from an HTML webpage.
  • A REST-összekötő kifejezetten támogatja az adatok RESTful API-kból való másolását.
  • A HTTP-összekötő általánosan bármely HTTP-végpontról, például fájl letöltéséhez kér le adatokat.

Támogatott képességek

Ez a webtábla-összekötő a következő képességeket támogatja:

Támogatott képességek IR
Copy tevékenység (forrás/-)
Keresési tevékenység

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

A forrásként/fogadóként támogatott adattárak listáját a Támogatott adattárak táblában találja.

Ez a webtábla-összekötő kifejezetten támogatja a táblázattartalom HTML-lapból való kinyerését.

Előfeltételek

A webtábla-összekötő használatához be kell állítania egy saját üzemeltetésű integrációs modult. A részletekért tekintse meg a saját üzemeltetésű integrációs modulról szóló cikket.

Első lépések

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

Csatolt szolgáltatás létrehozása webtáblához felhasználói felülettel

Az alábbi lépésekkel webtáblához társított szolgáltatást hozhat létre az Azure Portal felhasználói felületén.

  1. Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:

  2. Keressen rá a webre, és válassza ki a Web Table-összekötőt.

    Select the Web Table connector.

  3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

    Configure a linked service to Web Table.

Csatlakozás or konfigurációjának részletei

Az alábbi szakaszokban a webtábla-összekötőre jellemző Data Factory-entitások definiálásához használt tulajdonságokról olvashat.

Társított szolgáltatás tulajdonságai

A webtáblához társított szolgáltatás esetében a következő tulajdonságok támogatottak:

Property Leírás Required
típus A típustulajdonságnak a következőre kell állítania: Web Igen
url A webes forrás URL-címe Igen
authenticationType Az engedélyezett érték: Névtelen. Igen
connectVia Az adattárhoz való csatlakozáshoz használandó integrációs modul . Az előfeltételekben leírtaknak megfelelően szükség van egy saját üzemeltetésű integrációs modulra. Igen

Példa

{
    "name": "WebLinkedService",
    "properties": {
        "type": "Web",
        "typeProperties": {
            "url" : "https://en.wikipedia.org/wiki/",
            "authenticationType": "Anonymous"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az adathalmazokról szóló cikkben találja. Ez a szakasz a webtábla-adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Ha adatokat szeretne másolni a webtáblából, állítsa az adathalmaz típustulajdonságát WebTable értékre. A következő tulajdonságok támogatottak:

Property Leírás Required
típus Az adathalmaz típustulajdonságának a következőnek kell lennie: WebTable Igen
ösvény A táblát tartalmazó erőforrás relatív URL-címe. Nem. Ha nincs megadva elérési út, a rendszer csak a társított szolgáltatás definíciójában megadott URL-címet használja.
index Az erőforrás táblájának indexe. A táblázat indexelésének lépéseit a HTML-lap szakasz táblázat indexelése című szakaszában találja. Igen

Példa

{
    "name": "WebTableInput",
    "properties": {
        "type": "WebTable",
        "typeProperties": {
            "index": 1,
            "path": "AFI's_100_Years...100_Movies"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Web linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz a webtáblaforrás által támogatott tulajdonságok listáját tartalmazza.

Webtábla forrásként

Ha webtáblából szeretne adatokat másolni, állítsa a másolási tevékenység forrástípusát a WebSource-ra, további tulajdonságok nem támogatottak.

Példa

"activities":[
    {
        "name": "CopyFromWebTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Web table input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "WebSource"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Táblázat indexének lekérése HTML-lapon

Az adathalmaz tulajdonságaiban konfigurálni kívánt táblázat indexének lekéréséhez például az Excel 2016-ot használhatja eszközként az alábbiak szerint:

  1. Indítsa el az Excel 2016-ot , és váltson az Adatok lapra.

  2. Kattintson az Eszköztár Új lekérdezés gombjára, mutasson a Más forrásokból elemre, és kattintson a Webről parancsra.

    Power Query menu

  3. A Webről párbeszédpanelen adja meg a társított szolgáltatás JSON-fájljában használt URL-címet (például: https://en.wikipedia.org/wiki/) az adatkészlethez megadott elérési úttal együtt (például: AFI%27s_100_Years... 100_Movies), majd kattintson az OK gombra.

    From Web dialog

    A példában használt URL-cím: https://en.wikipedia.org/wiki/AFI%27s_100_Years...100_Movies

  4. Ha megjelenik az Access webes tartalom párbeszédpanelje, válassza ki a megfelelő URL-címet, hitelesítést, majd kattintson a Csatlakozás.

    Access Web content dialog box

  5. A fanézetben kattintson egy táblázatelemre a táblázat tartalmának megtekintéséhez, majd kattintson a Szerkesztés gombra az alján.

    Navigator dialog

  6. Az Lekérdezésszerkesztő ablakban kattintson az eszköztár Speciális szerkesztő gombjára.

    Advanced Editor button

  7. A Speciális szerkesztő párbeszédpanelen a "Forrás" melletti szám az index.

    Advanced Editor - Index

Ha Az Excel 2013-at használja, a Microsoft Power Query for Excel használatával kérje le az indexet. Részletekért tekintse meg a Csatlakozás egy weblapcikkre. A lépések hasonlóak, ha a Microsoft Power BI for Desktopot használja.

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját a támogatott adattárakban találja.