Azure Data Factoryまたは Synapse Analytics を使用して Web テーブルからデータをコピーする

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

Data Factory in Microsoft Fabric は、よりシンプルなアーキテクチャ、組み込みの AI、および新機能を備えた次世代のAzure Data Factoryです。データ統合を初めて使用する場合は、Fabric Data Factory から始めます。既存の ADF ワークロードをFabricにアップグレードして、データサイエンス、リアルタイム分析、レポートの新機能にアクセスできます。

Fabric無料試用版を開始します。
Azure Data FactoryからMicrosoft FabricのData Factoryへアップグレードしてください。

この記事では、Azure Data Factoryまたは Synapse Analytics パイプラインでコピーアクティビティを使用して、Web テーブルデータベースからデータをコピーする方法について説明します。この記事は、コピーアクティビティの概要を示しているコピーアクティビティの概要に関する記事に基づいています。

この Web テーブルコネクタ、REST コネクタおよび HTTP コネクタの違いは次のとおりです。

Web テーブルコネクタでは、HTML Web ページからテーブルの内容を抽出します。
REST コネクタでは、具体的には RESTful API からのデータのコピーがサポートされます。
HTTP コネクタでは一般的に、HTTP エンドポイントからデータを取得します (たとえば、ファイルをダウンロードします)。

サポートされる機能

この Web テーブルコネクタでは、次の機能がサポートされます。

サポートされる機能	IR
コピーアクティビティ (ソース/-)	②
検索アクティビティ	②

(1) Azure統合ランタイム (2) セルフホステッド統合ランタイム

ソースおよびシンクとしてサポートされているデータストアの一覧については、サポートされるデータストアに関する表を参照してください。

具体的には、この Web テーブルコネクタは、HTML ページからのテーブルコンテンツの抽出をサポートしています。

前提条件

この Web テーブルコネクタを使用するには、セルフホステッド Integration Runtimeを設定する必要があります。詳細については、セルフホステッド Integration Runtimeに関する記事を参照してください。

作業の開始

パイプラインでコピーアクティビティを実行するには、次のいずれかのツールまたは SDK を使用できます。

UI を使用して Web Table のリンクサービスを作成する

Azure ポータル UI で Web テーブルへのリンクされたサービスを作成するには、次の手順に従います。

Azure Data Factory または Synapse ワークスペースの [管理] タブに移動し、[リンクサービス] を選択して、[新規] を選択します。
- Azureデータファクトリー
- Azure Synapse
Web を検索し、Web Table コネクタを選択します。
サービスの詳細を構成し、接続をテストして、新しいリンクサービスを作成します。

コネクタの構成の詳細

次のセクションでは、Web テーブルコネクタに固有の Data Factory エンティティの定義に使用されるプロパティについて詳しく説明します。

リンクされたサービスのプロパティ

Web テーブルのリンクされたサービスでは、次のプロパティがサポートされます。

プロパティ	内容	必須
型	type プロパティは、次のように設定する必要があります:Web	はい
url	Web ソースへの URL	はい
認証タイプ	使用可能な値:Anonymous。	はい
connectVia	データストアへの接続に使用するIntegration Runtime。 Prerequisitesで説明されているように、セルフホステッド Integration Runtime が必要です。	はい

例:

{
    "name": "WebLinkedService",
    "properties": {
        "type": "Web",
        "typeProperties": {
            "url" : "https://en.wikipedia.org/wiki/",
            "authenticationType": "Anonymous"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

データセットのプロパティ

データセットを定義するために使用できるセクションとプロパティの完全な一覧については、データセットに関する記事をご覧ください。このセクションでは、Web テーブルデータセットでサポートされるプロパティの一覧を示します。

Web テーブルからデータをコピーするには、データセットの type プロパティを WebTable に設定します。次のプロパティがサポートされています。

プロパティ	内容	必須
型	データセットの type プロパティは、次のように設定する必要があります:WebTable に設定する必要があります	はい
パス	テーブルを含むリソースの相対 URL。	いいえ。パスが指定されていない場合は、リンクされたサービス定義で指定された URL のみが使用されます。
インデックス	リソースのテーブルのインデックス。 HTML ページのテーブルのインデックスを取得する方法については、「 HTML ページのテーブルのインデックスを取得する」を参照してください。	はい

例:

{
    "name": "WebTableInput",
    "properties": {
        "type": "WebTable",
        "typeProperties": {
            "index": 1,
            "path": "AFI's_100_Years...100_Movies"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Web linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Copy アクティビティのプロパティ

アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインに関する記事を参照してください。このセクションでは、Web テーブルソースでサポートされるプロパティの一覧を示します。

ソースとしての Web テーブル

Web テーブルからデータをコピーするには、コピーアクティビティでソースの種類を WebSource に設定します。追加のプロパティはサポートされていません。

例:

"activities":[
    {
        "name": "CopyFromWebTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Web table input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "WebSource"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

HTML ページのテーブルのインデックスを取得する

dataset プロパティで構成する必要があるテーブルのインデックスを取得するには、次のようにツールとしてExcel 2016などを使用できます。

Excel 2016 を起動し、Data タブに切り替えます。
ツールバーの [新しいクエリ] を選択し、[ 他のソースから ] をポイントして [ Web から] を選択します。
[Web から] ダイアログボックスに、リンクされたサービス JSON (例: ) で使用する https://en.wikipedia.org/wiki/ と、データセットに指定するパス (AFI%27s_100_Years など) を入力します。100_Movies) をクリックし、[OK] を選択します。

この例で使用される URL は https://en.wikipedia.org/wiki/AFI%27s_100_Years...100_Movies です。
[ Access Web content]\(Web コンテンツへのアクセス \) ダイアログボックスが表示された場合は、適切な URL、認証を選択し、[ 接続] を選択します。
ツリービューで テーブル 項目を選択してテーブルの内容を表示し、下部にある [編集] ボタンを選択します。
クエリエディター ウィンドウで、ツールバー 詳細エディターボタンを選択します。
[詳細エディター] ダイアログボックスの [ソース] の横にある番号がインデックスです。