Machine Learning Studio (クラシック) と Azure Data Factory または Synapse Analytics を使用して予測パイプラインを作成する

[アーティクル]
08/10/2023

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンス、レポートまで、あらゆるものをカバーしています。無料で新しい試用版を開始する方法について説明します。

重要

Azure Machine Learning スタジオ (クラシック) のサポートは、2024 年 8 月 31 日に終了します。その日までに、Azure Machine Learning に切り替えることをおすすめします。

2021 年 12 月 1 日の時点で、新しい Machine Learning Studio (クラシック) リソース (ワークスペースと Web サービスプラン) を作成することはできません。 2024 年 8 月 31 日まで、既存の Machine Learning スタジオ (クラシック) の実験と Web サービスを引き続き使用できます。詳細については、以下を参照してください:

Machine Learning Studio (クラシック) のドキュメントは廃止予定であり、今後更新されない可能性があります。

Note

2021年10月1日以降は Machine Learning Studio (クラシック) のリソースを作成できなくなるため、Batch Execution Pipeline アクティビティを使用して実行するのではなく、Machine Learning Pipeline アクティビティで Azure Machine Learning を使用することをお勧めし Machine Learning Studio (クラシック) バッチ。

ML Studio (クラシック) では、予測分析ソリューションをビルド、テスト、デプロイできます。大まかに次の 3 つの手順で行われます。

トレーニング実験を作成する。この手順を実行するには、ML Studio (classic) を使用します。 ML Studio (classic) は、トレーニングデータを活用した予測分析モデルのトレーニングとテストに使用できる、コラボレーションと視覚化に対応した開発環境です。
トレーニング実験を予測実験に変換する。既存のデータでモデルがトレーニングされ、それを使用して新しいデータをスコア付けする準備ができると、スコア付け用に実験を用意し、合理化します。
Web サービスとしてデプロイする。 Azure Web サービスとしてスコア付け実験を発行できます。この Web サービスのエンドポイントを使用して、モデルにデータを送信し、モデルの予測を受信できます。

Machine Learning Studio (クラシック) と Azure Data Factory または Synapse Analytics の併用

Azure Data Factory または Synapse Analytics を使用すると、発行された Machine Learning Studio (クラシック) Web サービスを利用して予測分析を行うパイプラインを簡単に作成できます。パイプラインでバッチ実行アクティビティを使用すると、Machine Learning Studio (クラシック) Web サービスを呼び出して、データの予測をバッチで行うことができます。

時間の経過と共に、Machine Learning Studio (クラシック) スコア付け実験の予測モデルには、新しい入力データセットを使用した再トレーニングが必要になります。次の手順を実行することで、パイプラインからモデルを再トレーニングできます。

予測実験ではなく、トレーニング実験を Web サービスとして発行します。前のシナリオで予測実験を Web サービスとして公開したのと同様にこの手順を ML Studio (classic) で行います。
ML Studio (classic) バッチ実行アクティビティを使用して、トレーニング実験用 Web サービスを呼び出します。基本的には、ML Studio (classic) Batch Execution アクティビティを使用して、トレーニング Web サービスとスコア付け Web サービスの両方を呼び出すことができます。

再トレーニングを実行したら、ML Studio (classic) 更新リソースアクティビティを使用して、スコア付け Web サービス (Web サービスとして公開した予測実験) を、新しくトレーニングを行ったモデルで更新します。詳しくは、「更新リソースアクティビティを使用してモデルを更新する」をご覧ください。

ML Studio (classic) のリンクされたサービス

Machine Learning Studio (クラシック) のリンクされたサービスを作成して、Machine Learning Studio (クラシック) Web サービスをリンクします。このリンクされたサービスは、Machine Learning Studio (クラシック) のバッチ実行アクティビティと更新リソースアクティビティで使用されます。

{
    "type" : "linkedServices",
    "name": "AzureMLLinkedService",
    "properties": {
        "type": "AzureML",
        "typeProperties": {
            "mlEndpoint": "URL to Azure ML Predictive Web Service",
            "apiKey": {
                "type": "SecureString",
                "value": "api key"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

JSON 定義のプロパティについては、計算のリンクされたサービスに関する記事をご覧ください。

Machine Learning Studio (クラシック) では、予測実験用にクラシック Web サービスと新しい Web サービスの両方がサポートされています。お使いの Data Factory または Synapse ワークスペースから使用する適切なサービスを選択できます。 Machine Learning Studio (クラシック) のリンクされたサービスを作成するために必要な情報を取得するには、 https://services.azureml.net に移動します。ここには、(新しい) Web サービスとクラシック Web サービスがすべて表示されます。アクセスする Web サービスをクリックし、 [使用] ページをクリックします。 apiKey プロパティの主キーと、mlEndpoint プロパティのバッチ要求をコピーします。

ML Studio (classic) Web Services

ML Studio (classic) Batch Execution アクティビティ

次の JSON スニペットは、ML Studio (classic) バッチ実行アクティビティを定義します。このアクティビティ定義には、先ほど作成した ML Studio (classic) のリンクされたサービスへの参照が含まれています。

{
    "name": "AzureMLExecutionActivityTemplate",
    "description": "description",
    "type": "AzureMLBatchExecution",
    "linkedServiceName": {
        "referenceName": "AzureMLLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "webServiceInputs": {
            "<web service input name 1>": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService1",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"path1"
            },
            "<web service input name 2>": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService1",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"path2"
            }
        },
        "webServiceOutputs": {
            "<web service output name 1>": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService2",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"path3"
            },
            "<web service output name 2>": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService2",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"path4"
            }
        },
        "globalParameters": {
            "<Parameter 1 Name>": "<parameter value>",
            "<parameter 2 name>": "<parameter 2 value>"
        }
    }
}

プロパティ	内容	必須
name	パイプラインのアクティビティの名前。	はい
description	アクティビティの動作を説明するテキスト。	いいえ
type	Data Lake Analytics U-SQL アクティビティの場合、アクティビティの種類は AzureMLBatchExecution です。	はい
linkedServiceName	ML Studio (classic) のリンクされたサービスにリンクされたサービス。このリンクされたサービスの詳細については、計算のリンクされたサービスに関する記事をご覧ください。	はい
webServiceInputs	ML Studio (classic) Web サービスの入力名をマップするキーと値のペア。キーは、公開済みの ML Studio (classic) Web サービスで定義されている入力パラメーターと一致する必要があります。値は、Azure Storage のリンクされたサービスと、入力 BLOB の場所を指定する FilePath プロパティのペアです。	いいえ
webServiceOutputs	ML Studio (classic) Web サービスの出力名をマップするキーと値のペア。キーは、公開済みの ML Studio (classic) Web サービスで定義されている出力パラメーターと一致する必要があります。値は、Azure Storage のリンクされたサービスと、出力 BLOB の場所を指定する FilePath プロパティのペアです。	いいえ
globalParameters	ML Studio (classic) バッチ実行サービスエンドポイントに渡されるキーと値のペア。キーは、公開済みの ML Studio (classic) Web サービスで定義されている、Web サービスのパラメーターの名前と一致する必要があります。値は、ML Studio (classic) バッチ実行要求の GlobalParameters プロパティに渡されます	いいえ

シナリオ 1:Azure Blob Storage のデータを参照する Web サービスの入力/出力の使用を実験する

このシナリオの Machine Learning Studio (クラシック) Web サービスでは、Azure Blob Storage 内のファイルのデータを使用して予測が作成され、Blob Storage に予測結果が保存されます。次の JSON では、AzureMLBatchExecution アクティビティを使用するパイプラインが定義されています。 Azure Blog Storage の入出力データは、LinkedName と FilePath のペアを使用して参照されます。サンプルのリンクされたサービスが入力と出力で異なる場合は、サービスが適切なファイルを選択して Machine Learning Studio (クラシック) Web サービスに送信できるように、入力と出力にそれぞれ異なるリンクされたサービスを使用できます。

重要

ML Studio (classic) の実験では、Web サービスの入力ポートおよび出力ポートとグローバルパラメーターには既定の名前 (「input1」、「input2」) がありますが、これらはカスタマイズすることができます。 webServiceInputs、webServiceOutputs、および globalParameters の設定に使用する名前は、実験での名前と厳密に一致する必要があります。バッチ実行のヘルプページでサンプルの要求のペイロードを表示して、ML Studio (classic) エンドポイントで必要なマッピングを確認することができます。

{
    "name": "AzureMLExecutionActivityTemplate",
    "description": "description",
    "type": "AzureMLBatchExecution",
    "linkedServiceName": {
        "referenceName": "AzureMLLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "webServiceInputs": {
            "input1": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService1",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"amltest/input/in1.csv"
            },
            "input2": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService1",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"amltest/input/in2.csv"
            }
        },
        "webServiceOutputs": {
            "outputName1": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService2",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"amltest2/output/out1.csv"
            },
            "outputName2": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService2",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"amltest2/output/out2.csv"
            }
        }
    }
}

シナリオ 2: リーダー/ライターモジュールを使用したさまざまなストレージのデータの参照を実験する

ML Studio (classic) の実験を作成するときのもう 1 つの一般的なシナリオは、データインポートモジュールとデータ出力モジュールを使用することです。データインポートモジュールは実験にデータを読み込むために使用し、データ出力モジュールは実験からデータを保存するために使用します。データインポートモジュールとデータ出力モジュールの詳細については、MSDN ライブラリのデータのインポートに関するトピックおよびデータの出力に関するトピックをご覧ください。

データインポートモジュールとデータ出力モジュールを使用するときは、これらのモジュールの各プロパティに Web サービスのパラメーターを使用することをお勧めします。これらの Web パラメーターを使用すると、実行時に値を構成できます。たとえば、次の Azure SQL Database を使用するデータインポートモジュールで実験を作成できます: XXX.database.windows.net。 Web サービスをデプロイしたら、Web サービスのコンシューマーが YYY.database.windows.net という別の論理 SQL サーバーを指定できるようにします。 Web サービスのパラメーターを使用して、この値を構成できます。

Note

Web サービスの入力と出力は、Web サービスのパラメーターとは異なるものです。最初のシナリオでは、ML Studio (classic) Web サービスに対して入力と出力を指定する方法を説明しました。このシナリオでは、データインポート/データ出力モジュールのプロパティに対応する Web サービスのパラメーターを渡します。

Web サービスパラメーターを使用するシナリオを見てみましょう。 ML Studio (classic) でサポートされるいずれかのデータソース (例:Azure SQL Database) のデータをリーダーモジュールで読み取る ML Studio (classic) Web サービスをデプロイしました。バッチ実行が実行された後、ライターモジュールを使用して結果が書き込まれます (Azure SQL Database)。 Web サービスの入力と出力は実験では定義されていません。この場合は、リーダー/ライターモジュールに関連する Web サービスパラメーターを設定することをお勧めします。この設定により、AzureMLBatchExecution アクティビティを使用するときにリーダー/ライターモジュールを構成できます。 Web サービスのパラメーターは、次に示すように、アクティビティの JSON の globalParameters セクションで指定します。

"typeProperties": {
    "globalParameters": {
        "Database server name": "<myserver>.database.windows.net",
        "Database name": "<database>",
        "Server user account name": "<user name>",
        "Server user account password": "<password>"
    }
}

Note

Web サービスパラメーターでは大文字と小文字が区別されるため、アクティビティ JSON に指定した名前が Web サービスによって公開されている名前と一致していることを確認してください。

別の手段でデータを変換する方法を説明している次の記事を参照してください。

Machine Learning Studio (クラシック) と Azure Data Factory または Synapse Analytics を使用して予測パイプラインを作成する

Machine Learning Studio (クラシック) と Azure Data Factory または Synapse Analytics の併用

ML Studio (classic) のリンクされたサービス

ML Studio (classic) Batch Execution アクティビティ

シナリオ 1:Azure Blob Storage のデータを参照する Web サービスの入力/出力の使用を実験する

シナリオ 2: リーダー/ライター モジュールを使用したさまざまなストレージのデータの参照を実験する

関連するコンテンツ

その他のリソース

シナリオ 2: リーダー/ライターモジュールを使用したさまざまなストレージのデータの参照を実験する