Share via

Azure Data Factory の更新: Azure Machine Learning との統合

  • Article

このポストは、12 月 16 日に投稿された Azure Data Factory Updates: Integration with Azure Machine Learning! の翻訳です。

お客様のご要望にお応えして、Azure Data Factory では、Azure Machine Learning との統合を実現する大きな機能強化を実施しました。今後は、完成した Azure Machine Learning モデルを Data Factory のパイプラインから実行できます。これにより、使い慣れたスコアリング モデルに複数のソースからのデータを繰り返し入力することができます。シームレスな統合の実現により、ローンの債務不履行の可能性の特定、センチメントの判定、顧客行動パターンの分析といった予測シナリオをバッチ処理で実行することが可能になります。

AzureMLLinkedService と AzureMLBatchScoringActivity を作成すると、データ パイプラインにバッチ処理用の Azure Machine Learning モデルをすぐに呼び出すことができます。

AzureMLLinkedService

これは、Azure Machine Learning ワークスペースに発行された Machine Learning モデルへのバッチ スコアリング URL (mlEndpoint) です。任意の Machine Learning モデルにアクセスするためには、このエンドポイントに加えて API キーが必要になります。API キーは、発行された Machine Learning モデルから簡単に取得することができます (下図 1 参照)。

例

 {
    "name": "MyAzureMLLinkedService",
    "properties":
    {
        "type": "AzureMLLinkedService",
        "hubName" : "Hub-AzureML",
        "mlEndpoint":"https://[batch scoring endpoint]/jobs",
        "apiKey":"[apikey]"
    }
}

図 1 . 発行されたモデルの API キーとバッチ スコアリング URL を確認した例。AzureMLLinkedService のバッチ スコアリング URL を取得するには、この画像の [API help page] をクリックします。この例で使用しているバッチ スコアリング URL は次のとおりです。

バッチ スコアリング URL の例
https://ussouthcentral.services.azureml.net/workspaces/da9e895b758e44b2812a6218d507e216/services/8c91ff3461a416f8f8e0d96a1162681/jobs/

AzureMLBatchScoringActivity

この Azure Data Factory の新しい Machine Learning アクティビティ型では、カスタム コードを記述せずに、完成した Machine Learning モデルを簡単に運用化することができます。この型により、入力テーブルから入力ファイルの場所が取得され、AzureML バッチ スコアリング API が呼び出されます。スコアリング API が正常に実行されると、出力テーブルに指定された Azure BLOB にバッチ スコアリングの出力がコピーされます。AzureMLBatchScoringActivity には、他の Data Factory アクティビティと異なり、入力および出力テーブルをそれぞれ 1 つしか指定することができません。

例

 {  
   "name":"PredictivePipeline",
   "properties":{  
      "description":"use AzureML model",
      "hubName":"Hub-AzureML",
      "activities":[  
         {  
            "name":"MLActivity",
            "type":"AzureMLBatchScoringActivity",
            "description":"prediction analysis on batch input",
            "inputs":[  
               {  
                  "name":"ScoringInputBlob"
               }
            ],
            "outputs":[  
               {  
                  "name":"ScoringResultBlob"
               }
            ],
            "linkedServiceName":"MyAzureMLLinkedService",
            "policy":{  
               "concurrency":3,
               "executionPriorityOrder":"NewestFirst",
               "retry":1,
               "timeout":"02:00:00"
            }
         }
      ]
   }
}

このようなシンプルな手順で、Azure Data Factory を使用したデータ フロー パイプライン内で、発行した Azure Machine Learning モデルをすばやく簡単に運用化することができます。

Azure Data Factory と Azure Machine Learning を使用した予測パイプライン作成の詳細については、こちらのページ (英語) をご覧ください。

また、Azure Data Factory GitHub リポジトリにアクセスすると、新しくリリースされた Azure Machine Learning との統合を利用した E2E Twitter 分析サンプル (英語) をお試しいただくことができます。