تدريب النماذج باستخدام Azure التعلم الآلي CLI وSDK وواجهة برمجة تطبيقات REST

ينطبق على:ملحق ML Azure CLI v2 (الحالي)Python SDK azure-ai-ml v2 (الحالي)

يوفر Azure التعلم الآلي طرقا متعددة لإرسال مهام التدريب على التعلم الآلي. في هذه المقالة، ستتعلم كيفية إرسال المهام باستخدام الطرق التالية:

• ملحق Azure CLI للتعلم الآلي: الملحق ml ، يشار إليه أيضا باسم CLI v2.
• Python SDK v2 ل Azure التعلم الآلي.
• REST API: واجهة برمجة التطبيقات التي تم بناء CLI وSDK عليها.

المتطلبات الأساسية

• اشتراك Azure. في حال لم يكن لديك اشتراك Azure، فأنشئ حساباً مجانيّاً قبل البدء. جرّب الإصدار المجاني أو المدفوع من «التعلم الآلي» من Azure.
• مساحة عمل للتعلم الآلي من Microsoft Azure. إذا لم يكن لديك واحدة، يمكنك استخدام الخطوات الواردة في مقالة إنشاء موارد للبدء .

Python SDK

لاستخدام معلومات SDK، قم بتثبيت Azure التعلم الآلي SDK v2 ل Python.

Azure CLI

لاستخدام معلومات CLI ، قم بتثبيت Azure CLI والملحق للتعلم الآلي.

واجهة برمجة التطبيقات REST

لاستخدام معلومات واجهة برمجة تطبيقات REST، تحتاج إلى العناصر التالية:

• كيان خدمة في مساحة العمل الخاصة بك. تستخدم طلبات REST الإدارية مصادقة كيان الخدمة.

• رمز مميز للمصادقة الأساسية للخدمة. اتبع الخطوات الواردة في استرداد رمز مصادقة كيان الخدمة المميز لاسترداد هذا الرمز المميز.

• أداة curl المساعدة. يتوفر برنامج curl في نظام Windows الفرعي لـ Linux‬ أو أي توزيع UNIX.

  تلميح

  في PowerShell، curl هو اسم مستعار ل Invoke-WebRequest ويصبح curl -d "key=val" -X POST uriInvoke-WebRequest -Body "key=val" -Method POST -Uri uri.

  في حين أنه من الممكن استدعاء واجهة برمجة تطبيقات REST من PowerShell، تفترض الأمثلة في هذه المقالة أنك تستخدم Bash.

• الأداة المساعدة jq لمعالجة JSON. يتم استخدام هذه الأداة المساعدة لاستخراج القيم من مستندات JSON التي يتم إرجاعها من استدعاءات REST API.

استنساخ مستودع الأمثلة

تستند القصاصات البرمجية في هذه المقالة إلى أمثلة في Azure التعلم الآلي أمثلة GitHub repo. لاستنساخ المستودع إلى بيئة التطوير الخاصة بك، استخدم الأمر التالي:

git clone --depth 1 https://github.com/Azure/azureml-examples

تلميح

استخدم --depth 1 لنسخ آخر تثبيت فقط في المستودع، ما يقلل الوقت اللازم لإكمال العملية.

مثال الوظيفة

تستخدم الأمثلة في هذه المقالة مجموعة بيانات زهرة قزحية القزحية لتدريب نموذج MLFlow.

التدريب في السحابة

عند التدريب في السحابة، يجب عليك الاتصال بمساحة عمل Azure التعلم الآلي وتحديد مورد حساب سيتم استخدامه لتشغيل مهمة التدريب.

1. تعيين مساحة العمل

تلميح

استخدم علامات التبويب أدناه لتحديد الطريقة التي تريد استخدامها لتدريب نموذج. سيؤدي تحديد علامة تبويب إلى تبديل جميع علامات التبويب في هذه المقالة تلقائيا إلى علامة التبويب نفسها. يمكنك تحديد علامة تبويب أخرى في أي وقت.

Python SDK

للاتصال بمساحة العمل، تحتاج إلى معلمات المعرف - اشتراك ومجموعة موارد واسم مساحة العمل. ستستخدم هذه التفاصيل في MLClient من azure.ai.ml مساحة الاسم للحصول على مؤشر إلى مساحة عمل Azure التعلم الآلي المطلوبة. للمصادقة، يمكنك استخدام مصادقة Azure الافتراضية. افحص هذا المثال لمزيد من التفاصيل حول كيفية تكوين بيانات الاعتماد وتعيين مساحة عمل.

#import required libraries
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

#Enter details of your Azure Machine Learning workspace
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace = '<AZUREML_WORKSPACE_NAME>'

#connect to the workspace
ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

Azure CLI

عند استخدام Azure CLI، تحتاج إلى معلمات المعرف - اشتراك ومجموعة موارد واسم مساحة العمل. بينما يمكنك تحديد هذه المعلمات لكل أمر، يمكنك أيضا تعيين الإعدادات الافتراضية التي سيتم استخدامها لجميع الأوامر. استخدم الأوامر التالية لتعيين القيم الافتراضية. استبدل <subscription ID>و <Azure Machine Learning workspace name>و <resource group> بقيم التكوين:

az account set --subscription <subscription ID>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

واجهة برمجة التطبيقات REST

تستخدم $SUBSCRIPTION_IDأمثلة واجهة برمجة تطبيقات REST في هذه المقالة العناصر $RESOURCE_GROUP$LOCATIONالنائبة و$WORKSPACE. استبدل العناصر النائبة بالقيم الخاصة بك كما يلي:

• $SUBSCRIPTION_ID: معرّف اشتراك Azure الخاص بك.
• $RESOURCE_GROUP: مجموعة موارد Azure التي تحتوي على مساحة العمل الخاصة بك.
• $LOCATION: منطقة Azure حيث توجد مساحة العمل الخاصة بك.
• $WORKSPACE: اسم مساحة عمل Azure التعلم الآلي.
• $COMPUTE_NAME: اسم مجموعة حساب Azure التعلم الآلي.

وتستخدم طلبات REST الإدارية رمز مصادقة مميز لكيان الخدمة. يمكنك استرداد رمز مميز باستخدام الأمر التالي. يتم تخزين الرمز المميز في $TOKEN متغير البيئة:

TOKEN=$(az account get-access-token --query accessToken -o tsv)

يستخدم موفر الخدمة الوسيطة api-version للتأكد من التوافق. تختلف الوسيطة api-version من خدمة إلى أخرى. قم بتعيين إصدار API كمُتغير للتوافق مع الإصدارات المستقبلية:

API_VERSION="2022-05-01"

عند التدريب باستخدام واجهة برمجة تطبيقات REST، يجب تحميل البيانات والبرامج النصية للتدريب إلى حساب تخزين يمكن لمساحة العمل الوصول إليه. يحصل المثال التالي على معلومات التخزين لمساحة العمل الخاصة بك ويحفظها في متغيرات حتى نتمكن من استخدامها لاحقا:

# Get values for storage account
response=$(curl --location --request GET "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/datastores?api-version=$API_VERSION&isDefault=true" \
--header "Authorization: Bearer $TOKEN")
AZUREML_DEFAULT_DATASTORE=$(echo $response | jq -r '.value[0].name')
AZUREML_DEFAULT_CONTAINER=$(echo $response | jq -r '.value[0].properties.containerName')
export AZURE_STORAGE_ACCOUNT=$(echo $response | jq -r '.value[0].properties.accountName')

2. إنشاء مورد حساب للتدريب

إشعار

لتجربة الحوسبة بلا خادم، تخطي هذه الخطوة وانتقل إلى 3. إرسال مهمة التدريب.

نظام مجموعة حساب Azure التعلم الآلي هو مورد حساب مدار بالكامل يمكن استخدامه لتشغيل مهمة التدريب. في الأمثلة التالية، يتم إنشاء نظام مجموعة حساب يسمى cpu-compute .

Python SDK

from azure.ai.ml.entities import AmlCompute

# specify aml compute name.
cpu_compute_target = "cpu-cluster"

try:
    ml_client.compute.get(cpu_compute_target)
except Exception:
    print("Creating a new cpu compute target...")
    compute = AmlCompute(
        name=cpu_compute_target, size="STANDARD_D2_V2", min_instances=0, max_instances=4
    )
    ml_client.compute.begin_create_or_update(compute).result()

Azure CLI

az ml compute create -n cpu-cluster --type amlcompute --min-instances 0 --max-instances 4

واجهة برمجة التطبيقات REST

curl -X PUT \
  "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/computes/$COMPUTE_NAME?api-version=$API_VERSION" \
  -H "Authorization:Bearer $TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "location": "'$LOCATION'",
    "properties": {
        "computeType": "AmlCompute",
        "properties": {
            "vmSize": "Standard_D2_V2",
            "vmPriority": "Dedicated",
            "scaleSettings": {
                "maxNodeCount": 4,
                "minNodeCount": 0,
                "nodeIdleTimeBeforeScaleDown": "PT30M"
            }
        }
    }
}'

تلميح

بينما يتم إرجاع استجابة بعد بضع ثوان، يشير هذا فقط إلى أنه تم قبول طلب الإنشاء. قد يستغرق الأمر عدة دقائق حتى ينتهي إنشاء نظام المجموعة.

3. تقديم وظيفة التدريب

Python SDK

لتشغيل هذا البرنامج النصي، ستستخدم command الذي ينفذ main.py برنامج Python النصي الموجود ضمن ./sdk/python/jobs/single-step/lightgbm/iris/src/. سيتم تشغيل الأمر عن طريق إرساله ك job إلى Azure التعلم الآلي.

إشعار

لاستخدام الحوسبة بلا خادم، احذف compute="cpu-cluster" في هذه التعليمة البرمجية.

from azure.ai.ml import command, Input

# define the command
command_job = command(
    code="./src",
    command="python main.py --iris-csv ${{inputs.iris_csv}} --learning-rate ${{inputs.learning_rate}} --boosting ${{inputs.boosting}}",
    environment="AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu@latest",
    inputs={
        "iris_csv": Input(
            type="uri_file",
            path="https://azuremlexamples.blob.core.windows.net/datasets/iris.csv",
        ),
        "learning_rate": 0.9,
        "boosting": "gbdt",
    },
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.jobs.create_or_update(command_job)
# get a URL for the status of the job
returned_job.studio_url

في الأمثلة أعلاه، قمت بتكوين:

• code - المسار حيث توجد التعليمة البرمجية لتشغيل الأمر
• command - الأمر الذي يحتاج للتشغيل
• environment - البيئة اللازمة لتشغيل البرنامج النصي للتدريب. في هذا المثال، نستخدم بيئة منسقة أو جاهزة يوفرها Azure التعلم الآلي تسمى AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu. نستخدم أحدث إصدار من هذه البيئة باستخدام @latest التوجيه . يمكنك أيضا استخدام بيئات مخصصة عن طريق تحديد صورة docker أساسية وتحديد conda yaml فوقها.
• inputs - قاموس الإدخالات باستخدام أزواج من قيمة الاسم للأمر. المفتاح هو اسم للإدخال ضمن سياق الوظيفة والقيمة هي قيمة الإدخال. تتم الإشارة إلى الإدخالات ب command استخدام ${{inputs.<input_name>}} التعبير. لاستخدام الملفات أو المجلدات كمدخلات، يمكنك استخدام Input الفئة. لمزيد من المعلومات، راجع تعبيرات SDK وCLI v2.

لمزيد من المعلومات، راجع الوثائق المرجعية.

عند إرسال المهمة، يتم إرجاع عنوان URL إلى حالة الوظيفة في Azure التعلم الآلي studio. استخدم واجهة مستخدم الاستوديو لعرض تقدم المهمة. يمكنك أيضا استخدام returned_job.status للتحقق من الحالة الحالية للوظيفة.

Azure CLI

az ml job create يتطلب الأمر المستخدم في هذا المثال ملف تعريف مهمة YAML. محتويات الملف المستخدم في هذا المثال هي:

إشعار

لاستخدام الحوسبة بلا خادم، احذف compute: azureml:cpu-cluster" في هذه التعليمة البرمجية.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
code: src
command: >-
  python main.py 
  --iris-csv ${{inputs.iris_csv}}
  --C ${{inputs.C}}
  --kernel ${{inputs.kernel}}
  --coef0 ${{inputs.coef0}}
inputs:
  iris_csv: 
    type: uri_file
    path: wasbs://datasets@azuremlexamples.blob.core.windows.net/iris.csv
  C: 0.8
  kernel: "rbf"
  coef0: 0.1
environment: azureml:AzureML-sklearn-0.24-ubuntu18.04-py37-cpu@latest
compute: azureml:cpu-cluster
display_name: sklearn-iris-example
experiment_name: sklearn-iris-example
description: Train a scikit-learn SVM on the Iris dataset.

في ما سبق، قمت بتكوين:

• code - المسار حيث توجد التعليمة البرمجية لتشغيل الأمر
• command - الأمر الذي يحتاج للتشغيل
• inputs - قاموس الإدخالات باستخدام أزواج من قيمة الاسم للأمر. المفتاح هو اسم للإدخال ضمن سياق الوظيفة والقيمة هي قيمة الإدخال. تتم الإشارة إلى الإدخالات ب command استخدام ${{inputs.<input_name>}} التعبير. لمزيد من المعلومات، راجع تعبيرات SDK وCLI v2.
• environment - البيئة اللازمة لتشغيل البرنامج النصي للتدريب. في هذا المثال، نستخدم بيئة منسقة أو جاهزة يوفرها Azure التعلم الآلي تسمى AzureML-sklearn-0.24-ubuntu18.04-py37-cpu. نستخدم أحدث إصدار من هذه البيئة باستخدام @latest التوجيه . يمكنك أيضا استخدام بيئات مخصصة عن طريق تحديد صورة docker أساسية وتحديد conda yaml فوقها. لإرسال المهمة، استخدم الأمر التالي. يتم تخزين معرف التشغيل (الاسم) لمهمة التدريب في $run_id المتغير:

run_id=$(az ml job create -f jobs/single-step/scikit-learn/iris/job.yml --query name -o tsv)

يمكنك استخدام معرف التشغيل المخزن لإرجاع معلومات حول المهمة. تفتح --web المعلمة واجهة مستخدم الويب Azure التعلم الآلي studio حيث يمكنك التنقل في التفاصيل حول الوظيفة:

az ml job show -n $run_id --web

واجهة برمجة التطبيقات REST

كجزء من إرسال المهمة، يجب تحميل البرامج النصية التدريبية والبيانات إلى موقع تخزين سحابي يمكن لمساحة عمل Azure التعلم الآلي الوصول إليه.

1. استخدم أمر Azure CLI التالي لتحميل البرنامج النصي للتدريب. يحدد الأمر الدليل الذي يحتوي على الملفات المطلوبة للتدريب، وليس ملفا فرديا. إذا كنت ترغب في استخدام REST لتحميل البيانات بدلا من ذلك، فراجع مرجع Put Blob :

   az storage blob upload-batch -d $AZUREML_DEFAULT_CONTAINER/testjob -s cli/jobs/single-step/scikit-learn/iris/src/ --account-name $AZURE_STORAGE_ACCOUNT
   

2. إنشاء مرجع تم إصداره إلى بيانات التدريب. في هذا المثال، البيانات موجودة بالفعل في السحابة وتقع في https://azuremlexamples.blob.core.windows.net/datasets/iris.csv. لمزيد من المعلومات حول الرجوع إلى البيانات، راجع البيانات في Azure التعلم الآلي:

   DATA_VERSION=$RANDOM
   curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/data/iris-data/versions/$DATA_VERSION?api-version=$API_VERSION" \
   --header "Authorization: Bearer $TOKEN" \
   --header "Content-Type: application/json" \
   --data-raw "{
           \"properties\": {
           \"description\": \"Iris dataset\",
           \"dataType\": \"uri_file\",
           \"dataUri\": \"https://azuremlexamples.blob.core.windows.net/datasets/iris.csv\"
       }
   }"
   

3. تسجيل مرجع تم إصداره إلى البرنامج النصي للتدريب للاستخدام مع وظيفة. في هذا المثال، موقع البرنامج النصي هو حساب التخزين الافتراضي والحاوية التي قمت بتحميلها إلى في الخطوة 1. يتم إرجاع معرف التعليمات البرمجية للتدريب الذي تم إصداره وتخزينه في $TRAIN_CODE المتغير:

   TRAIN_CODE=$(curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/codes/train-lightgbm/versions/1?api-version=$API_VERSION" \
   --header "Authorization: Bearer $TOKEN" \
   --header "Content-Type: application/json" \
   --data-raw "{
           \"properties\": {
           \"description\": \"Train code\",
           \"codeUri\": \"https://$AZURE_STORAGE_ACCOUNT.blob.core.windows.net/$AZUREML_DEFAULT_CONTAINER/testjob\"
       }
   }" | jq -r '.id')
   

4. إنشاء البيئة التي ستستخدمها المجموعة لتشغيل البرنامج النصي للتدريب. في هذا المثال، نستخدم بيئة منسقة أو جاهزة يوفرها Azure التعلم الآلي تسمى AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu. يسترد الأمر التالي قائمة بإصدارات البيئة، مع وجود الأحدث في أعلى المجموعة. jq يستخدم لاسترداد معرف أحدث إصدار ([0])، والذي يتم تخزينه بعد ذلك في $ENVIRONMENT المتغير.

   ENVIRONMENT=$(curl --location --request GET "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/environments/AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu/versions?api-version=$API_VERSION" --header "Authorization: Bearer $TOKEN" | jq -r .value[0].id)
   

5. وأخيرا، أرسل الوظيفة. يوضح المثال التالي كيفية إرسال المهمة، والإشارة إلى معرف التعليمات البرمجية للتدريب، ومعرف البيئة، وعنوان URL لبيانات الإدخال، ومعرف مجموعة الحوسبة. سيتم تخزين موقع إخراج الوظيفة في $JOB_OUTPUT المتغير:

   تلميح

   يجب أن يكون اسم الوظيفة فريدا. في هذا المثال، uuidgen يتم استخدام لإنشاء قيمة فريدة للاسم.

   إشعار

   لاستخدام الحوسبة بلا خادم، احذف السطر في هذه التعليمة البرمجية \"computeId\": .

   run_id=$(uuidgen)
   curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/jobs/$run_id?api-version=$API_VERSION" \
   --header "Authorization: Bearer $TOKEN" \
   --header "Content-Type: application/json" \
   --data-raw "{
       \"properties\": {
           \"jobType\": \"Command\",
           \"codeId\": \"$TRAIN_CODE\",
           \"command\": \"python main.py --iris-csv \$AZURE_ML_INPUT_iris\",
           \"environmentId\": \"$ENVIRONMENT\",
           \"inputs\": {
               \"iris\": {
                   \"jobInputType\": \"uri_file\",
                   \"uri\": \"https://azuremlexamples.blob.core.windows.net/datasets/iris.csv\"
               }
           },
           \"experimentName\": \"lightgbm-iris\",
           \"computeId\": \"/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/computes/$COMPUTE_NAME\"
       }
   }"
   

تسجيل النموذج المدرب

توضح الأمثلة التالية كيفية تسجيل نموذج في مساحة عمل Azure التعلم الآلي.

Python SDK

تلميح

name يتم استخدام الخاصية التي تم إرجاعها بواسطة مهمة التدريب كجزء من المسار إلى النموذج.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

run_model = Model(
    path="azureml://jobs/{}/outputs/artifacts/paths/model/".format(returned_job.name),
    name="run-model-example",
    description="Model created from run.",
    type=AssetTypes.MLFLOW_MODEL
)

ml_client.models.create_or_update(run_model)

Azure CLI

تلميح

يتم استخدام الاسم (المخزن في $run_id المتغير) كجزء من المسار إلى النموذج.

az ml model create -n sklearn-iris-example -v 1 -p runs:/$run_id/model --type mlflow_model

واجهة برمجة التطبيقات REST

تلميح

يتم استخدام الاسم (المخزن في $run_id المتغير) كجزء من المسار إلى النموذج.

curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/models/sklearn/versions/1?api-version=$API_VERSION" \
--header "Authorization: Bearer $TOKEN" \
--header "Content-Type: application/json" \
--data-raw "{
    \"properties\": {
        \"modelType\": \"mlflow_model\",
        \"modelUri\":\"runs:/$run_id/model\"
    }
}"

الخطوات التالية

الآن بعد أن أصبح لديك نموذج مدرب، تعرف على كيفية نشره باستخدام نقطة نهاية عبر الإنترنت.

لمزيد من الأمثلة، راجع مستودع GitHub لأمثلة Azure التعلم الآلي.

لمزيد من المعلومات حول أوامر Azure CLI أو فئات Python SDK أو واجهات برمجة تطبيقات REST المستخدمة في هذه المقالة، راجع الوثائق المرجعية التالية:

• ملحق Azure CLI ml
• Python SDK
• واجهة برمجة التطبيقات REST