إدارة مدخلات ومخرجات المكون والمسار

في هذه المقالة، سوف تتعرف على:

• نظرة عامة على المدخلات والمخرجات في المكون والمسار
• كيفية ترقية مدخلات/مخرجات المكونات إلى مدخلات/مخرجات البنية الأساسية لبرنامج ربط العمليات التجارية
• كيفية تعريف المدخلات الاختيارية
• كيفية تخصيص مسار المخرجات
• كيفية تنزيل المخرجات
• كيفية تسجيل المخرجات كأصل مسمى

نظرة عامة على المدخلات والمخرجات

تدعم البنية الأساسية لبرنامج ربط العمليات التجارية التعلم الآلي Azure المدخلات والمخرجات على كل من مستويات المكون والمسار.

على مستوى المكون، تحدد المدخلات والمخرجات واجهة المكون. يمكن استخدام الإخراج من أحد المكونات كمدخل لمكون آخر في نفس المسار الأصل، ما يسمح بتمرير البيانات أو النماذج بين المكونات. يشكل هذا الترابط رسما بيانيا يوضح تدفق البيانات داخل البنية الأساسية لبرنامج ربط العمليات التجارية.

على مستوى البنية الأساسية لبرنامج ربط العمليات التجارية، تكون المدخلات والمخرجات مفيدة لإرسال مهام البنية الأساسية لبرنامج ربط العمليات التجارية مع مدخلات بيانات أو معلمات مختلفة تتحكم في منطق التدريب (على سبيل المثال learning_rate). وهي مفيدة بشكل خاص عند استدعاء البنية الأساسية لبرنامج ربط العمليات التجارية عبر نقطة نهاية REST. تمكنك هذه المدخلات والمخرجات من تعيين قيم مختلفة لإدخال البنية الأساسية لبرنامج ربط العمليات التجارية أو الوصول إلى إخراج مهام البنية الأساسية لبرنامج ربط العمليات التجارية من خلال نقطة نهاية REST. لمعرفة المزيد، راجع إنشاء الوظائف وبيانات الإدخال لنقطة نهاية الدفعة.

أنواع المدخلات والمخرجات

يتم دعم الأنواع التالية كمخرجات لمكون أو مسار.

• أنواع البيانات. تحقق من أنواع البيانات في Azure التعلم الآلي لمعرفة المزيد حول أنواع البيانات.

  • uri_file
  • uri_folder
  • mltable

• أنواع النماذج.

  • mlflow_model
  • custom_model

استخدام إخراج البيانات أو النموذج بشكل أساسي لتسلسل المخرجات وحفظها كملفات في موقع تخزين. في الخطوات اللاحقة، يمكن تحميل موقع التخزين هذا أو تنزيله أو تحميله إلى نظام الملفات الهدف للحساب، ما يتيح الخطوة التالية للوصول إلى الملفات أثناء تنفيذ المهمة.

تتطلب هذه العملية التعليمات البرمجية المصدر للمكون تسلسل كائن الإخراج المطلوب - عادة ما يتم تخزينه في الذاكرة - في الملفات. على سبيل المثال، يمكنك تسلسل إطار بيانات pandas كملف CSV. لاحظ أن Azure التعلم الآلي لا يحدد أي أساليب موحدة لتسلسل الكائنات. كمستخدم، لديك المرونة لاختيار الأسلوب المفضل لديك لتسلسل العناصر في الملفات. بعد ذلك، في مكون انتقال البيانات من الخادم، يمكنك إلغاء تسلسل هذه الملفات وقراءتها بشكل مستقل. فيما يلي بعض الأمثلة للرجوع إليها:

• في المثال nyc_taxi_data_regression ، يحتوي مكون الإعداد علىuri_folder إخراج نوع. في التعليمات البرمجية لمصدر المكون، يقرأ ملفات csv من مجلد الإدخال، ويعالج الملفات ويكتب ملفات CSV المعالجة إلى مجلد الإخراج.
• في المثال nyc_taxi_data_regression، يحتوي مكون القطار على mlflow_model إخراج نوع. في التعليمات البرمجية المصدر للمكون، فإنه يحفظ النموذج المدرب باستخدام mlflow.sklearn.save_model الأسلوب .

بالإضافة إلى أنواع البيانات أو النماذج أعلاه، يمكن أن تتبع مدخلات البنية الأساسية لبرنامج ربط العمليات التجارية أو المكونات أيضا أنواعا بدائية.

• string
• number
• integer
• boolean

في المثال nyc_taxi_data_regression ، يحتوي مكون التدريب على number إدخال يسمى test_split_ratio.

إشعار

إخراج الأنواع الأولية غير مدعوم.

المسار ووضع إدخالات/مخرجات البيانات

بالنسبة لإدخال/إخراج أصول البيانات، يجب تحديد معلمة path تشير إلى موقع البيانات. يعرض هذا الجدول مواقع البيانات المختلفة التي يدعمها Azure التعلم الآلي pipeline، ويعرض أيضا أمثلة معلمات المسار:

الموقع	الأمثلة	الإدخال	الإخراج
مسار على الكمبيوتر المحلي	./home/username/data/my_data	√
مسار على خادم http(s) عام	https://raw.githubusercontent.com/pandas-dev/pandas/main/doc/data/titanic.csv	√
مسار على Azure Storage	wasbs://<container_name>@<account_name>.blob.core.windows.net/<path> abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>	غير مقترح لأنه قد يحتاج إلى تكوين هوية إضافي لقراءة البيانات.
مسار على Azure التعلم الآلي Datastore	azureml://datastores/<data_store_name>/paths/<path>	√	√
مسار إلى أصل بيانات	azureml:<my_data>:<version>	√	√

إشعار

بالنسبة إلى الإدخال/الإخراج على التخزين، نقترح بشدة استخدام مسار مخزن البيانات التعلم الآلي Azure بدلا من مسار تخزين Azure المباشر. يتم دعم مسار مخزن البيانات عبر أنواع الوظائف المختلفة في البنية الأساسية لبرنامج ربط العمليات التجارية.

بالنسبة لإدخال/إخراج البيانات، يمكنك الاختيار من بين أوضاع مختلفة (تنزيل أو تحميل أو تحميل) لتحديد كيفية الوصول إلى البيانات في هدف الحساب. يعرض هذا الجدول الأوضاع المحتملة لمجموعات مختلفة من النوع/الوضع/الإدخال/الإخراج.

نوع	إدخال/إخراج	upload	download	ro_mount	rw_mount	direct	eval_download	eval_mount
uri_folder	الإدخال		√	√		√
uri_file	الإدخال		√	√		√
mltable	الإدخال		√	√		√	√	√
uri_folder	الإخراج	√			√
uri_file	الإخراج	√			√
mltable	الإخراج	√			√	√

إشعار

في معظم الحالات، نقترح استخدام ro_mount أو rw_mount وضع. لمعرفة المزيد حول الوضع، راجع أوضاع أصول البيانات.

التمثيل المرئي في Azure التعلم الآلي studio

توفر لقطات الشاشة التالية مثالا على كيفية عرض المدخلات والمخرجات في مهمة البنية الأساسية لبرنامج ربط العمليات التجارية في Azure التعلم الآلي studio. يمكن العثور على هذه المهمة المعينة، المسماة nyc-taxi-data-regression، في azureml-example.

في صفحة مهمة البنية الأساسية لبرنامج ربط العمليات التجارية في الاستوديو، يتم عرض إدخالات/إخراج نوع البيانات/النموذج للمكون كدائرة صغيرة في المكون المقابل، والمعروفة باسم منفذ الإدخال/الإخراج. تمثل هذه المنافذ تدفق البيانات في البنية الأساسية لبرنامج ربط العمليات التجارية.

يتم عرض إخراج مستوى البنية الأساسية لبرنامج ربط العمليات التجارية كمربع أرجواني لتحديد الهوية بسهولة.

عند تمرير الماوس فوق منفذ إدخال/إخراج، يتم عرض النوع.

لن يتم عرض إدخالات النوع البدائي على الرسم البياني. يمكن العثور عليه في علامة التبويب الإعدادات من لوحة نظرة عامة على مهمة المسار (لإدخالات مستوى المسار) أو لوحة المكون (لإدخالات مستوى المكون). تظهر لقطة الشاشة التالية علامة التبويب الإعدادات لمهمة البنية الأساسية لبرنامج ربط العمليات التجارية، ويمكن فتحها عن طريق تحديد ارتباط نظرة عامة على الوظيفة.

إذا كنت ترغب في التحقق من إدخالات مكون، فانقر نقرا مزدوجا فوق المكون لفتح لوحة المكون.

وبالمثل، عند تحرير البنية الأساسية لبرنامج ربط العمليات التجارية في المصمم، يمكنك العثور على مدخلات ومخرجات البنية الأساسية لبرنامج ربط العمليات التجارية في لوحة واجهة البنية الأساسية لبرنامج ربط العمليات التجارية، وإدخالات المكون في لوحة المكون (المشغل بالنقر نقرا مزدوجا فوق المكون).

كيفية ترقية إدخالات المكونات ومخرجاتها إلى مستوى البنية الأساسية لبرنامج ربط العمليات التجارية

يسمح لك ترقية إدخال/إخراج المكون إلى مستوى المسار بالكتابة فوق إدخال/إخراج المكون عند إرسال مهمة البنية الأساسية لبرنامج ربط العمليات التجارية. كما أنه مفيد إذا كنت تريد تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية باستخدام نقطة نهاية REST.

فيما يلي أمثلة لتعزيز مدخلات/مخرجات المكونات إلى مدخلات/مخرجات مستوى البنية الأساسية لبرنامج ربط العمليات التجارية.

Azure CLI

$schema: https://azuremlschemas.azureedge.net/latest/pipelineJob.schema.json
type: pipeline
display_name: 1b_e2e_registered_components
description: E2E dummy train-score-eval pipeline with registered components

inputs:
  pipeline_job_training_max_epocs: 20
  pipeline_job_training_learning_rate: 1.8
  pipeline_job_learning_rate_schedule: 'time-based'

outputs: 
  pipeline_job_trained_model:
    mode: upload
  pipeline_job_scored_data:
    mode: upload
  pipeline_job_evaluation_report:
    mode: upload

settings:
 default_compute: azureml:cpu-cluster

jobs:
  train_job:
    type: command
    component: azureml:my_train@latest
    inputs:
      training_data: 
        type: uri_folder 
        path: ./data      
      max_epocs: ${{parent.inputs.pipeline_job_training_max_epocs}}
      learning_rate: ${{parent.inputs.pipeline_job_training_learning_rate}}
      learning_rate_schedule: ${{parent.inputs.pipeline_job_learning_rate_schedule}}
    outputs:
      model_output: ${{parent.outputs.pipeline_job_trained_model}}
    services:
      my_vscode:
        type: vs_code
      my_jupyter_lab:
        type: jupyter_lab
      my_tensorboard:
        type: tensor_board
        log_dir: "outputs/tblogs"
    #  my_ssh:
    #    type: tensor_board
    #    ssh_public_keys: <paste the entire pub key content>
    #    nodes: all # Use the `nodes` property to pick which node you want to enable interactive services on. If `nodes` are not selected, by default, interactive applications are only enabled on the head node.

  score_job:
    type: command
    component: azureml:my_score@latest
    inputs:
      model_input: ${{parent.jobs.train_job.outputs.model_output}}
      test_data: 
        type: uri_folder 
        path: ./data
    outputs:
      score_output: ${{parent.outputs.pipeline_job_scored_data}}

  evaluate_job:
    type: command
    component: azureml:my_eval@latest
    inputs:
      scoring_result: ${{parent.jobs.score_job.outputs.score_output}}
    outputs:
      eval_output: ${{parent.outputs.pipeline_job_evaluation_report}}

يمكن العثور على المثال الكامل في البنية الأساسية لبرنامج ربط العمليات التجارية train-score-eval مع المكونات المسجلة. يقوم هذا المسار بترقية ثلاثة مدخلات وثلاثة مخرجات إلى مستوى البنية الأساسية لبرنامج ربط العمليات التجارية. لنأخذ pipeline_job_training_max_epocs على سبيل المثال. يتم الإعلان عنه ضمن inputs القسم على مستوى الجذر، ما يعني إدخال مستوى البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة به. ضمن jobs -> train_job القسم ، تتم الإشارة إلى الإدخال المسمى max_epocs باسم ${{parent.inputs.pipeline_job_training_max_epocs}}، والذي يشير إلى أن الإدخال max_epocs يشير إلى train_jobإدخال مستوى البنية الأساسية لبرنامج ربط العمليات التجارية pipeline_job_training_max_epocs. وبالمثل، يمكنك ترقية إخراج البنية الأساسية لبرنامج ربط العمليات التجارية باستخدام نفس المخطط.

Python SDK

# import required libraries
from azure.identity import DefaultAzureCredential

from azure.ai.ml import MLClient, Input
from azure.ai.ml.dsl import pipeline
from azure.ai.ml import load_component

# Set your subscription, resource group and workspace name:
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

# connect to the AzureML workspace
ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

# define the dirtory that stores the input data 
parent_dir = ""

# Load components
prepare_data = load_component(source=parent_dir + "./prep.yml")
transform_data = load_component(source=parent_dir + "./transform.yml")
train_model = load_component(source=parent_dir + "./train.yml")
predict_result = load_component(source=parent_dir + "./predict.yml")
score_data = load_component(source=parent_dir + "./score.yml")

# Construct pipeline. 
# Below code snippet defines nyc_taxi_data_regression pipeline.
# The pipeline takes 1 input (pipeline_job_input) and generates 6 outputs as defined in return statement.
# The pipeline outputs are promoted from the child component using schema as <step_name.outputs.output_name>.
# for example `prepare_sample_data.outputs.prep_data`.  
@pipeline()
def nyc_taxi_data_regression(pipeline_job_input):
    """NYC taxi data regression example."""
    prepare_sample_data = prepare_data(raw_data=pipeline_job_input)
    transform_sample_data = transform_data(
        clean_data=prepare_sample_data.outputs.prep_data
    )
    train_with_sample_data = train_model(
        training_data=transform_sample_data.outputs.transformed_data
    )
    predict_with_sample_data = predict_result(
        model_input=train_with_sample_data.outputs.model_output,
        test_data=train_with_sample_data.outputs.test_data,
    )
    score_with_sample_data = score_data(
        predictions=predict_with_sample_data.outputs.predictions,
        model=train_with_sample_data.outputs.model_output,
    )
    return {
        "pipeline_job_prepped_data": prepare_sample_data.outputs.prep_data,
        "pipeline_job_transformed_data": transform_sample_data.outputs.transformed_data,
        "pipeline_job_trained_model": train_with_sample_data.outputs.model_output,
        "pipeline_job_test_data": train_with_sample_data.outputs.test_data,
        "pipeline_job_predictions": predict_with_sample_data.outputs.predictions,
        "pipeline_job_score_report": score_with_sample_data.outputs.score_report,
    }
# 
pipeline_job = nyc_taxi_data_regression(
    Input(type="uri_folder", path=parent_dir + "./data/")
)
# demo how to change pipeline output settings
pipeline_job.outputs.pipeline_job_prepped_data.mode = "rw_mount"

# set pipeline level compute
pipeline_job.settings.default_compute = "cpu-cluster"
# set pipeline level datastore
pipeline_job.settings.default_datastore = "workspaceblobstore"

مثال دفتر الملاحظات من طرف إلى طرف في مستودع azureml-example

Studio

يمكنك ترقية إدخال مكون إلى إدخال مستوى البنية الأساسية لبرنامج ربط العمليات التجارية في صفحة تأليف المصمم. انتقل إلى لوحة إعداد المكون بالنقر نقرا مزدوجا فوق المكون -> ابحث عن الإدخال الذي تريد ترقيته -> حدد النقاط الثلاث على اليمين -> حدد إضافة إلى إدخال البنية الأساسية لبرنامج ربط العمليات التجارية.

إدخال اختياري

بشكل افتراضي، تكون جميع المدخلات مطلوبة ويجب تعيين قيمة (أو قيمة افتراضية) في كل مرة ترسل فيها مهمة البنية الأساسية لبرنامج ربط العمليات التجارية. ومع ذلك، قد تكون هناك مثيلات تحتاج فيها إلى إدخالات اختيارية. في مثل هذه الحالات، لديك المرونة لعدم تعيين قيمة إلى الإدخال عند إرسال مهمة البنية الأساسية لبرنامج ربط العمليات التجارية.

يمكن أن يكون الإدخال الاختياري مفيدا في سيناريوهين أدناه:

• إذا كان لديك إدخال نوع بيانات/نموذج اختياري ولم تقم بتعيين قيمة له عند إرسال مهمة المسار، فسيكون هناك مكون في البنية الأساسية لبرنامج ربط العمليات التجارية يفتقر إلى تبعية بيانات مسبوقة. بمعنى آخر، لا يرتبط منفذ الإدخال بأي مكون أو عقدة بيانات/نموذج. يؤدي هذا إلى استدعاء خدمة البنية الأساسية لبرنامج ربط العمليات التجارية هذا المكون مباشرة، بدلا من انتظار التبعية السابقة لتكون جاهزة.

• توفر لقطة الشاشة أدناه مثالا واضحا للسيناريو الثاني. إذا قمت بتعيين continue_on_step_failure = True للبنية الأساسية لبرنامج ربط العمليات التجارية ولديك عقدة ثانية (node2) تستخدم الإخراج من العقدة الأولى (node1) كإدخل اختياري، فسيظل يتم تنفيذ node2 حتى إذا فشلت node1. ومع ذلك، إذا كانت node2 تستخدم الإدخال المطلوب من node1، فلن يتم تنفيذها إذا فشلت node1.

  

فيما يلي أمثلة حول كيفية تعريف الإدخال الاختياري.

$schema: https://azuremlschemas.azureedge.net/latest/commandComponent.schema.json
name: train_data_component_cli
display_name: train_data
description: A example train component
tags:
  author: azureml-sdk-team
type: command
inputs:
  training_data: 
    type: uri_folder
  max_epocs:
    type: integer
    optional: true
  learning_rate: 
    type: number
    default: 0.01
    optional: true
  learning_rate_schedule: 
    type: string
    default: time-based
    optional: true
outputs:
  model_output:
    type: uri_folder
code: ./train_src
environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest
command: >-
  python train.py 
  --training_data ${{inputs.training_data}} 
  $[[--max_epocs ${{inputs.max_epocs}}]]
  $[[--learning_rate ${{inputs.learning_rate}}]]
  $[[--learning_rate_schedule ${{inputs.learning_rate_schedule}}]]
  --model_output ${{outputs.model_output}}

عند تعيين الإدخال على أنه optional = true، تحتاج إلى استخدام $[[]] لاحتضان سطر الأوامر مع المدخلات. راجع الخط المميز في المثال أعلاه.

إشعار

الإخراج الاختياري غير معتمد.

في الرسم البياني للبنية الأساسية لبرنامج ربط العمليات التجارية، يتم تمثيل المدخلات الاختيارية لنوع البيانات/النموذج بواسطة دائرة منقطة. يمكن تحديد المدخلات الاختيارية للأنوع الأولية ضمن علامة التبويب الإعدادات. على عكس المدخلات المطلوبة، لا تحتوي المدخلات الاختيارية على علامة نجمية بجانبها، مما يدل على أنها ليست إلزامية.

كيفية تخصيص مسار الإخراج

بشكل افتراضي، سيتم تخزين إخراج مكون في azureml://datastores/${{default_datastore}}/paths/${{name}}/${{output_name}}. {default_datastore} هو عميل مخزن البيانات الافتراضي الذي تم تعيينه للبنية الأساسية لبرنامج ربط العمليات التجارية. إذا لم يتم تعيينه، فهو تخزين كائن ثنائي كبير الحجم لمساحة العمل. {name} هو اسم الوظيفة، والذي سيتم حله في وقت تنفيذ الوظيفة. {output_name} هو اسم الإخراج الذي تم تعريفه للعميل في المكون YAML.

ولكن يمكنك أيضا تخصيص مكان تخزين الإخراج عن طريق تحديد مسار الإخراج. فيما يلي مثال:

Azure CLI

pipeline.yaml يعرف البنية الأساسية لبرنامج ربط العمليات التجارية التي تحتوي على ثلاثة مخرجات على مستوى البنية الأساسية لبرنامج ربط العمليات التجارية. يمكن العثور على YAML الكامل في مسار train-score-eval مع مثال المكونات المسجلة. يمكنك استخدام الأمر التالي لتعيين مسار إخراج مخصص للإخراج pipeline_job_trained_model.

# define the custom output path using datastore uri
# add relative path to your blob container after "azureml://datastores/<datastore_name>/paths"
output_path="azureml://datastores/{datastore_name}/paths/{relative_path_of_container}"  

# create job and define path using --outputs.<outputname>
az ml job create -f ./pipeline.yml --set outputs.pipeline_job_trained_model.path=$output_path  

Python SDK

cluster_name = "cpu-cluster"
custom_path = "azureml://datastores/workspaceblobstore/paths/custom_path/${{name}}/"

# define a pipeline with component
@pipeline(default_compute=cluster_name)
def pipeline_with_python_function_components(input_data, test_data, learning_rate):
    """E2E dummy train-score-eval pipeline with components defined via python function components"""

    # Call component obj as function: apply given inputs & parameters to create a node in pipeline
    train_with_sample_data = train_model(
        training_data=input_data, max_epochs=5, learning_rate=learning_rate
    )
    score_with_sample_data = score_data(
        model_input=train_with_sample_data.outputs.model_output,
        test_data=test_data,
        model_file=train_with_sample_data.outputs.output,
    )
    # example how to change path of output on step level,
    # please note if the output is promoted to pipeline level you need to change path in pipeline job level
    score_with_sample_data.outputs.score_output = Output(
        type="uri_folder", mode="rw_mount", path=custom_path
    )
    eval_with_sample_data = eval_model(
        scoring_result=score_with_sample_data.outputs.score_output,
        scoring_file=score_with_sample_data.outputs.output,
    )

    # Return: pipeline outputs
    return {
        "eval_output": eval_with_sample_data.outputs.eval_output,
        "model_output": train_with_sample_data.outputs.model_output,
    }


pipeline_job = pipeline_with_python_function_components(
    input_data=Input(
        path="wasbs://demo@dprepdata.blob.core.windows.net/Titanic.csv", type="uri_file"
    ),
    test_data=Input(
        path="wasbs://demo@dprepdata.blob.core.windows.net/Titanic.csv", type="uri_file"
    ),
    learning_rate=0.1,
)
# example how to change path of output on pipeline level
pipeline_job.outputs.model_output = Output(
    type="uri_folder", mode="rw_mount", path=custom_path
)

يمكن العثور على مثال دفتر الملاحظات من طرف إلى طرف في البنية الأساسية لبرنامج ربط العمليات التجارية مع دفتر ملاحظات دالة python مزين command_component.

كيفية تنزيل الإخراج

يمكنك تنزيل إخراج المكون أو إخراج البنية الأساسية لبرنامج ربط العمليات التجارية باتباع المثال أدناه.

تنزيل إخراج مستوى البنية الأساسية لبرنامج ربط العمليات التجارية

Azure CLI

# Download all the outputs of the job
az ml job download --all -n <JOB_NAME> -g <RESOURCE_GROUP_NAME> -w <WORKSPACE_NAME> --subscription <SUBSCRIPTION_ID>

# Download specific output
az ml job download --output-name <OUTPUT_PORT_NAME> -n <JOB_NAME> -g <RESOURCE_GROUP_NAME> -w <WORKSPACE_NAME> --subscription <SUBSCRIPTION_ID>

Python SDK

قبل أن نتعمق في التعليمات البرمجية، تحتاج إلى طريقة للإشارة إلى مساحة العمل الخاصة بك. يمكنك إنشاء ml_client لمقبض إلى مساحة العمل. راجع إنشاء مقبض إلى مساحة العمل لتهيئة ml_client.

# Download all the outputs of the job
output = client.jobs.download(name=job.name, download_path=tmp_path, all=True)

# Download specific output
output = client.jobs.download(name=job.name, download_path=tmp_path, output_name=output_port_name)

تنزيل مخرجات الوظيفة التابعة

عندما تحتاج إلى تنزيل إخراج مهمة تابعة (إخراج مكون لا يروج إلى مستوى المسار)، يجب أولا سرد كافة كيان الوظيفة التابعة لمهمة المسار ثم استخدام تعليمات برمجية مشابهة لتنزيل الإخراج.

Azure CLI

# List all child jobs in the job and print job details in table format
az ml job list --parent-job-name <JOB_NAME> -g <RESOURCE_GROUP_NAME> -w <WORKSPACE_NAME> --subscription <SUBSCRIPTION_ID> -o table

# Select needed child job name to download output
az ml job download --all -n <JOB_NAME> -g <RESOURCE_GROUP_NAME> -w <WORKSPACE_NAME> --subscription <SUBSCRIPTION_ID>

Python SDK

قبل أن نتعمق في التعليمات البرمجية، تحتاج إلى طريقة للإشارة إلى مساحة العمل الخاصة بك. يمكنك إنشاء ml_client لمقبض إلى مساحة العمل. راجع إنشاء مقبض إلى مساحة العمل لتهيئة ml_client.

# List all child jobs in the job
child_jobs = client.jobs.list(parent_job_name=job.name)
# Traverse and download all the outputs of child job
for child_job in child_jobs:
    client.jobs.download(name=child_job.name, all=True)

كيفية تسجيل الإخراج كأصل مسمى

يمكنك تسجيل إخراج مكون أو مسار كأصل مسمى عن طريق تعيين name و version إلى الإخراج. يمكن إدراج الأصل المسجل في مساحة العمل الخاصة بك من خلال studio UI/CLI/SDK كما يمكن الرجوع إليه في مهامك المستقبلية.

تسجيل إخراج البنية الأساسية لبرنامج ربط العمليات التجارية

Azure CLI

display_name: register_pipeline_output
type: pipeline
jobs:
  node:
    type: command
    inputs:
      component_in_path:
        type: uri_file
        path: https://dprepdata.blob.core.windows.net/demo/Titanic.csv
    component: ../components/helloworld_component.yml
    outputs:
      component_out_path: ${{parent.outputs.component_out_path}}
outputs:
  component_out_path:
    type: mltable
    name: pipeline_output  # Define name and version to register pipeline output
    version: '1'
settings:
  default_compute: azureml:cpu-cluster

Python SDK

from azure.ai.ml import dsl, Output

# Load component functions
components_dir = "./components/"
helloworld_component = load_component(source=f"{components_dir}/helloworld_component.yml")

@pipeline()
def register_pipeline_output():
  # Call component obj as function: apply given inputs & parameters to create a node in pipeline
  node = helloworld_component(component_in_path=Input(
    type='uri_file', path='https://dprepdata.blob.core.windows.net/demo/Titanic.csv'))

  return {
      'component_out_path': node.outputs.component_out_path
  }

pipeline = register_pipeline_output()
# Define name and version to register pipeline output
pipeline.settings.default_compute = "azureml:cpu-cluster"
pipeline.outputs.component_out_path.name = 'pipeline_output'
pipeline.outputs.component_out_path.version = '1'

تسجيل إخراج وظيفة تابعة

Azure CLI

display_name: register_node_output
type: pipeline
jobs:
  node:
    type: command
    component: ../components/helloworld_component.yml
    inputs:
      component_in_path:
        type: uri_file
        path: 'https://dprepdata.blob.core.windows.net/demo/Titanic.csv'
    outputs:
      component_out_path:
        type: uri_folder
        name: 'node_output'  # Define name and version to register a child job's output
        version: '1'
settings:
  default_compute: azureml:cpu-cluster

Python SDK

from azure.ai.ml import dsl, Output

# Load component functions
components_dir = "./components/"
helloworld_component = load_component(source=f"{components_dir}/helloworld_component.yml")

@pipeline()
def register_node_output():
  # Call component obj as function: apply given inputs & parameters to create a node in pipeline
  node = helloworld_component(component_in_path=Input(
    type='uri_file', path='https://dprepdata.blob.core.windows.net/demo/Titanic.csv'))

  # Define name and version to register node output
  node.outputs.component_out_path.name = 'node_output'
  node.outputs.component_out_path.version = '1'

pipeline = register_node_output()
pipeline.settings.default_compute = "azureml:cpu-cluster"

الخطوات التالية

• مرجع YAML لمهمة البنية الأساسية لبرنامج ربط العمليات التجارية
• كيفية تصحيح فشل البنية الأساسية لبرنامج ربط العمليات التجارية
• جدولة مهمة البنية الأساسية لبرنامج ربط العمليات التجارية
• توزيع البنية الأساسية لبرنامج ربط العمليات التجارية مع نقاط نهاية الدفعة (معاينة)