Pipeline Sınıf

Yeniden kullanılabilir bir Azure Machine Learning iş akışı olarak yürütülebilecek bir adım koleksiyonunu temsil eder.

Çeşitli makine öğrenmesi aşamalarını bir araya getiren iş akışları oluşturmak ve yönetmek için İşlem Hattı kullanın. Veri hazırlama ve model eğitimi gibi her makine öğrenmesi aşaması bir İşlem Hattındaki bir veya daha fazla adımdan oluşabilir.

İşlem Hatlarının neden ve ne zaman kullanılacağına genel bir bakış için bkz https://aka.ms/pl-concept. .

İşlem hattı oluşturma hakkında genel bakış için bkz https://aka.ms/pl-first-pipeline. .

İşlem Hattını Başlat' ı seçin.

Devralma

builtins.object

Pipeline

Oluşturucu

Pipeline(workspace, steps, description=None, default_datastore=None, default_source_directory=None, resolve_closure=True, _workflow_provider=None, _service_endpoint=None, **kwargs)

Parametreler

workspace

Workspace

Gerekli

İşlem Hattının gönder olduğu çalışma alanı.

steps

list

Gerekli

İşlem Hattının parçası olarak yürütülecek adımların listesi.

description

str

Gerekli

İşlem Hattının açıklaması.

default_datastore

AbstractAzureStorageDatastore veya AzureDataLakeDatastore

Gerekli

Veri bağlantıları için kullanılacak varsayılan veri deposu.

default_source_directory

str

Gerekli

Betiği yürüten adımlar için varsayılan betik dizini.

resolve_closure

bool

Gerekli

Kapatmanın çözümlenip çözümlenmeyeceği (bağımlı adımları otomatik olarak getir).

workspace

Workspace

Gerekli

İşlem Hattının gönder olduğu çalışma alanı.

steps

list

Gerekli

İşlem Hattının parçası olarak yürütülecek adımların listesi.

description

str

Gerekli

İşlem Hattının açıklaması.

default_datastore

AbstractAzureStorageDatastore veya AzureDataLakeDatastore

Gerekli

Veri bağlantıları için kullanılacak varsayılan veri deposu.

default_source_directory

str

Gerekli

Betiği yürüten adımlar için varsayılan betik dizini.

resolve_closure

bool

Gerekli

Kapatmayı çözme veya çözmeme (bağımlı adımları otomatik olarak getirme).

_workflow_provider

<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

Gerekli

Hiçbiri oluşturulduysa iş akışı sağlayıcısı.

_service_endpoint

str

Gerekli

Yok ise hizmet uç noktası çalışma alanı kullanılarak belirlenir.

kwargs

dict

Gerekli

Gelecekteki geliştirme için ayrılmış özel anahtar sözcük bağımsız değişkenleri

Açıklamalar

İşlem hattı, adım listesi ve çalışma alanı ile oluşturulur. İşlem hattında kullanılabilecek bir dizi adım türü vardır. Makine öğrenmesi senaryonuza göre adım türünü seçersiniz.

• Azure Machine Learning İşlem Hatları, yaygın senaryolar için yerleşik adımlar sağlar. PipelineStep'ten türetilen önceden oluşturulmuş adımlar, tek bir işlem hattında kullanılan adımlardır. Örnekler için pakete steps ve sınıfına AutoMLStep bakın.

• Farklı işlem hatlarında sürüm oluşturulabilen ve kullanılabilecek adımlar oluşturmak için makine öğrenmesi iş akışı kullanıyorsanız modüldeki Module işlevselliği kullanın.

kullanarak submitbir işlem hattı gönderin. Gönder çağrıldığında, iş akışındaki her adım için nesneler oluşturan StepRun bir PipelineRun oluşturulur. Çalıştırma yürütmesini izlemek için bu nesneleri kullanın.

İşlem Hattı gönderme örneği aşağıdaki gibidir:

   from azureml.pipeline.core import Pipeline

   pipeline = Pipeline(workspace=ws, steps=steps)
   pipeline_run = experiment.submit(pipeline)

bir İşlem Hattı için içinde gönderimde submitbelirtilebilen bir dizi isteğe bağlı ayar vardır.

• continue_on_step_failure: Bir adım başarısız olursa işlem hattı yürütmeye devam edilip edilmeyeceği; varsayılan değer False'tur. True ise, yalnızca başarısız adımın çıkışına bağımlılığı olmayan adımlar yürütülmeye devam eder.

• regenerate_outputs: Tüm adım çıkışlarının yeniden oluşturulmasını zorlamak ve bu çalıştırma için verilerin yeniden kullanılmasına izin vermemek için varsayılan değer False'tur.

• pipeline_parameters: İşlem hattı yürütme parametreleri, {name: value} sözlüğü. Diğer ayrıntılar için bkz PipelineParameter .

• parent_run_id: RunHistory'ye yansıtılan bu işlem hattı çalıştırmasının üst çalıştırmasını ayarlamak için bir çalıştırma kimliği sağlayabilirsiniz. Üst çalıştırma, bu işlem hattının gönderildiği denemeye ait olmalıdır.

Bu ayarları kullanarak İşlem Hattı gönderme örneği aşağıdaki gibidir:

   from azureml.pipeline.core import Pipeline

   pipeline = Pipeline(workspace=ws, steps=steps)
   pipeline_run = experiment.submit(pipeline,
                                    continue_on_step_failure=True,
                                    regenerate_outputs=True,
                                    pipeline_parameters={"param1": "value1"},
                                    parent_run_id="<run_id>")

Yöntemler

load_yaml	Belirtilen YAML dosyasından bir İşlem Hattı yükleyin. YAML dosyası, ModuleSteps'i içeren bir İşlem Hattını tanımlamak için kullanılabilir.
publish	bir işlem hattı yayımlayın ve yeniden çalıştırılabilmesini sağlayın. bir İşlem Hattı yayımlandıktan sonra, İşlem Hattını oluşturan Python kodu olmadan gönderilebilir. Oluşturulan PublishedPipelineöğesini döndürür.
service_endpoint	İşlem hattıyla ilişkili hizmet uç noktasını alın.
submit	İşlem hattı çalıştırması gönderin. Bu, kullanmakla submiteşdeğerdir. Gönderilen PipelineRunöğesini döndürür. Çalıştırmanın ayrıntılarını izlemek ve görüntülemek için bu nesneyi kullanın.
validate	İşlem hattını doğrulayın ve bağlı olmayan girişler gibi olası hataları belirleyin.

load_yaml

Belirtilen YAML dosyasından bir İşlem Hattı yükleyin.

YAML dosyası, ModuleSteps'i içeren bir İşlem Hattını tanımlamak için kullanılabilir.

static load_yaml(workspace, filename, _workflow_provider=None, _service_endpoint=None)

Parametreler

workspace

Workspace

Gerekli

İşlem Hattının gönder olduğu çalışma alanı.

filename

str

Gerekli

İşlem Hattını açıklayan YAML dosyası.

_workflow_provider

<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

varsayılan değer: None

İş akışı sağlayıcısı.

_service_endpoint

str

varsayılan değer: None

Hizmet uç noktası ( Yok ise) çalışma alanı kullanılarak belirlenir.

Döndürülenler

Yapılan İşlem Hattı.

Dönüş türü

Pipeline

Açıklamalar

Örnek bir YAML dosyası için aşağıya bakın. YAML, İşlem Hattı için bir ad, default_compute ve parametre, veri başvurusu ve adım listesi içerir. Her adım modül, işlem ve parametre, giriş ve çıkış bağlamalarını belirtmelidir. Ayrıca, gerekirse bir adım runconfig ve bağımsız değişkenler belirtilebilir.

Örnek Yaml dosyası:

   pipeline:
       description: SamplePipelineFromYaml
       parameters:
           NumIterationsParameter:
               type: int
               default: 40
           DataPathParameter:
               type: datapath
               default:
                   datastore: workspaceblobstore
                   path_on_datastore: sample2.txt
           NodeCountParameter:
               type: int
               default: 4
       data_references:
           DataReference:
               datastore: workspaceblobstore
               path_on_datastore: testfolder/sample.txt
           Dataset:
               dataset_name: 'titanic'
       default_compute: aml-compute
       steps:
           PrepareStep:
               type:  ModuleStep
               name: "TestModule"
               compute: aml-compute2
               runconfig: 'D:\.azureml\default_runconfig.yml'
               arguments:
               -'--input1'
               -input:in1
               -'--input2'
               -input:in2
               -'--input3'
               -input:in3
               -'--output'
               -output:output_data
               -'--param'
               -parameter:NUM_ITERATIONS
               parameters:
                   NUM_ITERATIONS:
                       source: NumIterationsParameter
               inputs:
                   in1:
                       source: Dataset
                       bind_mode: mount
                   in2:
                       source: DataReference
                   in3:
                       source: DataPathParameter
               outputs:
                   output_data:
                       destination: Output1
                       datastore: workspaceblobstore
                       bind_mode: mount
           TrainStep:
               type: ModuleStep
               name: "TestModule2"
               version: "2"
               runconfig: 'D:\.azureml\default_runconfig.yml'
               arguments:
               -'--input'
               -input:train_input
               -'--output'
               -output:result
               -'--param'
               -parameter:NUM_ITERATIONS
               parameters:
                   NUM_ITERATIONS: 10
               runconfig_parameters:
                   NodeCount:
                       source: NodeCountParameter
               inputs:
                   train_input:
                       source: Output1
                       bind_mode: mount
               outputs:
                   result:
                       destination: Output2
                       datastore: workspaceblobstore
                       bind_mode: mount

publish

bir işlem hattı yayımlayın ve yeniden çalıştırılabilmesini sağlayın.

bir İşlem Hattı yayımlandıktan sonra, İşlem Hattını oluşturan Python kodu olmadan gönderilebilir. Oluşturulan PublishedPipelineöğesini döndürür.

publish(name=None, description=None, version=None, continue_on_step_failure=None)

Parametreler

name

str

varsayılan değer: None

Yayımlanan işlem hattının adı.

description

str

varsayılan değer: None

Yayımlanan işlem hattının açıklaması.

version

str

varsayılan değer: None

Yayımlanan işlem hattının sürümü.

continue_on_step_failure

bool

varsayılan değer: None

Bir adım başarısız olursa PipelineRun'daki diğer adımların yürütülmesine devam edilip edilmeyeceğini gösterir; varsayılan değer false'tur. True ise, yalnızca başarısız adımın çıkışına bağımlılığı olmayan adımlar yürütülmeye devam eder.

Döndürülenler

Yayımlanan işlem hattı oluşturuldu.

Dönüş türü

PublishedPipeline

service_endpoint

İşlem hattıyla ilişkili hizmet uç noktasını alın.

service_endpoint()

Döndürülenler

Hizmet uç noktası.

Dönüş türü

str

submit

İşlem hattı çalıştırması gönderin. Bu, kullanmakla submiteşdeğerdir.

Gönderilen PipelineRunöğesini döndürür. Çalıştırmanın ayrıntılarını izlemek ve görüntülemek için bu nesneyi kullanın.

submit(experiment_name, pipeline_parameters=None, continue_on_step_failure=False, regenerate_outputs=False, parent_run_id=None, credential_passthrough=None, **kwargs)

Parametreler

experiment_name

str

Gerekli

İşlem hattını göndermek için denemenin adı.

pipeline_parameters

dict

varsayılan değer: None

İşlem hattı yürütme parametreleri, {name: value} sözlüğü. Diğer ayrıntılar için bkz PipelineParameter .

continue_on_step_failure

bool

varsayılan değer: False

Bir adım başarısız olursa işlem hattı yürütmeye devam edilip edilmeyeceğini gösterir. True ise, yalnızca başarısız adımın çıkışına bağımlılığı olmayan adımlar yürütülmeye devam eder.

regenerate_outputs

bool

varsayılan değer: False

Bu çalıştırma için tüm adım çıkışlarının yeniden oluşturulmasını zorlayıp zorlamayacağını ve verilerin yeniden kullanılmasına izin verilip verilmeyeceğini gösterir. False ise, bu çalıştırma önceki çalıştırmaların sonuçlarını yeniden kullanabilir ve sonraki çalıştırmalar bu çalıştırmanın sonuçlarını yeniden kullanabilir.

parent_run_id

str

varsayılan değer: None

RunHistory'ye yansıtılan bu işlem hattı çalıştırmasının üst çalıştırması için ayarlayabileceğiniz isteğe bağlı çalıştırma kimliği. Üst çalıştırma, bu işlem hattının gönderildiği denemeye ait olmalıdır.

credential_passthrough

varsayılan değer: None

İsteğe bağlı olarak, bu bayrak etkinse uzak işlem hattı işi, işi başlatan kullanıcının kimlik bilgilerini kullanır. Bu özellik yalnızca özel önizlemede kullanılabilir.

Döndürülenler

Gönderilen işlem hattı çalıştırması.

Dönüş türü

PipelineRun

validate

İşlem hattını doğrulayın ve bağlı olmayan girişler gibi olası hataları belirleyin.

validate()

Döndürülenler

İşlem hattındaki hataların listesi.

Dönüş türü

list

Açıklamalar

Doğrulama hatası örnekleri şunlardır:

• eksik veya beklenmeyen işlem hattı veri kaynakları veya adım türleri

• işlem hattı veri kaynağı veya adımı için eksik parametreler veya çıkış tanımları

• bağlantısız girişler

• döngü veya döngü oluşturan işlem hattı adımları

Doğrulama başarılı olursa (boş bir liste döndürür) ve işlem hattınız çalışmazsa makine öğrenmesi işlem hatlarında hata ayıklama ve sorun giderme bölümüne bakın.

Öznitelikler

graph

İşlem hattıyla ilişkili grafiği alın. Adımlar ve veri girişleri grafikte düğüm olarak görünür.

Döndürülenler

Grafik.

Dönüş türü

Graph