Aracılığıyla paylaş


core Paket

Yapılandırılabilir makine öğrenmesi iş akışları olan Azure Machine Learning işlem hatları için temel işlevleri içerir.

Azure Machine Learning işlem hatları, makine öğrenmesi senaryolarınız için şablon olarak kullanılabilecek yeniden kullanılabilir makine öğrenmesi iş akışları oluşturmanıza olanak tanır. Bu paket, Azure ML işlem hatları ile çalışmaya yönelik temel işlevselliği içerir ve genellikle paketteki steps sınıflarla birlikte kullanılır.

Makine öğrenmesi işlem hattı, sıralı ve paralel hale getirilebilen veya adımlar arasındaki açık bağımlılıklarla oluşturulabilen bir nesne koleksiyonuyla PipelineStep temsil edilir. İşlem hattı adımları, yürütülecek iş akışını temsil eden bir Pipeline nesneyi tanımlamak için kullanılır. Azure ML SDK'sı yüklü bir Jupyter Notebook veya başka bir IDE'de işlem hatları oluşturabilir ve bunlarla çalışabilirsiniz.

Azure ML işlem hatları altyapı yerine makine öğrenmesine odaklanmanızı sağlar. İşlem hattı oluşturmaya başlamak için bkz https://aka.ms/pl-first-pipeline. .

Machine Learning İşlem Hattı'nın avantajları ve Azure tarafından sunulan diğer işlem hatlarıyla nasıl ilişkili olduğu hakkında daha fazla bilgi için bkz. Azure Machine Learning hizmetinde ML işlem hatları nelerdir?

Modül

builder

Azure Machine Learning işlem hattı oluşturmaya yönelik sınıfları tanımlar.

İşlem hattı grafiği işlem hattı adımlarından (PipelineStep), her adımda üretilen veya tüketilen isteğe bağlı işlem hattı verilerinden (PipelineData) ve isteğe bağlı adım yürütme dizilerinden (StepSequence oluşur.

graph

Azure Machine Learning işlem hattı grafları oluşturmak için sınıfları tanımlar.

(ve türetilmiş sınıflar), PipelineDatave PipelineData nesneleri kullandığınızda PipelineStep , nesneler için Pipeline Azure ML işlem hattı grafikleri oluşturulur. Tipik kullanım örneklerinde, bu modüldeki sınıfları doğrudan kullanmanız gerekmez.

İşlem hattı çalıştırma grafiği, veri kaynağı veya adım gibi temel birimleri temsil eden modül düğümlerinden oluşur. Düğümler giriş bağlantı noktalarına, çıkış bağlantı noktalarına ve ilişkili parametrelere sahip olabilir. Kenarlar, bir grafikteki iki düğüm bağlantı noktası arasındaki ilişkileri tanımlar.

module

Azure Machine Learning işlem hattının yeniden kullanılabilir hesaplama birimlerini oluşturmaya ve yönetmeye yönelik sınıflar içerir.

Modüller, içinde girişlere, çıkışlara sahip olabilecek ve çalıştırılan parametrelere ve ortam yapılandırmasına dayanan hesaplama birimleri Pipelineoluşturmanıza olanak tanır. Bir modül, tek bir İşlem Hattında kullanılan (ve türetilmiş sınıflardan) farklı PipelineStep Azure Machine Learning işlem hatlarında sürüm oluşturulabilir ve kullanılabilir.

Modüller çeşitli işlem hatlarında yeniden kullanılmak üzere tasarlanmıştır ve farklı kullanım örnekleri için belirli bir hesaplama mantığını uyarlamak üzere geliştirilebilir. İşlem hattındaki bir adım, bir algoritmayı geliştirmek için hızlı yinelemelerde kullanılabilir ve hedefe ulaşıldıktan sonra algoritma genellikle yeniden kullanımı etkinleştirmek için modül olarak yayımlanır.

module_step_base

bir sürümünü Modulekullanarak işlem hattına adım ekleme işlevselliği içerir.

pipeline

Yeniden kullanılabilir Azure Machine Learning iş akışları oluşturmak için sınıfı tanımlar.

pipeline_draft

Değiştirilebilir işlem hatlarını yönetmek için sınıfları tanımlar.

pipeline_endpoint

Sürüm oluşturma ve uç noktalar dahil olmak üzere işlem hatlarını yönetmek için sınıfları tanımlar.

pipeline_output_dataset

Ara çıkışı Azure Machine Learning Veri Kümesine yükseltmeye yönelik işlevler içerir.

Bir işlem hattındaki ara veriler (çıktı) varsayılan olarak Azure Machine Learning Veri Kümesi olmaz. Ara verileri Azure Machine Learning Veri Kümesine yükseltmek için PipelineData sınıfında yöntemini çağırarak as_dataset bir PipelineOutputFileDataset nesne döndürebilirsiniz. PipelineOutputFileDataset nesnesinden bir PipelineOutputTabularDataset nesne oluşturabilirsiniz.

run

Durumu denetleme ve çalıştırma ayrıntılarını alma sınıfları da dahil olmak üzere gönderilen işlem hatları için sınıfları tanımlar.

schedule

Azure Machine Learning İşlem Hatlarının gönderimlerini zamanlamak için sınıfları tanımlar.

Sınıflar

InputPortBinding

Kaynaktan işlem hattı adımının girişine bağlama tanımlar.

InputPortBinding bir adıma giriş olarak kullanılabilir. Kaynak bir PipelineData, PortDataReference, DataReference, PipelineDatasetveya OutputPortBindingolabilir.

InputPortBinding, bağlama nesnesinin adından farklı olması gerekiyorsa (örneğin, yinelenen giriş/çıkış adlarından kaçınmak için veya adım betiğinin belirli bir ada sahip olması için bir girişe ihtiyaç duyduğundan) adım girişinin adını belirtmek için yararlıdır. Girişler için bind_mode belirtmek için PythonScriptStep de kullanılabilir.

InputPortBinding'i başlatın.

Module

Azure Machine Learning işlem hattında kullanılan bir hesaplama birimini temsil eder.

Modül, bir işlem hedefi ve bir arabirimin açıklaması üzerinde çalıştırılacak bir dosya koleksiyonudur. Dosya koleksiyonu betik, ikili dosyalar veya işlem hedefinde yürütmek için gereken diğer dosyalar olabilir. Modül arabirimi girişler, çıkışlar ve parametre tanımlarını açıklar. Bunları belirli değerlere veya verilere bağlamaz. Bir modülün kendisiyle ilişkilendirilmiş bir anlık görüntüsü vardır ve bu da modül için tanımlanan dosya koleksiyonunu yakalar.

Modülü Başlat'ı seçin.

ModuleVersion

içindeki Modulegerçek hesaplama birimini temsil eder.

Bu sınıfı doğrudan kullanmamalısınız. Bunun yerine sınıfının yayımlama yöntemlerinden Module birini kullanın.

ModuleVersion'ı başlatın.

ModuleVersionDescriptor

Sürümünü ve kimliğini ModuleVersiontanımlar.

ModuleVersionDescriptor'ı başlatın.

OutputPortBinding

İşlem hattı adımının adlandırılmış çıkışını tanımlar.

OutputPortBinding, bir adım tarafından oluşturulacak veri türünü ve verilerin nasıl üretileceğini belirtmek için kullanılabilir. Adım çıkışının başka bir adımın gerekli bir girişi olduğunu belirtmek için ile InputPortBinding birlikte kullanılabilir.

OutputPortBinding'i başlatın.

Pipeline

Yeniden kullanılabilir bir Azure Machine Learning iş akışı olarak yürütülebilecek bir adım koleksiyonunu temsil eder.

Çeşitli makine öğrenmesi aşamalarını bir araya getiren iş akışları oluşturmak ve yönetmek için İşlem Hattı kullanın. Veri hazırlama ve model eğitimi gibi her makine öğrenmesi aşaması bir İşlem Hattındaki bir veya daha fazla adımdan oluşabilir.

İşlem Hatlarının neden ve ne zaman kullanılacağına genel bir bakış için bkz https://aka.ms/pl-concept. .

İşlem Hattı oluşturma hakkında genel bakış için bkz https://aka.ms/pl-first-pipeline. .

İşlem Hattını Başlatın.

PipelineData

Azure Machine Learning işlem hattındaki ara verileri temsil eder.

İşlem hattında kullanılan veriler bir adım tarafından oluşturulabilir ve bir pipelineData nesnesi bir adımın çıkışı ve sonraki bir veya daha fazla adımın girişi olarak sağlanarak başka bir adımda kullanılabilir.

İşlem hattı verilerini kullanıyorsanız kullanılan dizinin mevcut olduğundan emin olun.

Dizinin var olduğundan emin olmak için bir python örneği, bir işlem hattı adımında output_folder adlı bir çıkış bağlantı noktanız olduğunu varsayalım ve bu klasördeki göreli yola veri yazmak istiyorsunuz.


   import os
   os.makedirs(args.output_folder, exist_ok=True)
   f = open(args.output_folder + '/relative_path/file_name', 'w+')

PipelineData, veri erişimi ve teslimi için artık önerilen yaklaşım olmayan DataReference'ı kullanır, lütfen bunun yerine OutputFileDatasetConfig kullanın. Örneği burada bulabilirsiniz: OutputFileDatasetConfig kullanarak işlem hattı.

PipelineData'ı başlatın.

PipelineDataset

Veri Kümesi ve İşlem Hattı için bir bağdaştırıcı görevi görür.

Not

Bu sınıf kullanım dışı bırakıldı. veri kümesini işlem hattıyla kullanmayı öğrenin, bkz https://aka.ms/pipeline-with-dataset. .

Bu bir iç sınıftır. Bu sınıfı doğrudan oluşturmamalı, bunun yerine Dataset veya OutputDatasetConfig sınıflarında as_* örnek yöntemlerini çağırmamalısınız.

Veri Kümesi ve İşlem Hattı için bağdaştırıcı görevi görür.

Bu bir iç sınıftır. Bu sınıfı doğrudan oluşturmamalı, bunun yerine Dataset veya OutputDatasetConfig sınıflarında as_* örnek yöntemlerini çağırmamalısınız.

PipelineDraft

Çalıştırmaları göndermek ve Yayımlanan İşlem Hatları oluşturmak için kullanılabilecek değiştirilebilir bir işlem hattını temsil eder.

İşlem Hatlarında yineleme yapmak için PipelineDrafts kullanın. PipelineDraft'lar sıfırdan, başka bir PipelineDraft'tan veya mevcut işlem hatlarından oluşturulabilir: Pipeline, PublishedPipelineveya PipelineRun.

PipelineDraft'ı başlatın.

PipelineEndpoint

Benzersiz bir Pipeline uç nokta URL'sinden tetiklenebilen bir iş akışını temsil eder.

PipelineEndpoints, aynı uç noktayı korurken yeni sürümlerini PublishedPipeline oluşturmak için kullanılabilir. PipelineEndpoints, çalışma alanında benzersiz olarak adlandırılır.

PipelineEndpoint nesnesinin endpoint özniteliğini kullanarak REST çağrıları ile dış uygulamalardan yeni işlem hattı çalıştırmaları tetikleyebilirsiniz. REST uç noktalarını çağırırken kimlik doğrulaması yapma hakkında bilgi için bkz https://aka.ms/pl-restep-auth. .

Makine öğrenmesi işlem hatlarını oluşturma ve çalıştırma hakkında daha fazla bilgi için bkz https://aka.ms/pl-first-pipeline. .

PipelineEndpoint'i başlatın.

PipelineParameter

İşlem hattı yürütmesinde parametre tanımlar.

PipelineParameters'ı kullanarak daha sonra değişen parametre değerleriyle yeniden yayımlanabilen çok yönlü İşlem Hatları oluşturun.

İşlem hattı parametrelerini başlatın.

PipelineRun

bir çalıştırmayı Pipelinetemsil eder.

Bu sınıf, işlem hattı çalıştırması gönderildikten sonra çalıştırma ayrıntılarını yönetmek, denetlemek ve almak için kullanılabilir. İşlem hattı çalıştırması StepRun tarafından oluşturulan nesneleri almak için kullanınget_steps. Diğer kullanımlar arasında işlem hattı çalıştırmasıyla ilişkili nesneyi alma Graph , işlem hattı çalıştırmasının durumunu getirme ve çalıştırmanın tamamlanmasını bekleme sayılabilir.

İşlem hattı çalıştırması başlatın.

PipelineStep

Azure Machine Learning işlem hattındaki yürütme adımlarını temsil eder.

İşlem hatları, işlem hattındaki ayrı hesaplama birimleri olan birden çok işlem hattı adımından oluşturulur. Her adım bağımsız olarak çalıştırılabilir ve yalıtılmış işlem kaynaklarını kullanabilir. Her adımın genellikle kendi adlandırılmış girişleri, çıkışları ve parametreleri vardır.

PipelineStep sınıfı, yaygın senaryolar için tasarlanmış diğer yerleşik adım sınıflarının , DataTransferStepve HyperDriveStepgibi PythonScriptStepdevralındığı temel sınıftır.

Pipelines ve PipelineSteps arasındaki ilişki hakkında genel bilgi için bkz. ML İşlem Hatları nedir?

PipelineStep'i başlatın.

PortDataReference

Tamamlanmış bir StepRun çıkışıyla ilişkili verileri modeller.

PortDataReference nesnesi, tarafından StepRunoluşturulan çıkış verilerini indirmek için kullanılabilir. Gelecekteki bir İşlem Hattında adım girişi olarak da kullanılabilir.

PortDataReference'ı başlatın.

PublishedPipeline

Bunu oluşturan Python kodu olmadan gönderilecek bir İşlem Hattını temsil eder.

Buna ek olarak, bir PublishedPipeline farklı PipelineParameter değerler ve girişlerle yeniden Pipeline göndermek için kullanılabilir.

PublishedPipeline'i başlatın.

:p aram uç noktası Bu işlem hattı için işlem hattı çalıştırmalarını göndermek için REST uç nokta URL'si. :type endpoint: str :p aram total_run_steps: Bu işlem hattındaki adımların sayısı: total_run_steps yazın: int :p aram çalışma alanı: Yayımlanan işlem hattının çalışma alanı. :type workspace: azureml.core.Workspace :p aram continue_on_step_failure: PipelineRun'da diğer adımların yürütülmesine devam edilip edilmeyeceği

bir adım başarısız olursa varsayılan değer false olur.

Schedule

İşlem hattının gönderildiği zamanlamayı tanımlar.

İşlem Hattı yayımlandıktan sonra, Belirli bir aralıkta veya Blob depolama konumunda değişiklikler algılandığında İşlem Hattını göndermek için bir Zamanlama kullanılabilir.

Zamanlama'yı başlatın.

ScheduleRecurrence

İşlem hattının Schedulesıklığını, aralığını ve başlangıç saatini tanımlar.

ScheduleRecurrence ayrıca yinelenme için saat dilimini ve saat veya dakika veya hafta günlerini belirtmenize de olanak tanır.

Zamanlama yinelemesi başlatın.

Ayrıca, yinelenme için saat dilimini ve saatleri, dakikaları veya hafta günlerini belirtmeye olanak tanır.

StepRun

içinde bir adım çalıştırması Pipeline.

Bu sınıf, üst işlem hattı çalıştırması gönderildikten ve işlem hattı adım çalıştırmasını gönderdikten sonra çalıştırma ayrıntılarını yönetmek, denetlemek ve almak için kullanılabilir.

StepRun başlatın.

StepRunOutput

İşlem Hattında tarafından StepRun oluşturulan bir çıkışı temsil eder.

StepRunOutput, adım tarafından oluşturulan öğesine PortDataReference erişmek için kullanılabilir.

StepRunOutput'ı başlatın.

StepSequence

içindeki adımların Pipeline listesini ve yürütülecek sırayı temsil eder.

Belirli bir sırada çalıştırma adımlarını içeren bir iş akışı oluşturmak için işlem hattını başlatırken StepSequence kullanın.

StepSequence'ı başlatın.

TrainingOutput

İşlem hattında kullanmak üzere belirli PipelineSteps'in özelleştirilmiş bir çıkışını tanımlar.

TrainingOutput, azure machine learning işlem hattındaki başka bir adım tarafından kullanılacak bir adım çıktısı olarak otomatik makine öğrenmesi ölçümünü veya modelini kullanıma sunmayı sağlar. veya HyperDriveStepile AutoMLStep kullanılabilir.

TrainingOutput'ı başlatın.

param model_file: Çıkışa eklenecek belirli model dosyası. Yalnızca HyperDriveStep .

Numaralandırmalar

TimeZone

Yinelenme Scheduleiçin geçerli saat dilimlerini numaralandırır.