Azure Machine Learning nasıl çalışır: kaynaklar ve varlıklar

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)Python SDK azure-ai-ml v2 (geçerli)

Bu makale , Azure Machine Learning CLI ve Python SDK v2'nin ikinci sürümü için geçerlidir. Birinci sürüm (v1) için bkz . Azure Machine Learning nasıl çalışır: Mimari ve kavramlar (v1).

Azure Machine Learning, makine öğrenmesi görevlerinizi gerçekleştirmenizi sağlayan çeşitli kaynaklar ve varlıklar içerir. Bu kaynaklar ve varlıklar herhangi bir işi çalıştırmak için gereklidir.

  • Kaynaklar: Makine öğrenmesi iş akışını çalıştırmak için gereken kurulum veya altyapı kaynakları. Kaynaklar şunlardır:
  • Varlıklar: Azure Machine Learning komutları ile veya bir eğitim/puanlama çalıştırmasının parçası olarak oluşturulur. Varlıklar sürümü oluşturulur ve Azure Machine Learning çalışma alanına kaydedilebilir. Bunlar şunlardır:

Bu belge, bu kaynaklara ve varlıklara hızlı bir genel bakış sağlar.

Önkoşullar

Bu makaledeki Python SDK kod örneklerini kullanmak için:

  1. Python SDK v2'yi yükleyin.

  2. Azure Machine Learning aboneliğinize bir bağlantı oluşturun. Örneklerin tümüne dayanır ml_client. Çalışma alanı oluşturmak için bağlantının çalışma alanı adına ihtiyacı yoktur çünkü henüz bir çalışma alanınız olmayabilir. Bu makaledeki diğer tüm örnekler, çalışma alanı adının bağlantıya eklenmesini gerektirir.

    # Import required libraries.
from azure.ai.ml import MLClient
from azure.ai.ml.entities import Workspace
from azure.identity import DefaultAzureCredential
from azure.ai.ml.entities import AmlCompute

# Enter details of your subscription.
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"

# Get a handle to the subscription. (Use this if you haven't created a workspace yet.)
ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group)

# All other examples in this article require that the connection include a workspace name.
workspace_name = "<WORKSPACE_NAME>"
ml_client = ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace_name)

Çalışma alanı

Çalışma alanı, Azure Machine Learning'in en üst düzey kaynağıdır ve Azure Machine Learning'i kullanırken oluşturduğunuz tüm yapıtlarla çalışmak için merkezi bir yer sağlar. Çalışma alanı günlükler, ölçümler, çıkış ve betiklerinizin anlık görüntüsü de dahil olmak üzere tüm işlerin geçmişini tutar. Çalışma alanı, veri depoları ve işlem gibi kaynaklara başvurular depolar. Ayrıca modeller, ortamlar, bileşenler ve veri varlıkları gibi tüm varlıkları da barındırır.

Çalışma alanı oluşturma

Python SDK v2 kullanarak çalışma alanı oluşturmak için aşağıdaki kodu kullanabilirsiniz:

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

# Specify the workspace details.
ws = Workspace(
    name="my_workspace",
    location="eastus",
    display_name="My workspace",
    description="This example shows how to create a workspace",
    tags=dict(purpose="demo"),
)
# Use MLClient to connect to the subscription and resource group and create the workspace.
ml_client.workspaces.begin_create(ws)

SDK v2 kullanarak Azure Machine Learning çalışma alanı oluşturmanın diğer yolları için bu Jupyter not defterine bakın.

Çalışma alanı oluşturma hakkında daha ayrıntılı bilgi için bkz . Portalda veya Python SDK'sı (v2) ile Azure Machine Learning çalışma alanlarını yönetme.

İşlem

Hesaplama birimi, işlemlerinizi yürüttüğünüz veya uç noktanızı barındırdığınız belirlenmiş bir kaynak türüdür. Azure Machine Learning aşağıdaki işlem türlerini destekler:

  • Hesaplama örneği. Bulutta tam olarak yapılandırılmış ve yönetilen bir geliştirme ortamı. Örneği geliştirme ve test için eğitim veya çıkarım işlem olarak kullanabilirsiniz. Buluttaki bir sanal makineye benzer.
  • İşlem kümesi. Bulutta kolayca cpu veya GPU işlem düğümleri kümesi oluşturmanızı sağlayan yönetilen işlem altyapısı.
  • Sunucusuz işlem. Anında erişdiğiniz bir işlem kümesi. Sunucusuz işlem kullandığınızda kendi kümenizi oluşturmanız gerekmez. Tüm işlem yaşam döngüsü yönetimi Azure Machine Learning'e yüklenir.
  • Çıkarım kümesi. Eğitilmiş makine öğrenmesi modellerini Azure Kubernetes Service'e (AKS) dağıtmak için kullanılır. Azure Machine Learning çalışma alanınızdan bir Azure Kubernetes Service kümesi oluşturabilir veya var olan bir AKS kümesini ekleyebilirsiniz.
  • Bağlı hesaplama. Çalışma alanınıza kendi işlem kaynaklarınızı ekleyebilir ve bunları eğitim ve çıkarım için kullanabilirsiniz.

İşlem kaynağı oluşturma

Python SDK v2 kullanarak işlem kümesi oluşturmak için aşağıdaki kodu kullanabilirsiniz:

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

from azure.ai.ml.entities import AmlCompute
cluster_basic = AmlCompute(
    name="basic-example",
    type="amlcompute",
    size="STANDARD_DS3_v2",
    location="westus",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
)
ml_client.begin_create_or_update(cluster_basic)

SDK v2 kullanarak işlem oluşturmanın diğer yolları için bu Jupyter not defterine bakın.

İşlem oluşturma hakkında daha ayrıntılı bilgi için bkz:

Veri Deposu

Azure Machine Learning veri depoları, veri depolamanızın bağlantı bilgilerini Azure'da güvenli bir şekilde tutar, böylece betiklerinizde kod yazmanız gerekmez. Depolama hesabınıza kolayca bağlanmak ve temel depolama hizmetinizdeki verilere erişmek için bir veri deposu kaydedebilir ve oluşturabilirsiniz. CLI v2 ve SDK v2, aşağıdaki bulut tabanlı depolama hizmeti türlerini destekler:

  • Azure Blob kapsayıcısı
  • Azure dosya paylaşımı
  • Azure Data Lake Storage
  • Azure Data Lake Storage (İkinci Nesil)

Veri deposu oluşturma

Python SDK v2 kullanarak veri deposu oluşturmak için aşağıdaki kodu kullanabilirsiniz:

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

import AzureBlobDatastore

blob_datastore1 = AzureBlobDatastore(
    name="blob_example",
    description="Datastore pointing to a blob container.",
    account_name="mytestblobstore",
    container_name="data-container",
    credentials={
        "account_key": "XXXxxxXXXxXXXXxxXXXXXxXXXXXxXxxXxXXXxXXXxXXxxxXXxxXXXxXxXXXxxXxxXXXXxxxxxXXxxxxxxXXXxXXX"
    },
)
ml_client.create_or_update(blob_datastore1)

SDK v2 kullanarak veri deposu oluşturmanın diğer yolları için bu Jupyter not defterine bakın.

Veri deposu kullanma hakkında daha fazla bilgi edinmek için bkz . Veri varlıkları oluşturma ve yönetme.

Örnek

Azure Machine Learning modelleri, bir makine öğrenmesi modelini ve ilgili meta verileri temsil eden bir veya daha fazla ikili dosyadan oluşur. Modeller yerel veya uzak bir dosyadan veya dizinden oluşturulabilir. Uzak konumlar httpsiçin ve wasbsazureml konumlar desteklenir. Oluşturulan model çalışma alanında belirtilen ad ve sürüm altında izlenir. Azure Machine Learning, modeller için üç tür depolama biçimi destekler:

  • custom_model
  • mlflow_model
  • triton_model

Model kayıt defterinde model oluşturma

Model kaydı, modellerinizi Azure bulutunda, çalışma alanınızda depolamanıza ve sürüm oluşturmanıza olanak tanır. Model kayıt defteri, eğitilen modellerinizi düzenlemenize ve izlemenize yardımcı olur.

Kayıt defterinde model oluşturma hakkında daha fazla bilgi için bkz . Azure Machine Learning'de modellerle çalışma.

Ortam

Azure Machine Learning ortamı, makine öğrenmesi görevinizin gerçekleştiği ortamın kapsüllemesidir. Eğitim ve puanlama betikleriniz için yazılım paketlerini, ortam değişkenlerini ve yazılım ayarlarını belirtir. Ortamlar, Machine Learning çalışma alanınızdaki yönetilen ve sürümlenmiş varlıklardır. Ortamlar, çeşitli işlemlerde yeniden üretilebilir, denetlenebilir ve taşınabilir makine öğrenmesi iş akışlarını etkinleştirir.

Ortam türleri

Azure Machine Learning iki tür ortamı destekler: seçilmiş ve özel.

Seçilen ortamlar Azure Machine Learning tarafından sağlanır ve varsayılan olarak çalışma alanınızda kullanılabilir. Olduğu gibi kullanılması amaçlanan bu paketler, çeşitli makine öğrenmesi çerçevelerini kullanmaya başlamanıza yardımcı olacak Python paketleri ve ayarları koleksiyonları içerir. Bu önceden oluşturulmuş ortamlar ayrıca daha hızlı dağıtım süresi sağlar. Tam liste için, seçilmiş ortamlar makalesine bakın.

Özel ortamlarda ortamınızı ayarlamak ve eğitim veya puanlama betiğinizin işlem üzerinde ihtiyaç duyduğu paketleri veya diğer bağımlılıkları yüklemek sizin sorumluluğunuzdadır. Azure Machine Learning, şunları kullanarak kendi ortamınızı oluşturmanıza olanak tanır:

  • Docker görüntüsü.
  • Daha fazla özelleştirme için Conda YAML dosyası içeren temel bir Docker görüntüsü.
  • Docker yapı bağlamı.

Azure Machine Learning özel ortamı oluşturma

Python SDK v2 kullanarak ortam oluşturma hakkında bilgi için bkz. Ortam oluşturma.

SDK v2 kullanarak özel ortamlar oluşturmanın diğer yolları için bu Jupyter not defterine bakın.

Ortamlar hakkında daha fazla bilgi için bkz. Azure Machine Learning'de ortam oluşturma ve yönetme.

Veri

Azure Machine Learning, farklı veri türleriyle çalışmanıza olanak tanır:

  • URI'ler (yerel veya bulut depolamadaki bir konum)
    • uri_folder
    • uri_file
  • Tablolar (tablosal veri soyutlaması)
    • mltable
  • Ilkel
    • string
    • boolean
    • number

Çoğu senaryoda, Tekdüzen Kaynak Tanımlayıcıları'na (URI'ler) (uri_folder ve uri_file), bir işteki hesaplama düğümünün dosya sistemine kolayca eşleyebileceğiniz bir depolama konumuna erişim için kullanırsınız; bu, depolamayı düğüme takarak veya indirerek yapılır.

mltable AutoML işleri, paralel işler ve bazı gelişmiş senaryolar için kullanılan tablosal verilere yönelik bir soyutlamadır. Azure Machine Learning'i kullanmaya yeni başladıysanız ve AutoML kullanmıyorsanız URI'lerle başlamanızı kesinlikle öneririz.

Bileşen

Azure Machine Learning bileşeni , makine öğrenmesi işlem hattındaki bir adımı tamamlayan, bağımsız bir kod parçasıdır. Bileşenler, gelişmiş makine öğrenmesi işlem hatlarının yapı taşlarıdır. Bileşenler veri işleme, model eğitimi ve model puanlaması gibi görevleri gerçekleştirebilir. Bileşen bir işleve benzer: bir adı ve parametreleri vardır, giriş bekler ve çıkış döndürür.

İlgili içerik

  • Last updated on