ml Paket
Paket
automl |
Berisi kelas pembelajaran mesin otomatis untuk Azure Machine Learning SDKv2. Area utama termasuk mengelola tugas AutoML. |
constants |
Paket ini mendefinisikan konstanta yang digunakan dalam Azure Machine Learning SDKv2. |
data_transfer | |
dsl | |
entities |
Berisi entitas dan objek SDK untuk Azure Machine Learning SDKv2. Area utama termasuk mengelola target komputasi, membuat/mengelola ruang kerja dan pekerjaan, dan mengirimkan/mengakses model, menjalankan dan menjalankan output/pengelogan, dll. |
identity |
Berisi Konfigurasi Identitas untuk Azure Machine Learning SDKv2. |
operations |
Berisi operasi yang didukung untuk Azure Machine Learning SDKv2. Operasi adalah kelas yang berisi logika untuk berinteraksi dengan layanan backend, biasanya panggilan operasi yang dihasilkan secara otomatis. |
parallel | |
sweep |
Modul
exceptions |
Berisi modul pengecualian di Azure Machine Learning SDKv2. Ini termasuk enum dan kelas untuk pengecualian. |
Kelas
AmlTokenConfiguration |
Konfigurasi identitas Token AzureML. |
Input |
Menginisialisasi objek Input. |
MLClient |
Kelas klien untuk berinteraksi dengan layanan Azure ML. Gunakan klien ini untuk mengelola sumber daya Azure ML seperti ruang kerja, pekerjaan, model, dan sebagainya. |
ManagedIdentityConfiguration |
Konfigurasi kredensial Identitas Terkelola. |
MpiDistribution |
Konfigurasi distribusi MPI. |
Output | |
PyTorchDistribution |
Konfigurasi distribusi PyTorch. |
RayDistribution |
Catatan Ini adalah kelas eksperimental, dan dapat berubah kapan saja. Lihat https://aka.ms/azuremlexperimental untuk mengetahui informasi selengkapnya. Konfigurasi distribusi sinar. |
TensorFlowDistribution |
Konfigurasi distribusi TensorFlow. |
UserIdentityConfiguration |
Konfigurasi identitas pengguna. |
Fungsi
command
Membuat objek Perintah yang dapat digunakan di dalam fungsi dsl.pipeline atau digunakan sebagai pekerjaan Perintah mandiri.
command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command
Parameter
Kamus tag. Tag dapat ditambahkan, dihapus, dan diperbarui. Default ke Tidak Ada.
Nama eksperimen tempat pekerjaan akan dibuat. Default ke nama direktori saat ini.
- environment
- Optional[Union[str, Environment]]
Lingkungan tempat pekerjaan akan berjalan.
Kamus nama dan nilai variabel lingkungan. Variabel lingkungan ini diatur pada proses saat skrip pengguna sedang dijalankan. Default ke Tidak Ada.
- distribution
- Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]
Konfigurasi untuk pekerjaan terdistribusi. Default ke Tidak Ada.
Target komputasi yang akan dijalankan pekerjaan. Default ke komputasi default.
Pemetaan nama input untuk memasukkan sumber data yang digunakan dalam pekerjaan. Default ke Tidak Ada.
Pemetaan nama output ke sumber data output yang digunakan dalam pekerjaan. Default ke Tidak Ada.
Jumlah instans atau simpul yang akan digunakan oleh target komputasi. Default ke 1.
Argumen tambahan untuk diteruskan ke perintah eksekusi Docker. Ini akan mengambil alih parameter apa pun yang telah ditetapkan oleh sistem, atau di bagian ini. Parameter ini hanya didukung untuk jenis komputasi Azure ML. Default ke Tidak Ada.
Ukuran blok memori bersama kontainer Docker. Ini harus dalam format (number)(unit) di mana angka harus lebih besar dari 0 dan unit dapat menjadi salah satu dari b(byte), k(kilobyte), m(megabyte), atau g(gigabyte).
Kode sumber untuk menjalankan pekerjaan. Dapat berupa jalur lokal atau url "http:", "https:", atau "azureml:" yang menunjuk ke lokasi jarak jauh.
- identity
- Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]
Identitas yang akan digunakan pekerjaan perintah saat berjalan pada komputasi.
- is_deterministic
- bool
Menentukan apakah Perintah akan mengembalikan output yang sama dengan input yang sama. Default ke True. Ketika True, jika Komponen Perintah bersifat deterministik dan telah dijalankan sebelumnya di ruang kerja saat ini dengan input dan pengaturan yang sama, komponen tersebut akan menggunakan kembali hasil dari pekerjaan yang dikirimkan sebelumnya saat digunakan sebagai simpul atau langkah dalam alur. Dalam skenario itu, tidak ada sumber daya komputasi yang akan digunakan.
- services
- Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]
Layanan interaktif untuk simpul. Default ke Tidak Ada. Ini adalah parameter eksperimental, dan dapat berubah kapan saja. Lihat https://aka.ms/azuremlexperimental untuk mengetahui informasi selengkapnya.
Tingkat pekerjaan. Nilai yang diterima adalah "Spot", "Basic", "Standard", atau "Premium".
Prioritas pekerjaan pada komputasi. Nilai yang diterima adalah "rendah", "sedang", dan "tinggi". Default ke "medium".
Mengembalikan
Objek Perintah.
Tipe hasil
Contoh
Membuat Pekerjaan Perintah menggunakan metode penyusun command().
from azure.ai.ml import Input, Output, command
train_func = command(
environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
command='echo "hello world"',
distribution={"type": "Pytorch", "process_count_per_instance": 2},
inputs={
"training_data": Input(type="uri_folder"),
"max_epochs": 20,
"learning_rate": 1.8,
"learning_rate_schedule": "time-based",
},
outputs={"model_output": Output(type="uri_folder")},
)
load_batch_deployment
Buat objek penyebaran batch dari file yaml.
load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Sumber yaml lokal objek penyebaran batch. Harus berupa jalur ke file lokal, atau file yang sudah dibuka. Jika sumbernya adalah jalur, sumber akan terbuka dan dibaca. Pengecualian dimunculkan jika file tidak ada. Jika sumber adalah file terbuka, file akan dibaca secara langsung, dan pengecualian dimunculkan jika file tidak dapat dibaca.
- relative_origin
- str
Asal yang akan digunakan saat menyimpulkan lokasi relatif file yang direferensikan dalam yaml yang diurai. Default ke direktori sumber yang dimasukkan jika merupakan input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Bidang yang akan ditimpa di atas file yaml. Formatnya adalah [{"field1": "value1"}, {"field2": "value2"}]
Mengembalikan
Membangun objek penyebaran batch.
Tipe hasil
load_batch_endpoint
Buat objek titik akhir batch dari file yaml.
load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Sumber yaml lokal objek titik akhir batch. Harus berupa jalur ke file lokal, atau file yang sudah dibuka. Jika sumbernya adalah jalur, sumber akan terbuka dan dibaca. Pengecualian dimunculkan jika file tidak ada. Jika sumber adalah file terbuka, file akan dibaca secara langsung, dan pengecualian dimunculkan jika file tidak dapat dibaca.
- relative_origin
- str
Asal yang akan digunakan saat menyimpulkan lokasi relatif file yang direferensikan dalam yaml yang diurai. Default ke direktori sumber yang dimasukkan jika merupakan input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Bidang yang akan ditimpa di atas file yaml. Formatnya adalah [{"field1": "value1"}, {"field2": "value2"}]
Mengembalikan
Objek titik akhir batch yang dibangun.
Tipe hasil
load_component
Muat komponen dari lokal atau jarak jauh ke fungsi komponen.
load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Sumber yaml lokal komponen. Harus berupa jalur ke file lokal, atau file yang sudah dibuka. Jika sumbernya adalah jalur, sumber akan terbuka dan dibaca. Pengecualian dimunculkan jika file tidak ada. Jika sumber adalah file terbuka, file akan dibaca secara langsung, dan pengecualian dimunculkan jika file tidak dapat dibaca.
- relative_origin
- str
Asal yang akan digunakan saat menyimpulkan lokasi relatif file yang direferensikan dalam yaml yang diurai. Default ke direktori sumber yang diinput jika merupakan input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Bidang yang akan ditimpa di atas file yaml. Formatnya adalah [{"field1": "value1"}, {"field2": "value2"}]
Mengembalikan
Objek Komponen
Tipe hasil
Contoh
Memuat objek Komponen dari file YAML, mengganti versinya menjadi "1.0.2", dan mendaftarkannya dari jarak jauh.
from azure.ai.ml import load_component
component = load_component(
source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
params_override=[{"version": "1.0.2"}],
)
registered_component = ml_client.components.create_or_update(component)
load_compute
Buat objek komputasi dari file yaml.
load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Sumber yaml lokal komputasi. Harus berupa jalur ke file lokal, atau file yang sudah dibuka. Jika sumbernya adalah jalur, sumber akan terbuka dan dibaca. Pengecualian dimunculkan jika file tidak ada. Jika sumber adalah file terbuka, file akan dibaca secara langsung, dan pengecualian dimunculkan jika file tidak dapat dibaca.
Asal yang akan digunakan saat menyimpulkan lokasi relatif file yang direferensikan dalam yaml yang diurai. Default ke direktori sumber yang diinput jika merupakan input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Bidang yang akan ditimpa di atas file yaml. Formatnya adalah [{"field1": "value1"}, {"field2": "value2"}]
Mengembalikan
Objek komputasi yang dimuat.
Tipe hasil
Contoh
Memuat objek Komputasi dari file YAML dan mengesampingkan deskripsinya.
from azure.ai.ml import load_compute
compute = load_compute(
"../tests/test_configs/compute/compute-vm.yaml",
params_override=[{"description": "loaded from compute-vm.yaml"}],
)
load_data
Buat objek data dari file yaml.
load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Sumber yaml lokal objek data. Harus berupa jalur ke file lokal, atau file yang sudah dibuka. Jika sumbernya adalah jalur, sumber akan terbuka dan dibaca. Pengecualian dimunculkan jika file tidak ada. Jika sumber adalah file terbuka, file akan dibaca secara langsung, dan pengecualian dimunculkan jika file tidak dapat dibaca.
- relative_origin
- str
Asal yang akan digunakan saat menyimpulkan lokasi relatif file yang direferensikan dalam yaml yang diurai. Default ke direktori sumber yang diinput jika merupakan input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Bidang yang akan ditimpa di atas file yaml. Formatnya adalah [{"field1": "value1"}, {"field2": "value2"}]
Mengembalikan
Objek Data atau DataImport yang Dibuat.
Tipe hasil
Pengecualian
Dimunculkan jika Data tidak berhasil divalidasi. Detail akan diberikan dalam pesan kesalahan.
load_datastore
Buat objek datastore dari file yaml.
load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Sumber yaml lokal datastore. Harus berupa jalur ke file lokal, atau file yang sudah dibuka. Jika sumbernya adalah jalur, sumber akan terbuka dan dibaca. Pengecualian dimunculkan jika file tidak ada. Jika sumber adalah file terbuka, file akan dibaca secara langsung, dan pengecualian dimunculkan jika file tidak dapat dibaca.
- relative_origin
- str
Asal yang akan digunakan saat menyimpulkan lokasi relatif file yang direferensikan dalam yaml yang diurai. Default ke direktori sumber yang diinput jika merupakan input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Bidang yang akan ditimpa di atas file yaml. Formatnya adalah [{"field1": "value1"}, {"field2": "value2"}]
Mengembalikan
Objek datastore yang dimuat.
Tipe hasil
Pengecualian
Dimunculkan jika Datastore tidak berhasil divalidasi. Detail akan diberikan dalam pesan kesalahan.
load_environment
Buat objek lingkungan dari file yaml.
load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Sumber yaml lokal lingkungan. Harus berupa jalur ke file lokal, atau file yang sudah dibuka. Jika sumbernya adalah jalur, sumber akan terbuka dan dibaca. Pengecualian dimunculkan jika file tidak ada. Jika sumber adalah file terbuka, file akan dibaca secara langsung, dan pengecualian dimunculkan jika file tidak dapat dibaca.
- relative_origin
- str
Asal yang akan digunakan saat menyimpulkan lokasi relatif file yang direferensikan dalam yaml yang diurai. Default ke direktori sumber yang diinput jika merupakan input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Bidang yang akan ditimpa di atas file yaml. Formatnya adalah [{"field1": "value1"}, {"field2": "value2"}]
Mengembalikan
Objek lingkungan yang dibangun.
Tipe hasil
Pengecualian
Dimunculkan jika Lingkungan tidak dapat berhasil divalidasi. Detail akan diberikan dalam pesan kesalahan.
load_job
Membuat objek Pekerjaan dari file YAML.
load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Jalur ke file YAML lokal atau objek file yang sudah terbuka yang berisi konfigurasi pekerjaan. Jika sumbernya adalah jalur, sumber akan dibuka dan dibaca. Jika sumbernya adalah file terbuka, file akan dibaca secara langsung.
Direktori akar untuk YAML. Direktori ini akan digunakan sebagai asal untuk menyimpulkan lokasi relatif file yang direferensikan dalam YAML yang diurai. Default ke direktori yang sama dengan sumber jika sumber adalah input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Mengembalikan
Objek Pekerjaan yang dimuat.
Tipe hasil
Pengecualian
Dimunculkan jika Pekerjaan tidak berhasil divalidasi. Detail akan diberikan dalam pesan kesalahan.
Contoh
Memuat Pekerjaan dari file konfigurasi YAML.
from azure.ai.ml import load_job
job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")
load_model
Membuat objek Model dari file YAML.
load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Jalur ke file YAML lokal atau objek file yang sudah terbuka yang berisi konfigurasi pekerjaan. Jika sumbernya adalah jalur, sumber akan dibuka dan dibaca. Jika sumbernya adalah file terbuka, file akan dibaca secara langsung.
Direktori akar untuk YAML. Direktori ini akan digunakan sebagai asal untuk menyimpulkan lokasi relatif file yang direferensikan dalam YAML yang diurai. Default ke direktori yang sama dengan sumber jika sumber adalah input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Mengembalikan
Objek Model yang dimuat.
Tipe hasil
Pengecualian
Dimunculkan jika Pekerjaan tidak berhasil divalidasi. Detail akan diberikan dalam pesan kesalahan.
Contoh
Memuat Model dari file konfigurasi YAML, mengesampingkan parameter nama dan versi.
from azure.ai.ml import load_model
model = load_model(
source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
params_override=[{"name": "new_model_name"}, {"version": "1"}],
)
load_model_package
Catatan
Ini adalah metode eksperimental, dan dapat berubah kapan saja. Lihat https://aka.ms/azuremlexperimental untuk mengetahui informasi selengkapnya.
Membuat objek ModelPackage dari file YAML.
load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Jalur ke file YAML lokal atau objek file yang sudah terbuka yang berisi konfigurasi pekerjaan. Jika sumbernya adalah jalur, sumber akan dibuka dan dibaca. Jika sumbernya adalah file terbuka, file akan dibaca secara langsung.
Direktori akar untuk YAML. Direktori ini akan digunakan sebagai asal untuk menyimpulkan lokasi relatif file yang direferensikan dalam YAML yang diurai. Default ke direktori yang sama dengan sumber jika sumber adalah input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Mengembalikan
Objek ModelPackage yang dimuat.
Tipe hasil
Pengecualian
Dimunculkan jika Pekerjaan tidak berhasil divalidasi. Detail akan diberikan dalam pesan kesalahan.
Contoh
Memuat ModelPackage dari file konfigurasi YAML.
from azure.ai.ml import load_model_package
model_package = load_model_package(
"./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
)
load_online_deployment
Buat objek penyebaran online dari file yaml.
load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Sumber yaml lokal objek penyebaran online. Harus berupa jalur ke file lokal, atau file yang sudah dibuka. Jika sumbernya adalah jalur, sumber akan terbuka dan dibaca. Pengecualian dimunculkan jika file tidak ada. Jika sumber adalah file terbuka, file akan dibaca secara langsung, dan pengecualian dimunculkan jika file tidak dapat dibaca.
- relative_origin
- str
Asal yang akan digunakan saat menyimpulkan lokasi relatif file yang direferensikan dalam yaml yang diurai. Default ke direktori sumber yang diinput jika merupakan input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Bidang yang akan ditimpa di atas file yaml. Formatnya adalah [{"field1": "value1"}, {"field2": "value2"}]
Mengembalikan
Membangun objek penyebaran online.
Tipe hasil
Pengecualian
Dimunculkan jika Penyebaran Online tidak dapat berhasil divalidasi. Detail akan diberikan dalam pesan kesalahan.
load_online_endpoint
Buat objek titik akhir online dari file yaml.
load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Sumber yaml lokal dari objek titik akhir online. Harus berupa jalur ke file lokal, atau file yang sudah dibuka. Jika sumbernya adalah jalur, sumber akan terbuka dan dibaca. Pengecualian dimunculkan jika file tidak ada. Jika sumber adalah file terbuka, file akan dibaca secara langsung, dan pengecualian dimunculkan jika file tidak dapat dibaca.
- relative_origin
- str
Asal yang akan digunakan saat menyimpulkan lokasi relatif file yang direferensikan dalam yaml yang diurai. Default ke direktori sumber yang diinput jika merupakan input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Bidang yang akan ditimpa di atas file yaml. Formatnya adalah [{"field1": "value1"}, {"field2": "value2"}]
Mengembalikan
Objek titik akhir online yang dibangun.
Tipe hasil
Pengecualian
Dimunculkan jika Titik Akhir Online tidak berhasil divalidasi. Detail akan diberikan dalam pesan kesalahan.
load_registry
Muat objek registri dari file yaml.
load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Sumber yaml lokal registri. Harus berupa jalur ke file lokal, atau file yang sudah dibuka. Jika sumbernya adalah jalur, sumber akan terbuka dan dibaca. Pengecualian dimunculkan jika file tidak ada. Jika sumber adalah file terbuka, file akan dibaca secara langsung, dan pengecualian dimunculkan jika file tidak dapat dibaca.
- relative_origin
- str
Asal yang akan digunakan saat menyimpulkan lokasi relatif file yang direferensikan dalam yaml yang diurai. Default ke direktori sumber yang diinput jika merupakan input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Bidang yang akan ditimpa di atas file yaml. Formatnya adalah [{"field1": "value1"}, {"field2": "value2"}]
Mengembalikan
Objek registri yang dimuat.
Tipe hasil
load_workspace
Muat objek ruang kerja dari file yaml.
load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Sumber yaml lokal ruang kerja. Harus berupa jalur ke file lokal, atau file yang sudah dibuka. Jika sumbernya adalah jalur, sumber akan terbuka dan dibaca. Pengecualian dimunculkan jika file tidak ada. Jika sumber adalah file terbuka, file akan dibaca secara langsung, dan pengecualian dimunculkan jika file tidak dapat dibaca.
- relative_origin
- str
Asal yang akan digunakan saat menyimpulkan lokasi relatif file yang direferensikan dalam yaml yang diurai. Default ke direktori sumber yang diinput jika merupakan input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Bidang yang akan ditimpa di atas file yaml. Formatnya adalah [{"field1": "value1"}, {"field2": "value2"}]
Mengembalikan
Objek ruang kerja yang dimuat.
Tipe hasil
load_workspace_connection
Buat objek koneksi ruang kerja dari file yaml.
load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Sumber yaml lokal objek koneksi ruang kerja. Harus berupa jalur ke file lokal, atau file yang sudah dibuka. Jika sumbernya adalah jalur, sumber akan terbuka dan dibaca. Pengecualian dimunculkan jika file tidak ada. Jika sumber adalah file terbuka, file akan dibaca secara langsung, dan pengecualian dimunculkan jika file tidak dapat dibaca.
- relative_origin
- str
Asal yang akan digunakan saat menyimpulkan lokasi relatif file yang direferensikan dalam yaml yang diurai. Default ke direktori sumber yang diinput jika merupakan input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Bidang yang akan ditimpa di atas file yaml. Formatnya adalah [{"field1": "value1"}, {"field2": "value2"}]
Mengembalikan
Objek koneksi ruang kerja yang dibangun.
Tipe hasil
load_workspace_hub
Catatan
Ini adalah metode eksperimental, dan dapat berubah kapan saja. Lihat https://aka.ms/azuremlexperimental untuk mengetahui informasi selengkapnya.
Muat objek WorkspaceHub dari file yaml.
load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Sumber yaml lokal WorkspaceHub. Harus berupa jalur ke file lokal, atau file yang sudah dibuka. Jika sumbernya adalah jalur, sumber akan terbuka dan dibaca. Pengecualian dimunculkan jika file tidak ada. Jika sumber adalah file terbuka, file akan dibaca secara langsung, dan pengecualian dimunculkan jika file tidak dapat dibaca.
- relative_origin
- str
Asal yang akan digunakan saat menyimpulkan lokasi relatif file yang direferensikan dalam yaml yang diurai. Default ke direktori sumber yang diinput jika merupakan input jalur file atau file. Default ke "./" jika sumbernya adalah input aliran tanpa nilai nama.
Bidang yang akan ditimpa di atas file yaml. Formatnya adalah [{"field1": "value1"}, {"field2": "value2"}]
Mengembalikan
Objek WorkspaceHub yang dimuat.
Tipe hasil
spark
Membuat objek Spark yang dapat digunakan di dalam fungsi dsl.pipeline atau digunakan sebagai pekerjaan Spark mandiri.
spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark
Parameter
Kamus tag untuk pekerjaan tersebut. Tag dapat ditambahkan, dihapus, dan diperbarui. Default ke Tidak Ada.
- code
Kode sumber untuk menjalankan pekerjaan. Dapat berupa jalur lokal atau url "http:", "https:", atau "azureml:" yang menunjuk ke lokasi jarak jauh.
Daftar file .zip, .egg, atau .py untuk ditempatkan di aplikasi PYTHONPATH untuk Python. Default ke Tidak Ada.
Daftar . File JAR untuk disertakan pada classpath driver dan eksekutor. Default ke Tidak Ada.
Daftar file yang akan ditempatkan di direktori kerja setiap pelaksana. Default ke Tidak Ada.
Daftar arsip yang akan diekstraksi ke dalam direktori kerja setiap pelaksana. Default ke Tidak Ada.
- identity
- Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]
Identitas yang akan digunakan pekerjaan Spark saat berjalan pada komputasi.
Jumlah inti yang digunakan untuk proses driver, hanya dalam mode kluster.
Jumlah memori yang digunakan untuk proses driver, diformat sebagai string dengan akhiran unit ukuran ("k", "m", "g" atau "t") (misalnya "512m", "2g").
Jumlah memori yang akan digunakan per proses pelaksana, diformat sebagai string dengan akhiran unit ukuran ("k", "m", "g" atau "t") (misalnya "512m", "2g").
Apakah akan menggunakan alokasi sumber daya dinamis, yang menskalakan jumlah pelaksana yang terdaftar dengan aplikasi ini naik dan turun berdasarkan beban kerja.
Batas bawah untuk jumlah pelaksana jika alokasi dinamis diaktifkan.
Batas atas untuk jumlah pelaksana jika alokasi dinamis diaktifkan.
Kamus dengan kunci dan nilai konfigurasi Spark yang telah ditentukan sebelumnya. Default ke Tidak Ada.
- environment
- Optional[Union[str, Environment]]
Lingkungan Azure ML untuk menjalankan pekerjaan.
Pemetaan nama input untuk memasukkan data yang digunakan dalam pekerjaan. Default ke Tidak Ada.
Pemetaan nama output ke data output yang digunakan dalam pekerjaan. Default ke Tidak Ada.
- resources
- Optional[Union[dict, SparkResourceConfiguration]]
Konfigurasi sumber daya komputasi untuk pekerjaan tersebut.
Mengembalikan
Objek Spark.
Tipe hasil
Contoh
Membangun alur Spark menggunakan dekorator alur DSL
from azure.ai.ml import Input, Output, dsl, spark
from azure.ai.ml.constants import AssetTypes, InputOutputModes
# define the spark task
first_step = spark(
code="/src",
entry={"file": "add_greeting_column.py"},
py_files=["utils.zip"],
files=["my_files.txt"],
driver_cores=2,
driver_memory="1g",
executor_cores=1,
executor_memory="1g",
executor_instances=1,
inputs=dict(
file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
),
args="--file_input ${{inputs.file_input}}",
resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
)
second_step = spark(
code="/src",
entry={"file": "count_by_row.py"},
jars=["scala_project.jar"],
files=["my_files.txt"],
driver_cores=2,
driver_memory="1g",
executor_cores=1,
executor_memory="1g",
executor_instances=1,
inputs=dict(
file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
),
outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
)
# Define pipeline
@dsl.pipeline(description="submit a pipeline with spark job")
def spark_pipeline_from_builder(data):
add_greeting_column = first_step(file_input=data)
count_by_row = second_step(file_input=data)
return {"output": count_by_row.outputs.output}
pipeline = spark_pipeline_from_builder(
data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
)
Azure SDK for Python
Saran dan Komentar
https://aka.ms/ContentUserFeedback.
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat:Kirim dan lihat umpan balik untuk