ml Csomag
Csomagok
automl |
Automatizált gépi tanulási osztályokat tartalmaz az Azure Machine Learning SDKv2-höz. A fő területek közé tartozik az AutoML-feladatok kezelése. |
constants |
Ez a csomag az Azure Machine Learning SDKv2-ben használt állandókat határozza meg. |
data_transfer | |
dsl | |
entities |
Entitásokat és SDK-objektumokat tartalmaz az Azure Machine Learning SDKv2-höz. A fő területek közé tartozik a számítási célok kezelése, munkaterületek és feladatok létrehozása/kezelése, modell beküldése/elérése, kimenet/naplózás futtatása stb. |
identity |
Az Azure Machine Learning SDKv2 identitáskonfigurációját tartalmazza. |
operations |
Az Azure Machine Learning SDKv2 támogatott műveleteit tartalmazza. A műveletek olyan osztályok, amelyek a háttérszolgáltatásokkal való interakció logikáját tartalmazzák, általában automatikusan generált műveleti hívásokat. |
parallel | |
sweep |
Modulok
exceptions |
Az Azure Machine Learning SDKv2 kivételmodulját tartalmazza. Ide tartoznak a kivételek enumerálásai és osztályai. |
Osztályok
AmlTokenConfiguration |
AzureML-token identitáskonfigurációja. |
Input |
Bemeneti objektum inicializálása. |
MLClient |
Ügyfélosztály az Azure ML-szolgáltatásokkal való interakcióhoz. Ezzel az ügyfélel kezelheti az Azure ML-erőforrásokat, például munkaterületeket, feladatokat, modelleket stb. |
ManagedIdentityConfiguration |
Felügyelt identitás hitelesítő adatainak konfigurációja. |
MpiDistribution |
MPI-disztribúció konfigurálása. |
Output | |
PyTorchDistribution |
PyTorch-disztribúció konfigurálása. |
RayDistribution |
Megjegyzés Ez egy kísérleti osztály, és bármikor változhat. További információ: https://aka.ms/azuremlexperimental. Sugárelosztási konfiguráció. |
TensorFlowDistribution |
TensorFlow-disztribúció konfigurálása. |
UserIdentityConfiguration |
Felhasználói identitás konfigurálása. |
Függvények
command
Létrehoz egy Command objektumot, amely használható egy dsl.pipeline függvényben, vagy használható önálló parancsfeladatként.
command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command
Paraméterek
Címkeszótár. A címkék hozzáadhatók, eltávolíthatók és frissíthetők. Alapértelmezés szerint Nincs.
A feladat megjelenítendő neve. Alapértelmezés szerint egy véletlenszerűen létrehozott név.
Annak a kísérletnek a neve, amelyben a feladat létrejön. Alapértelmezés szerint az aktuális könyvtárnév.
- environment
- Optional[Union[str, Environment]]
A környezet, amelyben a feladat futni fog.
A környezeti változók nevének és értékeinek szótára. Ezek a környezeti változók a felhasználói szkript végrehajtásának folyamatán vannak beállítva. Alapértelmezés szerint Nincs.
- distribution
- Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]
Az elosztott feladatok konfigurációja. Alapértelmezés szerint Nincs.
A számítási cél, amelyen a feladat futni fog. Alapértelmezés szerint az alapértelmezett számítás.
Bemeneti nevek leképezése a feladatban használt bemeneti adatforrásokhoz. Alapértelmezés szerint Nincs.
A kimeneti nevek leképezése a feladatban használt kimeneti adatforrásokhoz. Alapértelmezés szerint Nincs.
A számítási cél által használandó példányok vagy csomópontok száma. Alapértelmezés szerint 1.
További argumentumok a Docker-futtatási parancsnak való továbbításhoz. Ez felülbírálná a rendszer által vagy ebben a szakaszban már beállított paramétereket. Ez a paraméter csak az Azure ML számítási típusok esetében támogatott. Alapértelmezés szerint Nincs.
A Docker-tároló megosztott memóriablokkjának mérete. Ennek (szám)(egység) formátumban kell lennie, ahol a számnak 0-nál nagyobbnak kell lennie, és az egység lehet b(bájt), k(kilobájt), m(megabájt) vagy g(gigabájt).
A feladat futtatásához használt forráskód. Lehet helyi elérési út, "http:", "https:" vagy "azureml:" url, amely egy távoli helyre mutat.
- identity
- Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]
Az identitás, amelyet a parancsfeladat a számítási feladatok futtatásakor használni fog.
- is_deterministic
- bool
Megadja, hogy a parancs ugyanazt a kimenetet adja-e vissza ugyanazzal a bemenettel. Alapértelmezés szerint Igaz. Ha igaz, akkor ha egy parancsösszetevő determinisztikus, és korábban már futtatták az aktuális munkaterületen ugyanazokkal a bemenetekkel és beállításokkal, akkor a korábban elküldött feladat eredményeit újra felhasználja csomópontként vagy folyamatlépésként használva. Ebben a forgatókönyvben a rendszer nem használ számítási erőforrásokat.
- services
- Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]
A csomópont interaktív szolgáltatásai. Alapértelmezés szerint Nincs. Ez egy kísérleti paraméter, és bármikor változhat. További információ: https://aka.ms/azuremlexperimental.
A feladatszint. Az elfogadott értékek a következők: "Spot", "Basic", "Standard" vagy "Premium".
A számítási feladat prioritása. Az elfogadott értékek a következők: "alacsony", "közepes" és "magas". Alapértelmezés szerint "közepes".
Válaszok
Parancsobjektum.
Visszatérési típus
Példák
Parancsfeladat létrehozása a command() builder metódussal.
from azure.ai.ml import Input, Output, command
train_func = command(
environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
command='echo "hello world"',
distribution={"type": "Pytorch", "process_count_per_instance": 2},
inputs={
"training_data": Input(type="uri_folder"),
"max_epochs": 20,
"learning_rate": 1.8,
"learning_rate_schedule": "time-based",
},
outputs={"model_output": Output(type="uri_folder")},
)
load_batch_deployment
Hozzon létre egy batch deployment objektumot yaml-fájlból.
load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Egy kötegelt üzembehelyezési objektum helyi yaml-forrása. Egy helyi fájl elérési útjának vagy egy már megnyitott fájlnak kell lennie. Ha a forrás egy elérési út, akkor az megnyílik és el lesz olvasott. Kivétel keletkezik, ha a fájl nem létezik. Ha a forrás egy megnyitott fájl, a rendszer közvetlenül olvassa be a fájlt, és kivételt jelez, ha a fájl nem olvasható.
- relative_origin
- str
Az elemzett yaml-ben hivatkozott fájlok relatív helyének dedukálásához használandó forrás. A bemeneti forrás könyvtárának alapértelmezett értéke, ha fájl- vagy fájlútvonal-bemenetről van szó. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
A yaml-fájl tetején felülírandó mezők. Formátum: [{"field1": "value1"}, {"field2": "value2"}]
Válaszok
Kötegelt üzembehelyezési objektumot készített.
Visszatérési típus
load_batch_endpoint
Hozzon létre egy batch endpoint objektumot yaml-fájlból.
load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Egy kötegelt végpontobjektum helyi yaml-forrása. Egy helyi fájl elérési útjának vagy egy már megnyitott fájlnak kell lennie. Ha a forrás egy elérési út, akkor az megnyílik és el lesz olvasott. Kivétel keletkezik, ha a fájl nem létezik. Ha a forrás egy megnyitott fájl, a rendszer közvetlenül olvassa be a fájlt, és kivételt jelez, ha a fájl nem olvasható.
- relative_origin
- str
Az elemzett yaml-ben hivatkozott fájlok relatív helyének dedukálásához használandó forrás. A bemeneti forrás könyvtárának alapértelmezett értéke, ha fájl- vagy fájlútvonal-bemenetről van szó. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
A yaml-fájl tetején felülírandó mezők. Formátum: [{"field1": "value1"}, {"field2": "value2"}]
Válaszok
Kötegelt végpontobjektumot készített.
Visszatérési típus
load_component
Összetevő betöltése helyiről vagy távoliról egy összetevőfüggvénybe.
load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Egy összetevő helyi yaml-forrása. Egy helyi fájl elérési útjának vagy egy már megnyitott fájlnak kell lennie. Ha a forrás egy elérési út, akkor az megnyílik és el lesz olvasott. Kivétel keletkezik, ha a fájl nem létezik. Ha a forrás egy megnyitott fájl, a rendszer közvetlenül olvassa be a fájlt, és kivételt jelez, ha a fájl nem olvasható.
- relative_origin
- str
Az elemzett yaml-ben hivatkozott fájlok relatív helyének dedukálásához használandó forrás. A bemeneti forrás könyvtárának alapértelmezett értéke, ha fájl- vagy fájlútvonal-bemenetről van szó. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
A yaml-fájl tetején felülírandó mezők. Formátum: [{"field1": "value1"}, {"field2": "value2"}]
Válaszok
Összetevő-objektum
Visszatérési típus
Példák
Összetevő-objektum betöltése YAML-fájlból, verziószámának felülírása az "1.0.2"-es verzióra, és távoli regisztráció.
from azure.ai.ml import load_component
component = load_component(
source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
params_override=[{"version": "1.0.2"}],
)
registered_component = ml_client.components.create_or_update(component)
load_compute
Számítási objektum létrehozása yaml-fájlból.
load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
A számítás helyi yaml-forrása. Egy helyi fájl elérési útjának vagy egy már megnyitott fájlnak kell lennie. Ha a forrás egy elérési út, akkor az megnyílik és el lesz olvasott. Kivétel keletkezik, ha a fájl nem létezik. Ha a forrás egy megnyitott fájl, a rendszer közvetlenül olvassa be a fájlt, és kivételt jelez, ha a fájl nem olvasható.
Az elemzett yaml-ben hivatkozott fájlok relatív helyének dedukálásához használandó forrás. A bemeneti forrás könyvtárának alapértelmezett értéke, ha fájl- vagy fájlútvonal-bemenetről van szó. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
A yaml-fájl tetején felülírandó mezők. Formátum: [{"field1": "value1"}, {"field2": "value2"}]
Válaszok
Betöltött számítási objektum.
Visszatérési típus
Példák
Számítási objektum betöltése YAML-fájlból, és a leírás felülírása.
from azure.ai.ml import load_compute
compute = load_compute(
"../tests/test_configs/compute/compute-vm.yaml",
params_override=[{"description": "loaded from compute-vm.yaml"}],
)
load_data
Hozzon létre egy adatobjektumot yaml-fájlból.
load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Egy adatobjektum helyi yaml-forrása. Egy helyi fájl elérési útjának vagy egy már megnyitott fájlnak kell lennie. Ha a forrás egy elérési út, akkor az megnyílik és el lesz olvasott. Kivétel keletkezik, ha a fájl nem létezik. Ha a forrás egy megnyitott fájl, a rendszer közvetlenül olvassa be a fájlt, és kivételt jelez, ha a fájl nem olvasható.
- relative_origin
- str
Az elemzett yaml-ben hivatkozott fájlok relatív helyének dedukálásához használandó forrás. A bemeneti forrás könyvtárának alapértelmezett értéke, ha fájl- vagy fájlútvonal-bemenetről van szó. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
A yaml-fájl tetején felülírandó mezők. Formátum: [{"field1": "value1"}, {"field2": "value2"}]
Válaszok
Létrehozott adatok vagy DataImport objektum.
Visszatérési típus
Kivételek
Akkor jelenik meg, ha az adatok érvényesítése nem sikerült. A részletek a hibaüzenetben lesznek megadva.
load_datastore
Hozzon létre egy adattár-objektumot egy yaml-fájlból.
load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Egy adattár helyi yaml-forrása. Egy helyi fájl elérési útjának vagy egy már megnyitott fájlnak kell lennie. Ha a forrás egy elérési út, akkor az megnyílik és el lesz olvasott. Kivétel keletkezik, ha a fájl nem létezik. Ha a forrás egy megnyitott fájl, a rendszer közvetlenül olvassa be a fájlt, és kivételt jelez, ha a fájl nem olvasható.
- relative_origin
- str
Az elemzett yaml-ben hivatkozott fájlok relatív helyének dedukálásához használandó forrás. A bemeneti forrás könyvtárának alapértelmezett értéke, ha fájl- vagy fájlútvonal-bemenetről van szó. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
A yaml-fájl tetején felülírandó mezők. Formátum: [{"field1": "value1"}, {"field2": "value2"}]
Válaszok
Betöltött adattárobjektum.
Visszatérési típus
Kivételek
Akkor jelenik meg, ha az adattár nem érvényesíthető sikeresen. A részletek a hibaüzenetben lesznek megadva.
load_environment
Hozzon létre egy környezeti objektumot yaml-fájlból.
load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
A környezet helyi yaml-forrása. Egy helyi fájl elérési útjának vagy egy már megnyitott fájlnak kell lennie. Ha a forrás egy elérési út, akkor az megnyílik és el lesz olvasott. Kivétel keletkezik, ha a fájl nem létezik. Ha a forrás egy megnyitott fájl, a rendszer közvetlenül olvassa be a fájlt, és kivételt jelez, ha a fájl nem olvasható.
- relative_origin
- str
Az elemzett yaml-ben hivatkozott fájlok relatív helyének dedukálásához használandó forrás. A bemeneti forrás könyvtárának alapértelmezett értéke, ha fájl- vagy fájlútvonal-bemenetről van szó. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
A yaml-fájl tetején felülírandó mezők. Formátum: [{"field1": "value1"}, {"field2": "value2"}]
Válaszok
Létrehozott környezeti objektum.
Visszatérési típus
Kivételek
Akkor aktiválva, ha a környezet nem érvényesíthető sikeresen. A részletek a hibaüzenetben lesznek megadva.
load_job
Feladatobjektumot hoz létre YAML-fájlból.
load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Egy helyi YAML-fájl vagy egy feladatkonfigurációt tartalmazó, már megnyitott fájlobjektum elérési útja. Ha a forrás egy elérési út, a rendszer megnyitja és felolvassa. Ha a forrás egy megnyitott fájl, a rendszer közvetlenül olvassa be a fájlt.
A YAML gyökérkönyvtára. A rendszer ezt a könyvtárat fogja használni az elemzett YAML-ben hivatkozott fájlok relatív helyének dedukálásához. Ha a forrás fájl- vagy fájlútvonal-bemenet, akkor az alapértelmezett érték a forrás könyvtára. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
Válaszok
Betöltött feladatobjektum.
Visszatérési típus
Kivételek
Akkor aktiválódott, ha a feladat nem érvényesíthető sikeresen. A részletek a hibaüzenetben lesznek megadva.
Példák
Feladat betöltése YAML-konfigurációs fájlból.
from azure.ai.ml import load_job
job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")
load_model
Létrehoz egy Model objektumot egy YAML-fájlból.
load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Egy helyi YAML-fájl vagy egy feladatkonfigurációt tartalmazó, már megnyitott fájlobjektum elérési útja. Ha a forrás egy elérési út, a rendszer megnyitja és felolvassa. Ha a forrás egy megnyitott fájl, a rendszer közvetlenül olvassa be a fájlt.
A YAML gyökérkönyvtára. A rendszer ezt a könyvtárat fogja használni az elemzett YAML-ben hivatkozott fájlok relatív helyének dedukálásához. Ha a forrás fájl- vagy fájlútvonal-bemenet, akkor az alapértelmezett érték a forrás könyvtára. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
Válaszok
Egy betöltött modellobjektum.
Visszatérési típus
Kivételek
Akkor aktiválódott, ha a feladat nem érvényesíthető sikeresen. A részletek a hibaüzenetben lesznek megadva.
Példák
Modell betöltése YAML-konfigurációs fájlból, felülírva a név- és verzióparamétereket.
from azure.ai.ml import load_model
model = load_model(
source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
params_override=[{"name": "new_model_name"}, {"version": "1"}],
)
load_model_package
Megjegyzés
Ez egy kísérleti módszer, és bármikor változhat. További információ: https://aka.ms/azuremlexperimental.
Létrehoz egy ModelPackage objektumot EGY YAML-fájlból.
load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Egy helyi YAML-fájl vagy egy feladatkonfigurációt tartalmazó, már megnyitott fájlobjektum elérési útja. Ha a forrás egy elérési út, megnyílik és felolvassa. Ha a forrás egy megnyitott fájl, a fájl közvetlenül lesz beolvasva.
A YAML gyökérkönyvtára. Ez a könyvtár lesz a forrásként használva az elemezt YAML-ben hivatkozott fájlok relatív helyének levezetésére. Ha a forrás fájl- vagy fájlútvonal-bemenet, akkor az alapértelmezett érték ugyanaz a könyvtár, mint a forrás. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
Válaszok
Egy betöltött ModelPackage objektum.
Visszatérési típus
Kivételek
Akkor aktiválódott, ha a feladat nem érvényesíthető sikeresen. A részletek a hibaüzenetben lesznek megadva.
Példák
ModelPackage betöltése YAML-konfigurációs fájlból.
from azure.ai.ml import load_model_package
model_package = load_model_package(
"./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
)
load_online_deployment
Hozzon létre egy online üzembehelyezési objektumot yaml-fájlból.
load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Egy online üzembehelyezési objektum helyi yaml-forrása. Egy helyi fájl elérési útjának vagy egy már megnyitott fájlnak kell lennie. Ha a forrás egy elérési út, az megnyílik és olvasható lesz. Kivétel keletkezik, ha a fájl nem létezik. Ha a forrás egy megnyitott fájl, a rendszer közvetlenül olvassa be a fájlt, és kivétel keletkezik, ha a fájl nem olvasható.
- relative_origin
- str
Az elemzett yaml-ben hivatkozott fájlok relatív helyének levezetésekor használandó forrás. A bemeneti forrás könyvtárának alapértelmezett értéke, ha fájl- vagy fájlútvonal-bevitelről van szó. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
A yaml-fájl tetején felülírandó mezők. Formátum: [{"field1": "value1"}, {"field2": "value2"}]
Válaszok
Online üzembehelyezési objektumot készített.
Visszatérési típus
Kivételek
Akkor történik, ha az online üzembe helyezés nem érvényesíthető sikeresen. A részletek a hibaüzenetben lesznek megadva.
load_online_endpoint
Hozzon létre egy online végpontobjektumot yaml-fájlból.
load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Egy online végpontobjektum helyi yaml-forrása. Egy helyi fájl elérési útjának vagy egy már megnyitott fájlnak kell lennie. Ha a forrás egy elérési út, az megnyílik és olvasható lesz. Kivétel keletkezik, ha a fájl nem létezik. Ha a forrás egy megnyitott fájl, a rendszer közvetlenül olvassa be a fájlt, és kivétel keletkezik, ha a fájl nem olvasható.
- relative_origin
- str
Az elemzett yaml-ben hivatkozott fájlok relatív helyének levezetésekor használandó forrás. A bemeneti forrás könyvtárának alapértelmezett értéke, ha fájl- vagy fájlútvonal-bevitelről van szó. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
A yaml-fájl tetején felülírandó mezők. Formátum: [{"field1": "value1"}, {"field2": "value2"}]
Válaszok
Létrehozott online végpontobjektum.
Visszatérési típus
Kivételek
Akkor aktiválva, ha az online végpont nem érvényesíthető sikeresen. A részletek a hibaüzenetben lesznek megadva.
load_registry
Egy beállításjegyzék-objektum betöltése yaml-fájlból.
load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
A beállításjegyzék helyi yaml-forrása. Egy helyi fájl elérési útjának vagy egy már megnyitott fájlnak kell lennie. Ha a forrás egy elérési út, az megnyílik és olvasható lesz. Kivétel keletkezik, ha a fájl nem létezik. Ha a forrás egy megnyitott fájl, a rendszer közvetlenül olvassa be a fájlt, és kivétel keletkezik, ha a fájl nem olvasható.
- relative_origin
- str
Az elemzett yaml-ben hivatkozott fájlok relatív helyének levezetésekor használandó forrás. A bemeneti forrás könyvtárának alapértelmezett értéke, ha fájl- vagy fájlútvonal-bevitelről van szó. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
A yaml-fájl tetején felülírandó mezők. Formátum: [{"field1": "value1"}, {"field2": "value2"}]
Válaszok
Betöltött beállításjegyzék-objektum.
Visszatérési típus
load_workspace
Munkaterület-objektum betöltése yaml-fájlból.
load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Egy munkaterület helyi yaml-forrása. Egy helyi fájl elérési útjának vagy egy már megnyitott fájlnak kell lennie. Ha a forrás egy elérési út, az megnyílik és olvasható lesz. Kivétel keletkezik, ha a fájl nem létezik. Ha a forrás egy megnyitott fájl, a rendszer közvetlenül olvassa be a fájlt, és kivétel keletkezik, ha a fájl nem olvasható.
- relative_origin
- str
Az elemzett yaml-ben hivatkozott fájlok relatív helyének levezetésekor használandó forrás. A bemeneti forrás könyvtárának alapértelmezett értéke, ha fájl- vagy fájlútvonal-bevitelről van szó. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
A yaml-fájl tetején felülírandó mezők. Formátum: [{"field1": "value1"}, {"field2": "value2"}]
Válaszok
Betöltött munkaterület-objektum.
Visszatérési típus
load_workspace_connection
Hozzon létre egy munkaterület-kapcsolatobjektumot yaml-fájlból.
load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Munkaterület kapcsolatobjektumának helyi yaml-forrása. Egy helyi fájl elérési útjának vagy egy már megnyitott fájlnak kell lennie. Ha a forrás egy elérési út, az megnyílik és olvasható lesz. Kivétel keletkezik, ha a fájl nem létezik. Ha a forrás egy megnyitott fájl, a rendszer közvetlenül olvassa be a fájlt, és kivétel keletkezik, ha a fájl nem olvasható.
- relative_origin
- str
Az elemzett yaml-ben hivatkozott fájlok relatív helyének levezetésekor használandó forrás. A bemeneti forrás könyvtárának alapértelmezett értéke, ha fájl- vagy fájlútvonal-bevitelről van szó. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
A yaml-fájl tetején felülírandó mezők. Formátum: [{"field1": "value1"}, {"field2": "value2"}]
Válaszok
Munkaterület kapcsolati objektumának létrehozása.
Visszatérési típus
load_workspace_hub
Megjegyzés
Ez egy kísérleti módszer, és bármikor változhat. További információ: https://aka.ms/azuremlexperimental.
Egy WorkspaceHub-objektum betöltése yaml-fájlból.
load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub
Paraméterek
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
A WorkspaceHub helyi yaml-forrása. Egy helyi fájl elérési útjának vagy egy már megnyitott fájlnak kell lennie. Ha a forrás egy elérési út, az megnyílik és olvasható lesz. Kivétel keletkezik, ha a fájl nem létezik. Ha a forrás egy megnyitott fájl, a rendszer közvetlenül olvassa be a fájlt, és kivétel keletkezik, ha a fájl nem olvasható.
- relative_origin
- str
Az elemzett yaml-ben hivatkozott fájlok relatív helyének levezetésekor használandó forrás. A bemeneti forrás könyvtárának alapértelmezett értéke, ha fájl- vagy fájlútvonal-bevitelről van szó. Alapértelmezés szerint "./" értékű, ha a forrás egy névérték nélküli streambemenet.
A yaml-fájl tetején felülírandó mezők. Formátum: [{"field1": "value1"}, {"field2": "value2"}]
Válaszok
Betöltött WorkspaceHub-objektum.
Visszatérési típus
spark
Létrehoz egy Spark-objektumot, amely használható egy dsl.pipeline függvényben, vagy használható önálló Spark-feladatként.
spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark
Paraméterek
A feladat címkéinek szótára. A címkék hozzáadhatók, eltávolíthatók és frissíthetők. Alapértelmezés szerint Nincs.
- code
A feladat futtatásához használt forráskód. Lehet helyi elérési út, "http:", "https:" vagy "azureml:" url, amely egy távoli helyre mutat.
A PYTHONPATH for Python-alkalmazásokban elhelyezendő .zip, .egg vagy .py fájlok listája. Alapértelmezés szerint Nincs.
A lista. JAR-fájlok az illesztőprogramon és a végrehajtó osztályútvonalon. Alapértelmezés szerint Nincs.
Az egyes végrehajtók munkakönyvtárába helyezendő fájlok listája. Alapértelmezés szerint Nincs.
Az egyes végrehajtók munkakönyvtárába kinyerendő archívumok listája. Alapértelmezés szerint Nincs.
- identity
- Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]
Az identitás, amelyet a Spark-feladat a számítás során használni fog.
Az illesztőprogram-folyamathoz használandó magok száma, csak fürt módban.
Az illesztőprogram-folyamathoz használandó memória mennyisége, amely sztringként van formázva a méretegység utótagjával ("k", "m", "g" vagy "t") (pl. "512m", "2g").
A végrehajtói folyamatonként használandó memória mennyisége, amely sztringként van formázva a méretegység utótagjával ("k", "m", "g" vagy "t") (pl. "512m", "2g").
Dinamikus erőforrás-kiosztás használata, amely a számítási feladat alapján vertikálisan fel- és leskálázza az alkalmazással regisztrált végrehajtók számát.
A végrehajtók számának alsó határa, ha a dinamikus foglalás engedélyezve van.
A végrehajtók számának felső határa, ha a dinamikus foglalás engedélyezve van.
Szótár előre definiált Spark-konfigurációs kulccsal és értékekkel. Alapértelmezés szerint Nincs.
- environment
- Optional[Union[str, Environment]]
A feladat futtatásához az Azure ML-környezet.
A bemeneti nevek leképezése a feladatban használt bemeneti adatokhoz. Alapértelmezés szerint Nincs.
A kimeneti nevek leképezése a feladatban használt kimeneti adatokra. Alapértelmezés szerint Nincs.
- resources
- Optional[Union[dict, SparkResourceConfiguration]]
A feladat számítási erőforrás-konfigurációja.
Válaszok
Egy Spark-objektum.
Visszatérési típus
Példák
Spark-folyamat létrehozása a DSL-folyamat dekorátorával
from azure.ai.ml import Input, Output, dsl, spark
from azure.ai.ml.constants import AssetTypes, InputOutputModes
# define the spark task
first_step = spark(
code="/src",
entry={"file": "add_greeting_column.py"},
py_files=["utils.zip"],
files=["my_files.txt"],
driver_cores=2,
driver_memory="1g",
executor_cores=1,
executor_memory="1g",
executor_instances=1,
inputs=dict(
file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
),
args="--file_input ${{inputs.file_input}}",
resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
)
second_step = spark(
code="/src",
entry={"file": "count_by_row.py"},
jars=["scala_project.jar"],
files=["my_files.txt"],
driver_cores=2,
driver_memory="1g",
executor_cores=1,
executor_memory="1g",
executor_instances=1,
inputs=dict(
file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
),
outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
)
# Define pipeline
@dsl.pipeline(description="submit a pipeline with spark job")
def spark_pipeline_from_builder(data):
add_greeting_column = first_step(file_input=data)
count_by_row = second_step(file_input=data)
return {"output": count_by_row.outputs.output}
pipeline = spark_pipeline_from_builder(
data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
)
Azure SDK for Python