ml Pakket
Pakketten
| automl |
Bevat geautomatiseerde machine learning-klassen voor Azure Machine Learning SDKv2. De belangrijkste gebieden zijn het beheren van AutoML-taken. |
| constants |
Dit pakket definieert constanten die worden gebruikt in Azure Machine Learning SDKv2. |
| data_transfer | |
| dsl | |
| entities |
Bevat entiteiten en SDK-objecten voor Azure Machine Learning SDKv2. De belangrijkste gebieden zijn het beheren van rekendoelen, het maken/beheren van werkruimten en taken en het indienen/openen van modellen, uitvoeringen en uitvoer/logboekregistratie, enzovoort. |
| identity |
Bevat Identiteitsconfiguratie voor Azure Machine Learning SDKv2. |
| operations |
Bevat ondersteunde bewerkingen voor Azure Machine Learning SDKv2. Bewerkingen zijn klassen die logica bevatten voor interactie met back-endservices, meestal automatisch gegenereerde bewerkingen aanroepen. |
| parallel | |
| sweep |
Modules
| exceptions |
Bevat een uitzonderingsmodule in Azure Machine Learning SDKv2. Dit omvat opsommingen en klassen voor uitzonderingen. |
Klassen
| AmlTokenConfiguration |
Configuratie van AML-tokenidentiteit. |
| Input |
Definieer een invoer van een onderdeel of taak. De standaardinstelling is een uri_folder invoer. |
| MLClient |
Een clientklasse voor interactie met Azure ML-services. Gebruik deze client voor het beheren van Azure ML-resources, zoals werkruimten, taken, modellen, enzovoort. Een clientklasse voor interactie met Azure ML-services. Gebruik deze client voor het beheren van Azure ML-resources, zoals werkruimten, taken, modellen, enzovoort. |
| ManagedIdentityConfiguration |
Referenties voor beheerde identiteit. |
| MpiDistribution |
MPI-distributieconfiguratie. |
| Output |
Definieer een uitvoer van een onderdeel of taak. |
| PyTorchDistribution |
PyTorch-distributieconfiguratie. |
| RayDistribution |
Notitie Dit is een experimentele klasse en kan op elk gewenst moment worden gewijzigd. Zie https://aka.ms/azuremlexperimental voor meer informatie. Configuratie van raydistributie. |
| TensorFlowDistribution |
TensorFlow-distributieconfiguratie. |
| UserIdentityConfiguration |
Configuratie van gebruikersidentiteit. |
Functies
command
Maak een opdrachtobject dat als functie in dsl.pipeline kan worden gebruikt en ook kan worden gemaakt als een zelfstandige opdrachttaak.
command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> CommandParameters
- experiment_name
- str
Naam van het experiment waaronder de taak wordt gemaakt. Als Geen is opgegeven, wordt de standaardwaarde ingesteld op de huidige mapnaam. Wordt genegeerd als een pijplijnstap.
- environment_variables
- dict
omgevingsvariabelen die moeten worden ingesteld op de berekening voordat deze opdracht wordt uitgevoerd
- distribution
de distributiemodus die moet worden gebruikt voor deze opdracht
- compute
- str
de naam van de berekening waarin de opdrachttaak wordt uitgevoerd( wordt niet gebruikt als de opdracht wordt gebruikt als onderdeel/functie)
- instance_count
Optioneel aantal exemplaren of knooppunten dat door het rekendoel wordt gebruikt. Standaardwaarde is 1.
- instance_type
Optioneel type VM dat wordt gebruikt als ondersteund door het rekendoel.
- locations
Optionele lijst met locaties waar de taak kan worden uitgevoerd.
- docker_args
Extra argumenten om door te geven aan de Opdracht Uitvoeren van Docker. Hiermee worden alle parameters overschreven die al zijn ingesteld door het systeem of in deze sectie. Deze parameter wordt alleen ondersteund voor Azure ML-rekentypen.
- shm_size
Grootte van het gedeelde geheugenblok van de Docker-container. Dit moet de notatie (getal)(eenheid) hebben, waarbij getal groter is dan 0 en de eenheid een van b(bytes), k(kilobytes), m(megabytes) of g(gigabytes) kan zijn.
- timeout
Het getal in seconden, waarna de taak wordt geannuleerd.
de codemap die moet worden uitgevoerd, meestal een lokale map die wordt geüpload wanneer de taak wordt verzonden
- identity
- Union[ ManagedIdentityConfiguration, AmlTokenConfiguration]
Identiteit die door de trainingstaak wordt gebruikt tijdens het uitvoeren van berekeningen.
- is_deterministic
- bool
Geef op of de opdracht dezelfde uitvoer retourneert op basis van dezelfde invoer. Als een opdracht (onderdeel) deterministisch is en deze als een knooppunt/stap in een pijplijn wordt gebruikt, worden de resultaten van een eerder ingediende taak in de huidige werkruimte met dezelfde invoer en instellingen opnieuw gebruikt. In dit geval wordt in deze stap geen rekenresource gebruikt. Als de standaardwaarde True is, geeft u is_deterministic=False op als u dergelijk gedrag voor hergebruik wilt voorkomen.
- services
- Dict[str, JobService]
Interactieve services voor het knooppunt. Dit is een experimentele parameter en kan op elk gewenst moment worden gewijzigd. Zie https://aka.ms/azuremlexperimental voor meer informatie.
load_batch_deployment
Maak een batchimplementatieobject op basis van het yaml-bestand.
load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeploymentParameters
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
De lokale yaml-bron van een batchimplementatieobject. Moet een pad naar een lokaal bestand of een al geopend bestand zijn. Als de bron een pad is, wordt het geopend en gelezen. Er wordt een uitzondering gegenereerd als het bestand niet bestaat. Als de bron een geopend bestand is, wordt het bestand rechtstreeks gelezen en wordt er een uitzondering gegenereerd als het bestand niet leesbaar is.
- relative_origin
- str
De oorsprong die moet worden gebruikt bij het afleiden van de relatieve locaties van bestanden waarnaar wordt verwezen in de geparseerde yaml. De standaardinstelling is de map van de ingevoerde bron als dit een bestand of bestandspadinvoer is. De standaardwaarde is ./als de bron een stroominvoer zonder naamwaarde is.
Velden die moeten worden overschreven boven op het yaml-bestand. De indeling is [{"field1": "value1"}, {"field2": "value2"}]
Retouren
Geconstrueerd batchimplementatieobject.
Retourtype
load_batch_endpoint
Maak een batcheindpuntobject op basis van het yaml-bestand.
load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpointParameters
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
De lokale yaml-bron van een batcheindpuntobject. Moet een pad naar een lokaal bestand of een al geopend bestand zijn. Als de bron een pad is, wordt het geopend en gelezen. Er wordt een uitzondering gegenereerd als het bestand niet bestaat. Als de bron een geopend bestand is, wordt het bestand rechtstreeks gelezen en wordt er een uitzondering gegenereerd als het bestand niet leesbaar is.
- relative_origin
- str
De oorsprong die moet worden gebruikt bij het afleiden van de relatieve locaties van bestanden waarnaar wordt verwezen in de geparseerde yaml. De standaardinstelling is de map van de ingevoerde bron als dit een bestand of bestandspadinvoer is. De standaardwaarde is ./als de bron een stroominvoer zonder naamwaarde is.
Velden die moeten worden overschreven boven op het yaml-bestand. De indeling is [{"field1": "value1"}, {"field2": "value2"}]
Retouren
Geconstrueerd batcheindpuntobject.
Retourtype
load_component
Het onderdeel laden van lokaal of extern naar een onderdeelfunctie.
Bijvoorbeeld:
# Load a local component to a component function.
component_func = load_component(source="custom_component/component_spec.yaml")
# Load a remote component to a component function.
component_func = load_component(client=ml_client, name="my_component", version=1)
# Consuming the component func
component = component_func(param1=xxx, param2=xxx)
load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponentParameters
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
De lokale yaml-bron van een onderdeel. Moet een pad naar een lokaal bestand of een al geopend bestand zijn. Als de bron een pad is, wordt het geopend en gelezen. Er wordt een uitzondering gegenereerd als het bestand niet bestaat. Als de bron een geopend bestand is, wordt het bestand rechtstreeks gelezen en wordt er een uitzondering gegenereerd als het bestand niet leesbaar is.
- relative_origin
- str
De oorsprong die moet worden gebruikt bij het afleiden van de relatieve locaties van bestanden waarnaar wordt verwezen in de geparseerde yaml. De standaardinstelling is de map van de ingevoerde bron als dit een bestand of bestandspadinvoer is. De standaardwaarde is ./als de bron een stroominvoer zonder naamwaarde is.
Velden die moeten worden overschreven boven op het yaml-bestand. De indeling is [{"field1": "value1"}, {"field2": "value2"}]
Retouren
Een functie die kan worden aangeroepen met parameters om een azure.ai.ml.entities.Component op te halen
Retourtype
load_compute
Maak een rekenobject op basis van een yaml-bestand.
load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ComputeParameters
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
De lokale yaml-bron van een berekening. Moet een pad naar een lokaal bestand of een al geopend bestand zijn. Als de bron een pad is, wordt het geopend en gelezen. Er wordt een uitzondering gegenereerd als het bestand niet bestaat. Als de bron een geopend bestand is, wordt het bestand rechtstreeks gelezen en wordt er een uitzondering gegenereerd als het bestand niet leesbaar is.
- relative_origin
- str
De oorsprong die moet worden gebruikt bij het afleiden van de relatieve locaties van bestanden waarnaar wordt verwezen in de geparseerde yaml. De standaardinstelling is de map van de ingevoerde bron als dit een bestand of bestandspadinvoer is. De standaardwaarde is ./als de bron een stroominvoer zonder naamwaarde is.
Velden die moeten worden overschreven boven op het yaml-bestand. De indeling is [{"field1": "value1"}, {"field2": "value2"}]
Retouren
Geladen rekenobject.
Retourtype
load_data
Maak een gegevensobject op basis van het yaml-bestand.
load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> DataParameters
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
De lokale yaml-bron van een gegevensobject. Moet een pad naar een lokaal bestand of een al geopend bestand zijn. Als de bron een pad is, wordt het geopend en gelezen. Er wordt een uitzondering gegenereerd als het bestand niet bestaat. Als de bron een geopend bestand is, wordt het bestand rechtstreeks gelezen en wordt er een uitzondering gegenereerd als het bestand niet leesbaar is.
- relative_origin
- str
De oorsprong die moet worden gebruikt bij het afleiden van de relatieve locaties van bestanden waarnaar wordt verwezen in de geparseerde yaml. De standaardinstelling is de map van de ingevoerde bron als dit een bestand of bestandspadinvoer is. De standaardwaarde is ./als de bron een stroominvoer zonder naamwaarde is.
Velden die moeten worden overschreven boven op het yaml-bestand. De indeling is [{"field1": "value1"}, {"field2": "value2"}]
Retouren
Samengestelde gegevens of gegevensImport-object.
Retourtype
Uitzonderingen
Gegenereerd als gegevens niet kunnen worden gevalideerd. Meer informatie vindt u in het foutbericht.
load_datastore
Maak een gegevensarchiefobject op basis van een yaml-bestand.
load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> DatastoreParameters
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
De lokale yaml-bron van een gegevensarchief. Moet een pad naar een lokaal bestand of een al geopend bestand zijn. Als de bron een pad is, wordt het geopend en gelezen. Er wordt een uitzondering gegenereerd als het bestand niet bestaat. Als de bron een geopend bestand is, wordt het bestand rechtstreeks gelezen en wordt er een uitzondering gegenereerd als het bestand niet leesbaar is.
- relative_origin
- str
De oorsprong die moet worden gebruikt bij het afleiden van de relatieve locaties van bestanden waarnaar wordt verwezen in de geparseerde yaml. De standaardinstelling is de map van de ingevoerde bron als dit een bestand of bestandspadinvoer is. De standaardwaarde is ./als de bron een stroominvoer zonder naamwaarde is.
Velden die moeten worden overschreven boven op het yaml-bestand. De indeling is [{"field1": "value1"}, {"field2": "value2"}]
Retouren
Geladen gegevensarchiefobject.
Retourtype
Uitzonderingen
Gegenereerd als Datastore niet kan worden gevalideerd. Meer informatie vindt u in het foutbericht.
load_environment
Maak een omgevingsobject op basis van een yaml-bestand.
load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> EnvironmentParameters
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
De lokale yaml-bron van een omgeving. Moet een pad naar een lokaal bestand of een al geopend bestand zijn. Als de bron een pad is, wordt het geopend en gelezen. Er wordt een uitzondering gegenereerd als het bestand niet bestaat. Als de bron een geopend bestand is, wordt het bestand rechtstreeks gelezen en wordt er een uitzondering gegenereerd als het bestand niet leesbaar is.
- relative_origin
- str
De oorsprong die moet worden gebruikt bij het afleiden van de relatieve locaties van bestanden waarnaar wordt verwezen in de geparseerde yaml. De standaardinstelling is de map van de ingevoerde bron als dit een bestand of bestandspadinvoer is. De standaardwaarde is ./als de bron een stroominvoer zonder naamwaarde is.
Velden die moeten worden overschreven boven op het yaml-bestand. De indeling is [{"field1": "value1"}, {"field2": "value2"}]
Retouren
Samengesteld omgevingsobject.
Retourtype
Uitzonderingen
Gegenereerd als de omgeving niet kan worden gevalideerd. Meer informatie vindt u in het foutbericht.
load_job
Maak een taakobject op basis van een yaml-bestand.
load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> JobParameters
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
De lokale yaml-bron van een taak. Moet een pad naar een lokaal bestand of een al geopend bestand zijn. Als de bron een pad is, wordt het geopend en gelezen. Er wordt een uitzondering gegenereerd als het bestand niet bestaat. Als de bron een geopend bestand is, wordt het bestand rechtstreeks gelezen en wordt er een uitzondering gegenereerd als het bestand niet leesbaar is.
- relative_origin
- str
De oorsprong die moet worden gebruikt bij het afleiden van de relatieve locaties van bestanden waarnaar wordt verwezen in de geparseerde yaml. De standaardinstelling is de map van de ingevoerde bron als dit een bestand of bestandspadinvoer is. De standaardwaarde is ./als de bron een stroominvoer zonder naamwaarde is.
Velden die moeten worden overschreven boven op het yaml-bestand. De indeling is [{"field1": "value1"}, {"field2": "value2"}]
Retouren
Geladen taakobject.
Retourtype
Uitzonderingen
Gegenereerd als de taak niet kan worden gevalideerd. Meer informatie vindt u in het foutbericht.
load_model
Maak een modelobject op basis van het yaml-bestand.
load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelParameters
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
De lokale yaml-bron van een model. Moet een pad naar een lokaal bestand of een al geopend bestand zijn. Als de bron een pad is, wordt het geopend en gelezen. Er wordt een uitzondering gegenereerd als het bestand niet bestaat. Als de bron een geopend bestand is, wordt het bestand rechtstreeks gelezen en wordt er een uitzondering gegenereerd als het bestand niet leesbaar is.
- relative_origin
- str
De oorsprong die moet worden gebruikt bij het afleiden van de relatieve locaties van bestanden waarnaar wordt verwezen in de geparseerde yaml. De standaardinstelling is de map van de ingevoerde bron als dit een bestand of bestandspadinvoer is. De standaardwaarde is ./als de bron een stroominvoer zonder naamwaarde is.
Velden die moeten worden overschreven boven op het yaml-bestand. De indeling is [{"field1": "value1"}, {"field2": "value2"}]
Retouren
Geconstrueerd modelobject.
Retourtype
Uitzonderingen
Verhoogd als het model niet kan worden gevalideerd. Meer informatie vindt u in het foutbericht.
load_model_package
Notitie
Dit is een experimentele methode en kan op elk gewenst moment worden gewijzigd. Zie https://aka.ms/azuremlexperimental voor meer informatie.
Maak een modelpakketobject op basis van het yaml-bestand.
load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackageload_online_deployment
Maak een online-implementatieobject op basis van het yaml-bestand.
load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeploymentParameters
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
De lokale yaml-bron van een online-implementatieobject. Moet een pad naar een lokaal bestand of een al geopend bestand zijn. Als de bron een pad is, wordt het geopend en gelezen. Er wordt een uitzondering gegenereerd als het bestand niet bestaat. Als de bron een geopend bestand is, wordt het bestand rechtstreeks gelezen en wordt er een uitzondering gegenereerd als het bestand niet leesbaar is.
- relative_origin
- str
De oorsprong die moet worden gebruikt bij het afleiden van de relatieve locaties van bestanden waarnaar wordt verwezen in de geparseerde yaml. De standaardinstelling is de map van de ingevoerde bron als dit een bestand of bestandspadinvoer is. De standaardwaarde is ./als de bron een stroominvoer zonder naamwaarde is.
Velden die moeten worden overschreven boven op het yaml-bestand. De indeling is [{"field1": "value1"}, {"field2": "value2"}]
Retouren
Samengesteld online implementatieobject.
Retourtype
Uitzonderingen
Gegenereerd als de onlineimplementatie niet kan worden gevalideerd. Meer informatie vindt u in het foutbericht.
load_online_endpoint
Maak een online-eindpuntobject op basis van het yaml-bestand.
load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpointParameters
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
De lokale yaml-bron van een online-eindpuntobject. Moet een pad naar een lokaal bestand of een al geopend bestand zijn. Als de bron een pad is, wordt het geopend en gelezen. Er wordt een uitzondering gegenereerd als het bestand niet bestaat. Als de bron een geopend bestand is, wordt het bestand rechtstreeks gelezen en wordt er een uitzondering gegenereerd als het bestand niet leesbaar is.
- relative_origin
- str
De oorsprong die moet worden gebruikt bij het afleiden van de relatieve locaties van bestanden waarnaar wordt verwezen in de geparseerde yaml. De standaardinstelling is de map van de ingevoerde bron als dit een bestand of bestandspadinvoer is. De standaardwaarde is ./als de bron een stroominvoer zonder naamwaarde is.
Velden die moeten worden overschreven boven op het yaml-bestand. De indeling is [{"field1": "value1"}, {"field2": "value2"}]
Retouren
Samengesteld online-eindpuntobject.
Retourtype
Uitzonderingen
Gegenereerd als het online-eindpunt niet kan worden gevalideerd. Meer informatie vindt u in het foutbericht.
load_registry
Laad een registerobject uit een yaml-bestand.
load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> RegistryParameters
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
De lokale yaml-bron van een register. Moet een pad naar een lokaal bestand of een al geopend bestand zijn. Als de bron een pad is, wordt het geopend en gelezen. Er wordt een uitzondering gegenereerd als het bestand niet bestaat. Als de bron een geopend bestand is, wordt het bestand rechtstreeks gelezen en wordt er een uitzondering gegenereerd als het bestand niet leesbaar is.
- relative_origin
- str
De oorsprong die moet worden gebruikt bij het afleiden van de relatieve locaties van bestanden waarnaar wordt verwezen in de geparseerde yaml. De standaardinstelling is de map van de ingevoerde bron als dit een bestand of bestandspadinvoer is. De standaardwaarde is ./als de bron een stroominvoer zonder naamwaarde is.
Velden die moeten worden overschreven boven op het yaml-bestand. De indeling is [{"field1": "value1"}, {"field2": "value2"}]
Retouren
Geladen registerobject.
Retourtype
load_workspace
Laad een werkruimteobject uit een yaml-bestand.
load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceParameters
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
De lokale yaml-bron van een werkruimte. Moet een pad naar een lokaal bestand of een al geopend bestand zijn. Als de bron een pad is, wordt het geopend en gelezen. Er wordt een uitzondering gegenereerd als het bestand niet bestaat. Als de bron een geopend bestand is, wordt het bestand rechtstreeks gelezen en wordt er een uitzondering gegenereerd als het bestand niet leesbaar is.
- relative_origin
- str
De oorsprong die moet worden gebruikt bij het afleiden van de relatieve locaties van bestanden waarnaar wordt verwezen in de geparseerde yaml. De standaardinstelling is de map van de ingevoerde bron als dit een bestand of bestandspadinvoer is. De standaardwaarde is ./als de bron een stroominvoer zonder naamwaarde is.
Velden die moeten worden overschreven boven op het yaml-bestand. De indeling is [{"field1": "value1"}, {"field2": "value2"}]
Retouren
Geladen werkruimteobject.
Retourtype
load_workspace_connection
Maak een werkruimteverbindingsobject op basis van het yaml-bestand.
load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnectionParameters
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
De lokale yaml-bron van een werkruimteverbindingsobject. Moet een pad naar een lokaal bestand of een al geopend bestand zijn. Als de bron een pad is, wordt het geopend en gelezen. Er wordt een uitzondering gegenereerd als het bestand niet bestaat. Als de bron een geopend bestand is, wordt het bestand rechtstreeks gelezen en wordt er een uitzondering gegenereerd als het bestand niet leesbaar is.
- relative_origin
- str
De oorsprong die moet worden gebruikt bij het afleiden van de relatieve locaties van bestanden waarnaar wordt verwezen in de geparseerde yaml. De standaardinstelling is de map van de ingevoerde bron als dit een bestand of bestandspadinvoer is. De standaardwaarde is ./als de bron een stroominvoer zonder naamwaarde is.
Velden die moeten worden overschreven boven op het yaml-bestand. De indeling is [{"field1": "value1"}, {"field2": "value2"}]
Retouren
Geconstrueerd werkruimteverbindingsobject.
Retourtype
spark
Maak een Spark-object dat als functie in dsl.pipeline kan worden gebruikt en ook kan worden gemaakt als een zelfstandige Spark-taak.
spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> SparkParameters
Tagwoordenlijst. Tags kunnen worden toegevoegd, verwijderd en bijgewerkt.
Lijst met .zip-, .egg- of .py-bestanden die moeten worden geplaatst in pythonpath voor Python-apps.
Lijst met JAR's die moeten worden opgenomen in de klassepaden voor stuurprogramma's en uitvoerders.
Lijst met bestanden die in de werkmap van elk uitvoerder moeten worden geplaatst.
Lijst met archieven die moeten worden geëxtraheerd in de werkmap van elke uitvoerder.
Identiteit die spark-taak gebruikt tijdens het uitvoeren van berekeningen.
- driver_cores
- int
Het aantal kernen dat moet worden gebruikt voor het stuurprogrammaproces, alleen in de clustermodus.
- driver_memory
- str
De hoeveelheid geheugen die moet worden gebruikt voor het stuurprogrammaproces.
- executor_memory
- str
De hoeveelheid geheugen die per uitvoerderproces moet worden gebruikt, in dezelfde indeling als JVM-geheugenreeksen met een achtervoegsel voor grootte-eenheid ('k', 'm', 'g' of 't') (bijvoorbeeld 512m, 2g).
- dynamic_allocation_enabled
- bool
Of u dynamische resourcetoewijzing gebruikt, waarmee het aantal uitvoerders dat bij deze toepassing is geregistreerd, omhoog en omlaag wordt geschaald op basis van de workload.
- dynamic_allocation_min_executors
- int
Ondergrens voor het aantal uitvoerders als dynamische toewijzing is ingeschakeld.
- dynamic_allocation_max_executors
- int
Bovengrens voor het aantal uitvoerders als dynamische toewijzing is ingeschakeld.
Feedback
Binnenkort beschikbaar: In de loop van 2024 zullen we GitHub-problemen geleidelijk uitfaseren als het feedbackmechanisme voor inhoud en deze vervangen door een nieuw feedbacksysteem. Zie voor meer informatie: https://aka.ms/ContentUserFeedback.
Feedback verzenden en weergeven voor