Spark Osztály

Spark-csomópont alaposztálya, amelyet a Spark-összetevő verzióhasználatához használnak.

Ezt az osztályt nem szabad közvetlenül példányosítani. Ehelyett a builder függvényből kell létrehoznia: spark.

] :p aram kimenetek: A kimeneti nevek leképezése a feladatban használt kimeneti adatforrásokra. :type outputs: Dict[str, Union[str, ~azure.ai.ml.Output]] :p aram args: A feladat argumentumai. :type args: str :p aram compute: Az a számítási erőforrás, amelyen a feladat fut. :type compute: str :p aram resources: A feladat számítási erőforrás-konfigurációja. :type resources: Union[Dict, ~azure.ai.ml.entities.SparkResourceConfiguration] :p aram entry: A fájl vagy osztály belépési pontja. :type entry: Dict[str, str] :p aram py_files: A PYTHONPATH for Python-alkalmazásokban elhelyezendő .zip, .egg vagy .py fájlok listája. :type py_files: List[str] :p aram jars: A listája. Az illesztő és a végrehajtó osztályútvonalán szerepeltetni kívánt JAR-fájlok. :type jars: List[str] :p aram files: Az egyes végrehajtók munkakönyvtárába helyezendő fájlok listája. :type files: List[str] :p aram archives: Az egyes végrehajtók munkakönyvtárába kinyerendő archívumok listája. :type archives: List[str]

Öröklődés

azure.ai.ml.entities._builders.base_node.BaseNode

Spark

azure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixin

Spark

Konstruktor

Spark(*, component: str | SparkComponent, identity: Dict[str, str] | ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, args: str | None = None, **kwargs)

Paraméterek

component

Union[str, SparkComponent]

Kötelező

A lépés során futtatandó Spark-összetevő vagy feladat azonosítója vagy példánya.

identity

Union[ Dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

Kötelező

Az identitás, amelyet a Spark-feladat a számítás során használni fog.

driver_cores

int

Kötelező

Az illesztőprogram-folyamathoz használandó magok száma, csak fürt módban.

driver_memory

str

Kötelező

Az illesztőprogram-folyamathoz használandó memória mennyisége, sztringként formázva, méretegység-utótaggal ("k", "m", "g" vagy "t") (pl. "512m", "2g").

executor_cores

int

Kötelező

Az egyes végrehajtókon használandó magok száma.

executor_memory

str

Kötelező

A végrehajtói folyamatonként használandó memória mennyisége, sztringként formázva a méretegység-utótaggal ("k", "m", "g" vagy "t") (pl. "512m", "2g").

executor_instances

int

Kötelező

A végrehajtók kezdeti száma.

dynamic_allocation_enabled

bool

Kötelező

Dinamikus erőforrás-kiosztás használata, amely a számítási feladat alapján vertikálisan fel- és leskálázza az alkalmazással regisztrált végrehajtók számát.

dynamic_allocation_min_executors

int

Kötelező

A végrehajtók számának alsó határa, ha a dinamikus kiosztás engedélyezve van.

dynamic_allocation_max_executors

int

Kötelező

A végrehajtók számának felső határa, ha a dinamikus kiosztás engedélyezve van.

conf

Dict[str, str]

Kötelező

Egy szótár előre definiált Spark-konfigurációs kulccsal és értékekkel.

inputs

Dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]

Kötelező

Bemeneti nevek leképezése a feladatban használt bemeneti adatforrásokhoz.

Metódusok

clear
copy
dump	A feladat tartalmát YAML formátumú fájlba menti.
fromkeys	Hozzon létre egy új szótárat iterálásból származó kulcsokkal és értékre beállított értékekkel.
get	Adja vissza a kulcs értékét, ha a kulcs a szótárban van, máskülönben alapértelmezés szerint.
items
keys
pop	Ha a kulcs nem található, adja vissza az alapértelmezett értéket, ha meg van adva; ellenkező esetben hozzon létre egy KeyErrort.
popitem	Távolítsa el és adja vissza a (kulcs, érték) párokat 2 rekordként. A párokat LIFO (last-in, first-out) sorrendben adja vissza a rendszer. A KeyError értékét emeli, ha a diktálás üres.
setdefault	Az alapértelmezett értékkel rendelkező kulcs beszúrása, ha a kulcs nem szerepel a szótárban. Adja vissza a kulcs értékét, ha a kulcs a szótárban van, máskülönben alapértelmezés szerint.
update	Ha az E jelen van, és .keys() metódussal rendelkezik, akkor a következőket teszi: a k esetében az E: D[k] = E[k] Ha az E jelen van, és nem rendelkezik .keys() metódussal, akkor a következőket teszi: k esetén v az E: D[k] = v Mindkét esetben ezt követi: k in F: D[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

A feladat tartalmát YAML formátumú fájlba menti.

dump(dest: str | PathLike | IO, **kwargs) -> None

Paraméterek

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

Kötelező

A YAML-tartalom írásához használt helyi elérési út vagy fájlstream. Ha a dest fájlelérési út, a rendszer új fájlt hoz létre. Ha a dest egy megnyitott fájl, a fájl közvetlenül a fájlba lesz megírva.

kwargs

dict

A YAML szerializálónak átadandó további argumentumok.

Kivételek

FileExistsError

Akkor jön létre, ha a dest fájlelérési út, és a fájl már létezik.

IOError

Akkor jön létre, ha a dest egy megnyitott fájl, és a fájl nem írható.

fromkeys

Hozzon létre egy új szótárat iterálásból származó kulcsokkal és értékre beállított értékekkel.

fromkeys(value=None, /)

Paraméterek

type

Kötelező

iterable

Kötelező

value

alapértelmezett érték: None

get

Adja vissza a kulcs értékét, ha a kulcs a szótárban van, máskülönben alapértelmezés szerint.

get(key, default=None, /)

Paraméterek

key

Kötelező

default

alapértelmezett érték: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

Ha a kulcs nem található, adja vissza az alapértelmezett értéket, ha meg van adva; ellenkező esetben hozzon létre egy KeyErrort.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Távolítsa el és adja vissza a (kulcs, érték) párokat 2 rekordként.

A párokat LIFO (last-in, first-out) sorrendben adja vissza a rendszer. A KeyError értékét emeli, ha a diktálás üres.

popitem()

setdefault

Az alapértelmezett értékkel rendelkező kulcs beszúrása, ha a kulcs nem szerepel a szótárban.

Adja vissza a kulcs értékét, ha a kulcs a szótárban van, máskülönben alapértelmezés szerint.

setdefault(key, default=None, /)

Paraméterek

key

Kötelező

default

alapértelmezett érték: None

update

Ha az E jelen van, és .keys() metódussal rendelkezik, akkor a következőket teszi: a k esetében az E: D[k] = E[k] Ha az E jelen van, és nem rendelkezik .keys() metódussal, akkor a következőket teszi: k esetén v az E: D[k] = v Mindkét esetben ezt követi: k in F: D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

Attribútumok

base_path

Az erőforrás alapútvonala.

Válaszok

Az erőforrás alapútvonala.

Visszatérési típus

str

code

A forráskódra mutató helyi vagy távoli elérési út.

Visszatérési típus

Union[str, <xref:PathLike>]

component

A lépés során futtatandó Spark-összetevő vagy feladat azonosítója vagy példánya.

Visszatérési típus

SparkComponent

creation_context

Az erőforrás létrehozási környezete.

Válaszok

Az erőforrás létrehozási metaadatai.

Visszatérési típus

Optional[SystemData]

entry

id

Az erőforrás-azonosító.

Válaszok

Az erőforrás globális azonosítója, egy Azure Resource Manager (ARM) azonosító.

Visszatérési típus

Optional[str]

identity

Az identitás, amelyet a Spark-feladat a számítás során használni fog.

Visszatérési típus

Union[ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

inputs

Kérje le az objektum bemeneteit.

Válaszok

Az objektum bemeneteit tartalmazó szótár.

Visszatérési típus

Dict[str, Union[Input, str, bool, int, float]]

log_files

Feladat kimeneti fájljai.

Válaszok

A naplónevek és URL-címek szótára.

Visszatérési típus

Optional[Dict[str, str]]

name

Kérje le a csomópont nevét.

Válaszok

A csomópont neve.

Visszatérési típus

str

outputs

Kérje le az objektum kimeneteit.

Válaszok

Az objektum kimeneteit tartalmazó szótár.

Visszatérési típus

Dict[str, Union[str, Output]]

resources

A feladat számítási erőforrás-konfigurációja.

Visszatérési típus

SparkResourceConfiguration

status

A feladat állapota.

A visszaadott értékek közé tartozik a "Running", a "Completed" és a "Failed" (Sikertelen). Minden lehetséges érték a következő:

• NotStarted – Ez egy ideiglenes állapot, amelyben az ügyféloldali Run objektumok a felhőbeküldés előtt találhatók.

• Indítás – A futtatás megkezdődött a felhőben való feldolgozásban. A hívó ezen a ponton futtatási azonosítóval rendelkezik.

• Kiépítés – Egy adott feladatbeküldéshez igény szerinti számítás jön létre.

• Előkészítés – A futtatási környezet előkészítése folyamatban van, és a következő két szakasz egyikében van:

  • Docker-rendszerkép összeállítása

  • conda-környezet beállítása

• Queued – A feladat várólistára van helyezve a számítási célon. A BatchAI-ban például a feladat várólistás állapotban van

  amíg az összes kért csomópont készen áll.

• Futtatás – A feladat elkezdett futni a számítási célon.

• Véglegesítés – A felhasználói kód végrehajtása befejeződött, a futtatás pedig a feldolgozás utáni fázisokban van.

• CancelRequested – A feladat lemondását kérték.

• Befejeződött – A futtatás sikeresen befejeződött. Ez magában foglalja a felhasználói kód végrehajtását és a futtatást is

  utófeldolgozási fázisok.

• Sikertelen – A futtatás sikertelen volt. A futtatáskor általában az Error tulajdonság adja meg a hiba okát.

• Megszakítva – Egy lemondási kérést követ, és azt jelzi, hogy a futtatás sikeresen megszakadt.

• NotKiszolgáló – Azon futtatások esetében, amelyeken engedélyezve van a szívverés, a rendszer nem küldött szívverést a közelmúltban.

Válaszok

A feladat állapota.

Visszatérési típus

Optional[str]

studio_url

Azure ML Studio-végpont.

Válaszok

A feladat részleteit tartalmazó lap URL-címe.

Visszatérési típus

Optional[str]

type

A feladat típusa.

Válaszok

A feladat típusa.

Visszatérési típus

Optional[str]

CODE_ID_RE_PATTERN

CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)