Spark Classe

Classe base para o nó spark, utilizada para o consumo de versões de componentes do Spark.

Não deve instanciar esta classe diretamente. Em vez disso, deve criá-la a partir da função de construtor: spark.

] :p aram outputs: um mapeamento de nomes de saída para origens de dados de saída utilizadas na tarefa. :type outputs: Dict[str, Union[str, ~azure.ai.ml.Output]] :p aram args: Os argumentos para a tarefa. :type args: str :p aram compute: o recurso de computação em que a tarefa é executada. :type compute: str :p aram resources: The compute resource configuration for the job. :type resources: Union[Dict, ~azure.ai.ml.entities.SparkResourceConfiguration] :p aram entry: The file or class entry point. :type entry: Dict[str, str] :p aram py_files: a lista de ficheiros .zip, .egg ou .py a colocar nas aplicações PYTHONPATH para Python. :type py_files: List[str] :p aram jars: The list of . Ficheiros JAR a incluir nos caminhos de classe do controlador e do executor. :type jars: List[str] :p aram files: The list of files to be placed in the working directory of each executor. :type files: List[str] :p aram archives: The list of archives to be extracted into the working directory of each executor. :type archives: List[str]

Herança

azure.ai.ml.entities._builders.base_node.BaseNode

Spark

azure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixin

Spark

Construtor

Spark(*, component: str | SparkComponent, identity: Dict[str, str] | ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, args: str | None = None, **kwargs)

Parâmetros

component

Union[str, SparkComponent]

Necessário

O ID ou a instância do componente ou tarefa do Spark a executar durante o passo.

identity

Union[ Dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

Necessário

A identidade que a tarefa do Spark irá utilizar durante a execução na computação.

driver_cores

int

Necessário

O número de núcleos a utilizar para o processo do controlador, apenas no modo de cluster.

driver_memory

str

Necessário

A quantidade de memória a utilizar para o processo do controlador, formatada como cadeias com um sufixo de unidade de tamanho ("k", "m", "g" ou "t") (por exemplo, "512m", "2g").

executor_cores

int

Necessário

O número de núcleos a utilizar em cada executor.

executor_memory

str

Necessário

A quantidade de memória a utilizar por processo do executor, formatada como cadeias com um sufixo de unidade de tamanho ("k", "m", "g" ou "t") (por exemplo, "512m", "2g").

executor_instances

int

Necessário

O número inicial de executores.

dynamic_allocation_enabled

bool

Necessário

Quer utilize a alocação de recursos dinâmicos, o que dimensiona o número de executores registados nesta aplicação para cima e para baixo com base na carga de trabalho.

dynamic_allocation_min_executors

int

Necessário

O limite inferior para o número de executores se a alocação dinâmica estiver ativada.

dynamic_allocation_max_executors

int

Necessário

O limite superior para o número de executores se a alocação dinâmica estiver ativada.

conf

Dict[str, str]

Necessário

Um dicionário com chave e valores de configurações do Spark predefinidos.

inputs

Dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]

Necessário

Um mapeamento de nomes de entrada para origens de dados de entrada utilizadas na tarefa.

Métodos

clear
copy
dump	Captura o conteúdo da tarefa num ficheiro no formato YAML.
fromkeys	Crie um novo dicionário com chaves de iterável e valores definidos como valor.
get	Devolva o valor da chave se a chave estiver no dicionário, caso contrário, predefinição.
items
keys
pop	Se a chave não for encontrada, devolva a predefinição se for dada; caso contrário, crie um KeyError.
popitem	Remova e devolva um par (chave, valor) como uma cadeia de 2 cadeias de identificação. Os pares são devolvidos por ordem LIFO (último, primeiro a sair). Aumenta o KeyError se o ditado estiver vazio.
setdefault	Insira a chave com um valor predefinido se a chave não estiver no dicionário. Devolver o valor da chave se a chave estiver no dicionário, caso contrário, predefinição.
update	Se E estiver presente e tiver um método .keys(), então faz: para k em E: D[k] = E[k] Se E estiver presente e não tiver um método .keys(), então faz: para k, v em E: D[k] = v Em ambos os casos, este é seguido por: para k em F: D[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

Captura o conteúdo da tarefa num ficheiro no formato YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Parâmetros

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

Necessário

O caminho local ou o fluxo de ficheiros para o qual escrever o conteúdo YAML. Se dest for um caminho de ficheiro, será criado um novo ficheiro. Se dest for um ficheiro aberto, o ficheiro será escrito diretamente.

kwargs

dict

Argumentos adicionais para passar para o serializador YAML.

Exceções

FileExistsError

Gerado se dest é um caminho de ficheiro e o ficheiro já existe.

IOError

Gerado se o dest for um ficheiro aberto e o ficheiro não for gravável.

fromkeys

Crie um novo dicionário com chaves de iterável e valores definidos como valor.

fromkeys(value=None, /)

Parâmetros

type

Necessário

iterable

Necessário

value

valor predefinido: None

get

Devolva o valor da chave se a chave estiver no dicionário, caso contrário, predefinição.

get(key, default=None, /)

Parâmetros

key

Necessário

default

valor predefinido: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

Se a chave não for encontrada, devolva a predefinição se for dada; caso contrário, crie um KeyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Remova e devolva um par (chave, valor) como uma cadeia de 2 cadeias de identificação.

Os pares são devolvidos por ordem LIFO (último, primeiro a sair). Aumenta o KeyError se o ditado estiver vazio.

popitem()

setdefault

Insira a chave com um valor predefinido se a chave não estiver no dicionário.

Devolver o valor da chave se a chave estiver no dicionário, caso contrário, predefinição.

setdefault(key, default=None, /)

Parâmetros

key

Necessário

default

valor predefinido: None

update

Se E estiver presente e tiver um método .keys(), então faz: para k em E: D[k] = E[k] Se E estiver presente e não tiver um método .keys(), então faz: para k, v em E: D[k] = v Em ambos os casos, este é seguido por: para k em F: D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

Atributos

base_path

O caminho base do recurso.

Devoluções

O caminho base do recurso.

Tipo de retorno

str

code

O caminho local ou remoto que aponta para o código fonte.

Tipo de retorno

Union[str, <xref:PathLike>]

component

O ID ou a instância do componente ou tarefa do Spark a executar durante o passo.

Tipo de retorno

SparkComponent

creation_context

O contexto de criação do recurso.

Devoluções

Os metadados de criação do recurso.

Tipo de retorno

Optional[SystemData]

entry

id

O ID do recurso.

Devoluções

O ID global do recurso, um ID do Azure Resource Manager (ARM).

Tipo de retorno

Optional[str]

identity

A identidade que a tarefa do Spark irá utilizar durante a execução na computação.

Tipo de retorno

Union[ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

inputs

Obtenha as entradas do objeto.

Devoluções

Um dicionário que contém as entradas do objeto.

Tipo de retorno

Dict[str, Union[Input, str, bool, int, float]]

log_files

Ficheiros de saída da tarefa.

Devoluções

O dicionário de nomes de registo e URLs.

Tipo de retorno

Optional[Dict[str, str]]

name

Obtenha o nome do nó.

Devoluções

O nome do nó.

Tipo de retorno

str

outputs

Obtenha as saídas do objeto.

Devoluções

Um dicionário que contém as saídas do objeto.

Tipo de retorno

Dict[str, Union[str, Output]]

resources

A configuração do recurso de computação para a tarefa.

Tipo de retorno

SparkResourceConfiguration

status

O estado da tarefa.

Os valores comuns devolvidos incluem "Running", "Completed" e "Failed". Todos os valores possíveis são:

• NotStarted - este é um estado temporário em que os objetos Run do lado do cliente estão antes da submissão da cloud.

• A iniciar – a Execução começou a ser processada na cloud. O autor da chamada tem um ID de execução neste momento.

• Aprovisionamento – a computação a pedido está a ser criada para uma determinada submissão de tarefas.

• Preparação – o ambiente de execução está a ser preparado e está numa de duas fases:

  • Compilação de imagens do Docker

  • configuração do ambiente conda

• Em fila – a tarefa está em fila de espera no destino de computação. Por exemplo, no BatchAI, a tarefa está num estado em fila

  enquanto aguarda que todos os nós pedidos estejam prontos.

• Em execução – a tarefa começou a ser executada no destino de computação.

• Finalização – a execução do código do utilizador foi concluída e a execução encontra-se em fases de pós-processamento.

• CancelRequested - Foi pedido o cancelamento para a tarefa.

• Concluído – a execução foi concluída com êxito. Isto inclui a execução do código de utilizador e a execução

  fases de pós-processamento.

• Falha - A execução falhou. Normalmente, a propriedade Erro numa execução irá fornecer detalhes sobre o motivo.

• Cancelado – segue um pedido de cancelamento e indica que a execução foi cancelada com êxito.

• NotResponding – para execuções com Heartbeats ativados, não foi enviado nenhum heartbeat recentemente.

Devoluções

Estado da tarefa.

Tipo de retorno

Optional[str]

studio_url

Ponto final do Azure ML Studio.

Devoluções

O URL para a página de detalhes da tarefa.

Tipo de retorno

Optional[str]

type

O tipo de tarefa.

Devoluções

O tipo de tarefa.

Tipo de retorno

Optional[str]

CODE_ID_RE_PATTERN

CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)