Como utilizar a IU do pipeline para depurar falhas do pipeline do Azure Machine Learning

Depois de submeter um pipeline, verá uma ligação para a tarefa de pipeline na área de trabalho do Azure Machine Learning. A ligação coloca-o na página da tarefa de pipeline no estúdio do Azure Machine Learning, na qual pode verificar o resultado e depurar a tarefa do pipeline.

Este artigo apresenta como utilizar a página de tarefas do pipeline para depurar falhas do pipeline de machine learning.

Importante

Os itens marcados (pré-visualização) neste artigo estão atualmente em pré-visualização pública. A versão de pré-visualização é fornecida sem um contrato de nível de serviço e não é recomendada para cargas de trabalho de produção. Algumas funcionalidades poderão não ser suportadas ou poderão ter capacidades limitadas. Para obter mais informações, veja Termos Suplementares de Utilização para Pré-visualizações do Microsoft Azure.

Utilizar o contorno para localizar rapidamente um nó

Na página de detalhes da tarefa de pipeline, existe um destaque à esquerda na tela, que mostra a estrutura geral da tarefa do pipeline. Ao pairar o cursor sobre qualquer linha, pode selecionar o botão "Localizar" para localizar esse nó na tela.

Pode filtrar nós com falhas ou concluídos e filtrar apenas por componentes ou conjuntos de dados para pesquisa adicional. O painel esquerdo mostra os nós correspondentes com mais informações, incluindo o estado, a duração e o tempo de criação.

Também pode ordenar os nós filtrados.

Verificar registos e saídas do componente

Se o pipeline falhar ou ficar bloqueado num nó, veja primeiro os registos.

1. Pode selecionar o nó específico e abrir o painel direito.

2. Selecione o separador Saídas+registos e pode explorar todas as saídas e registos deste nó.

   A pasta user_logs contém informações sobre os registos gerados pelo código de utilizador. Esta pasta está aberta por predefinição e o registo destd_log.txt está selecionado. A std_log.txt é onde os registos do código (por exemplo, instruções de impressão) são apresentados.

   A pasta system_logs contém registos gerados pelo Azure Machine Learning. Saiba mais sobre Ver e transferir registos de diagnóstico.

   

   Se não vir essas pastas, tal deve-se ao facto de a atualização de tempo de execução de computação ainda não ser lançada no cluster de computação e poder ver primeiro70_driver_log.txt na pasta azureml-logs .

Comparar pipelines diferentes com falhas de depuração ou outros problemas inesperados (pré-visualização)

A comparação de pipelines identifica as diferenças (incluindo topologia, propriedades do componente e propriedades da tarefa) entre várias tarefas. Por exemplo, pode comparar um pipeline com êxito e um pipeline com falhas, o que o ajuda a encontrar as modificações que fazem com que o pipeline falhe.

Dois cenários principais em que pode utilizar a comparação de pipelines para ajudar na depuração:

• Depure a tarefa de pipeline com falhas ao compará-la a uma concluída.
• Depure o nó com falha num pipeline ao compará-lo com um semelhante concluído.

Para ativar esta funcionalidade:

1. Navegue para estúdio do Azure Machine Learning IU.
2. Selecione Gerir funcionalidades de pré-visualização (ícone de megafone) entre os ícones no canto superior direito do ecrã.
3. No painel de funcionalidades de pré-visualização gerida , alterne a funcionalidade Comparar tarefas de pipeline para depurar falhas ou problemas inesperados .

Como depurar a tarefa de pipeline falhada ao compará-la com uma concluída

Durante o desenvolvimento de modelos iterativos, pode ter um pipeline de linha de base e, em seguida, efetuar algumas modificações, tais como alterar um parâmetro, conjunto de dados ou recurso de computação, etc. Se o novo pipeline falhar, pode utilizar a comparação de pipelines para identificar o que mudou ao compará-lo com o pipeline de linha de base, o que pode ajudar a descobrir por que motivo falhou.

Comparar um pipeline com o respetivo principal

A primeira coisa que deve verificar ao depurar é localizar o nó com falha e verificar os registos.

Por exemplo, poderá receber uma mensagem de erro a mostrar que o pipeline falhou devido à falta de memória. Se o pipeline for clonado a partir de um pipeline principal concluído, pode utilizar a comparação de pipelines para ver o que mudou.

1. Selecione Mostrar linhagem.

2. Selecione a ligação em "Cloned From". Esta ação irá abrir um novo separador do browser com o pipeline principal.

   

3. Selecione Adicionar para comparar no pipeline com falhas e no pipeline principal. Isto adiciona-os na lista de candidatos de comparação.

   

Comparar topologia

Assim que os dois pipelines forem adicionados à lista de comparação, tem duas opções: Comparar detalhes e Comparar gráfico. Comparar gráfico permite-lhe comparar a topologia do pipeline.

Comparar gráfico mostra-lhe as alterações da topologia de grafos entre o pipeline A e B. Os nós especiais no pipeline A estão realçados a vermelho e marcados com "Apenas A". Os nós especiais no pipeline B estão a verde e marcados com "apenas B". Os nós partilhados estão a cinzento. Se existirem diferenças nos nós partilhados, o que foi alterado é apresentado na parte superior do nó.

Existem três categorias de alterações com resumos visualizáveis na página de detalhes, alteração de parâmetros, origem de entrada, componente de pipeline. Quando o componente do pipeline é alterado, significa que existe uma alteração de topologia no interior ou uma alteração do parâmetro de nó interno, pode selecionar o ícone de pasta no nó do componente do pipeline para analisar os detalhes. Podem ser detetadas outras alterações ao visualizar os nós coloridos no gráfico de comparação.

Comparar as meta informações e propriedades do pipeline

Se investigar a diferença do conjunto de dados e descobrir que os dados ou a topologia não parecem ser a causa principal da falha, também pode verificar os detalhes do pipeline, como o parâmetro do pipeline, as definições de saída ou execução.

Compare graph is used to compare pipeline topology, Compare detail is used to compare pipeline properties link meta info or settings.

Para aceder à comparação de detalhes, aceda à lista de comparação, selecione Comparar detalhes ou selecione Mostrar comparar detalhes na página de comparação de pipelines.

Verá propriedades do Pipeline e Propriedades de Execução.

• As propriedades do pipeline incluem parâmetros de pipeline, definição de execução e saída, etc.
• As propriedades de execução incluem o estado da tarefa, o tempo de submissão e a duração, etc.

A captura de ecrã seguinte mostra um exemplo de utilização da comparação de detalhes, em que a predefinição de computação pode ter sido o motivo da falha.

Para verificar rapidamente a comparação de topologia, selecione o nome do pipeline e selecione Comparar gráfico.

Como depurar o nó com falha num pipeline ao comparar com o nó concluído semelhante

Se apenas tiver atualizado as propriedades do nó e não tiver alterado nada no pipeline, pode depurar o nó ao compará-lo com as tarefas submetidas a partir do mesmo componente.

Localizar a tarefa a comparar com

1. Encontre uma tarefa com êxito para comparar ao ver todas as execuções submetidas a partir do mesmo componente.

   1. Selecione o nó com falha e selecione Ver Tarefas. Isto dá-lhe uma lista de todas as tarefas.

      

   2. Escolha uma tarefa concluída como destino de comparação.

2. Depois de encontrar uma tarefa com falha e concluída para comparar, adicione as duas tarefas à lista de candidatos de comparação.
   1. Para o nó com falha, selecione à direita e selecione Adicionar para comparar.
   2. Para a tarefa concluída, aceda ao pipeline principal e localize a tarefa concluída. Em seguida, selecione Adicionar para comparar.
3. Assim que as duas tarefas estiverem na lista de comparação, selecione Comparar detalhes para mostrar as diferenças.

Partilhar os resultados da comparação

Para partilhar os resultados da comparação, selecione Partilhar e copiar a ligação. Por exemplo, pode descobrir que a diferença do conjunto de dados pode levar à falha, mas não é um especialista em conjuntos de dados, pode partilhar o resultado de comparação com um engenheiro de dados na sua equipa.

Passos seguintes

Neste artigo, aprendeu a depurar falhas de pipeline. Para saber mais sobre como pode utilizar o pipeline, veja os seguintes artigos:

• Como criar o pipeline com o sdk python v2
• Como criar o pipeline com a CLI v2 do Python
• O que é o componente de machine learning