Desenvolver e depurar pipelines com um notebook (legado)

Importante

Este recurso está no Public Preview.

Este artigo descreve como usar um bloco de anotações no Lakeflow Spark Declarative Pipelines para desenvolver e depurar pipelines ETL.

Observação

Esta página descreve a experiência de edição do bloco de anotações herdado. A experiência padrão recomendada é o Lakeflow Pipelines Editor. Você pode usar o Lakeflow Pipelines Editor para editar blocos de anotações ou arquivos de código Python ou SQL para um pipeline. Para obter mais informações, consulte Desenvolver e depurar pipelines ETL com o Lakeflow Pipelines Editor.

Para configurar a experiência de bloco de anotações descrita nesta página, você deve desativar o Lakeflow Pipelines Editor. Ver Ativar o Lakeflow Pipelines Editor e monitorização atualizada.

Visão geral dos notebooks no Lakeflow Spark Declarative Pipelines

Quando você trabalha em um bloco de anotações Python ou SQL configurado como código-fonte para um pipeline existente, você pode conectar o bloco de anotações diretamente ao pipeline. Quando o notebook está conectado ao pipeline, os seguintes recursos estão disponíveis:

• Inicie e valide o pipeline a partir do notebook.
• Veja o gráfico de fluxo de dados e o registo de eventos do pipeline para obter a atualização mais recente no caderno.
• Veja os diagnósticos do pipeline no editor de notebook.
• Exiba o status do cluster do pipeline no bloco de anotações.
• Acesse a interface do usuário do Lakeflow Spark Declarative Pipelines a partir do bloco de anotações.

Pré-requisitos

• Você deve ter um pipeline existente com um bloco de anotações Python ou SQL configurado como código-fonte.
• Deve ser o proprietário do pipeline ou ter o privilégio CAN_MANAGE.

Limitações

• Os recursos abordados neste artigo só estão disponíveis em blocos de anotações do Azure Databricks. Não há suporte para arquivos de espaço de trabalho.
• O terminal web não está disponível quando conectado a um pipeline. Como resultado, não é visível como um separador no painel inferior.

Conectar um computador portátil a um pipeline

Dentro do portátil, clique no menu suspenso usado para selecionar cálculo. O menu suspenso mostra todos os seus Lakeflow Spark Declarative Pipelines com este bloco de anotações como código-fonte. Para ligar o notebook a um pipeline, selecione-o na lista.

Ver o estado do cluster do pipeline

Para entender facilmente o estado do cluster do pipeline, seu status é mostrado no menu suspenso de computação com uma cor verde para indicar que o cluster está em execução.

Validar o código do pipeline

Você pode validar o pipeline para verificar se há erros de sintaxe no código-fonte sem processar dados.

Para validar um pipeline, siga um destes procedimentos:

• No canto superior direito do bloco de notas, clique em Validar.
• Pressione Shift+Enter em qualquer célula do caderno.
• No menu suspenso de uma célula, clique em Validar Pipeline.

Observação

Se você tentar validar seu pipeline enquanto uma atualização existente já estiver em execução, uma caixa de diálogo será exibida perguntando se você deseja encerrar a atualização existente. Se clicar em Sim, a atualização existente será interrompida e uma atualização de validação será iniciada automaticamente.

Iniciar uma atualização do pipeline

Para iniciar uma atualização do seu pipeline, clique no botão Iniciar no canto superior direito do notebook. Consulte Executar uma atualização de pipeline.

Exibir o status de uma atualização

O painel superior no notebook exibe se uma atualização do pipeline é:

• Starting
• Validação
• Parar

Ver erros e diagnósticos

Depois de iniciar uma atualização ou validação de pipeline, todos os erros são mostrados em linha com um sublinhado vermelho. Passe o cursor sobre um erro para ver mais informações.

Visualizar eventos de pipeline

Quando está ligado a um pipeline, existe um separador de registo de eventos "Lakeflow Spark Declarative Pipelines" na parte inferior do bloco de notas.

Exibir o gráfico de fluxo de dados do pipeline

Para exibir o gráfico de fluxo de dados de um pipeline, use a guia Lakeflow Spark Declarative Pipelines graph na parte inferior do bloco de anotações. A seleção de um nó no gráfico exibe o esquema no painel direito.

Como aceder à interface do utilizador do Lakeflow Spark Declarative Pipelines a partir do notebook

Para ir facilmente para a interface de utilizador do Lakeflow Spark Declarative Pipelines, use o menu no canto superior direito do caderno.

Aceder aos registos do driver e à interface do utilizador do Spark no notebook.

Os logs do driver e a interface do usuário do Spark associados ao pipeline que está sendo desenvolvido podem ser facilmente acessados no menu Exibir do notebook.