Pijplijnen ontwikkelen en fouten opsporen met een notebook (verouderd)

Belangrijk

Deze functie bevindt zich in openbare preview-versie.

In dit artikel wordt beschreven hoe u een notebook in Lakeflow Spark-declaratieve pijplijnen gebruikt voor het ontwikkelen en opsporen van fouten in ETL-pijplijnen.

Opmerking

Op deze pagina wordt de verouderde bewerkingservaring voor notitieblokken beschreven. De aanbevolen standaardervaring is de Lakeflow Pipelines Editor. U kunt de Lakeflow Pipelines Editor gebruiken om notebooks of Python- of SQL-codebestanden voor een pijplijn te bewerken. Zie ETL-pijplijnen ontwikkelen en fouten opsporen met de Lakeflow Pipelines Editor voor meer informatie.

Als u de notebookervaring wilt configureren die op deze pagina wordt beschreven, moet u de Lakeflow Pipelines Editor uitschakelen. Zie De Editor voor Lakeflow Pipelines inschakelen en de bewaking bijwerken.

Overzicht van notebooks in Lakeflow Spark Declaratieve Pijplijnen

Wanneer u werkt aan een Python- of SQL-notebook dat is geconfigureerd als broncode voor een bestaande pijplijn, kunt u het notebook rechtstreeks verbinden met de pijplijn. Wanneer het notebook is verbonden met de pijplijn, zijn de volgende functies beschikbaar:

• Start en valideer de pijplijn vanuit het notebook.
• Bekijk de gegevensstroomgrafiek en het gebeurtenislogboek van de pijplijn voor de meest recente update in het notebook.
• Bekijk diagnostische gegevens van pijplijnen in de notebook-editor.
• Bekijk in het notebook de status van het cluster van de pijplijn.
• Toegang tot de Lakeflow Spark Declarative Pipelines UI vanuit het notebook.

Vereiste voorwaarden

• U moet een bestaande pijplijn hebben met een Python- of SQL-notebook die is geconfigureerd als broncode.
• U moet de eigenaar van de pijplijn zijn of de bevoegdheid CAN_MANAGE hebben.

Beperkingen

• De functies in dit artikel zijn alleen beschikbaar in Azure Databricks-notebooks. Werkruimtebestanden worden niet ondersteund.
• De webterminal is niet beschikbaar wanneer deze is gekoppeld aan een pijplijn. Als gevolg hiervan is het niet zichtbaar als een tabblad in het onderste deelvenster.

Een notebook verbinden met een pijplijn

Klik in het notitieblok op de vervolgkeuzelijst die wordt gebruikt om berekening te selecteren. In het vervolgkeuzemenu ziet u al uw Lakeflow Spark-declaratieve pijplijnen met dit notebook als broncode. Als u het notebook wilt verbinden met een pijplijn, selecteert u het in de lijst.

De clusterstatus van de pijplijn weergeven

Om de status van het cluster van uw pijplijn gemakkelijk te begrijpen, wordt de status ervan weergegeven in de vervolgkeuzelijst Compute met een groene kleur om aan te geven dat het cluster wordt uitgevoerd.

Pijplijncode valideren

U kunt de pijplijn valideren om te controleren op syntaxisfouten in uw broncode zonder gegevens te verwerken.

Ga op een van de volgende manieren te werk om een pijplijn te valideren:

• Klik in de rechterbovenhoek van het notitieblok op Valideren.
• Druk op Shift+Enter in een willekeurige notitieblokcel.
• Klik in het vervolgkeuzemenu van een cel op Pijplijn valideren.

Opmerking

Als u probeert uw pijplijn te valideren terwijl een bestaande update al wordt uitgevoerd, wordt er een dialoogvenster weergegeven waarin u wordt gevraagd of u de bestaande update wilt beëindigen. Als u op Jaklikt, wordt de bestaande update gestopt en wordt er automatisch een validatie update gestart.

Een pijplijnupdate starten

Als u een update van uw pijplijn wilt starten, klikt u op de knop Start in de rechterbovenhoek van het notitieblok. Zie Een pijplijnupdate uitvoeren.

De status van een update weergeven

In het bovenste deelvenster van het notebook wordt aangegeven of er een pijplijnupdate heeft plaatsgevonden.

• Starting
• Valideren
• Het stoppen

Fouten en diagnostische gegevens weergeven

Nadat u een pijplijnupdate of validatie hebt gestart, worden eventuele fouten inline weergegeven met een rode onderstreping. Beweeg de muisaanwijzer over een fout om meer informatie te zien.

Pijplijn gebeurtenissen weergeven

Wanneer deze is gekoppeld aan een pijplijn, is er onder aan het notebook een tabblad voor het gebeurtenislogboek van Lakeflow Spark declaratieve pijplijnen.

De pijplijngegevensstroomgrafiek weergeven

Als u de gegevensstroomgrafiek van een pijplijn wilt weergeven, gebruikt u het grafiektabblad van Lakeflow Spark Declarative Pipelines onderaan het notebook. Als u een knooppunt in de grafiek selecteert, wordt het bijbehorende schema weergegeven in het rechterdeelvenster.

Toegang krijgen tot de declaratieve pijplijngebruikersinterface van Lakeflow Spark vanuit het notebook

Om eenvoudig naar de Lakeflow Spark Declaratieve Pijplijnen UI te gaan, gebruikt u het menu in de rechterbovenhoek van het notebook.

Toegang tot stuurprogrammalogboeken en de Spark-gebruikersinterface vanuit het notebook

De stuurprogrammalogboeken en de Spark-gebruikersinterface die zijn gekoppeld aan de pijplijn die wordt ontwikkeld, kunnen eenvoudig worden geopend vanuit het menu Weergave van het notitieblok.