Lakeflow-jobs controleren

Met de Azure Databricks-gebruikersinterface kunt u de taken bekijken die u hebt geopend, door een geschiedenis van uitvoeringen voor elke taak bladeren en de details van afzonderlijke taakuitvoeringen controleren. Zie Meldingen toevoegen aan een taakom meldingen voor taken te configureren.

Voor meer informatie over het gebruik van de Databricks CLI om taken weer te geven en taken uit te voeren, voert u de CLI-opdrachten databricks jobs list -huit, databricks jobs get -hen databricks jobs run-now -h. Raadpleeg de Jobs-API voor meer informatie over hoe je de Jobs-API gebruikt.

Als u toegang hebt tot het system.lakeflow schema, kunt u ook records van taakuitvoeringen en taken vanuit uw account bekijken en er query's op uitvoeren. Zie de referentie van de systeemtabel Jobs. U kunt ook de systeemtabellen voor taken samenvoegen met factureringstabellen om de kosten van taken in uw account te bewaken. Zie Beoordeel taakkosten & prestatie met systeemtabellen.

Vacatures en pijplijnen weergeven

Klik op het om de lijst met taken weer te geven waar u toegang toe hebt.Taken en pijplijnen in de zijbalk. Het tabblad Jobs & pijplijnen in de Lakeflow Jobs-gebruikersinterface toont informatie over alle beschikbare taken en pijplijnen, zoals de maker, de trigger (indien aanwezig) en het resultaat van de laatste vijf uitvoeringen.

Als u de kolommen in de lijst wilt wijzigen, klikt u op het en selecteert of deselecteert u kolommen.

Belangrijk

De gecombineerde lijst met taken en pijplijnen bevindt zich in openbare preview. U kunt de functie uitschakelen en terugkeren naar de standaardervaring door Taken en pijplijnen uit te schakelen: Geïntegreerd beheer, zoeken en filteren. Zie Azure Databricks-previews beheren voor meer informatie.

U kunt taken filteren in de lijst Taken en pijplijnen , zoals wordt weergegeven in de volgende schermopname.

1. Zoeken in tekst: trefwoorden zoeken wordt ondersteund voor de velden Naam en Taak-id . Als u wilt zoeken naar een tag die is gemaakt met een sleutel en waarde, kunt u zoeken op de sleutel, de waarde of zowel de sleutel als de waarde. Voor een tag met de sleutel department en de waarde finance, kunt u bijvoorbeeld department of finance gebruiken om overeenkomende jobs te vinden. Als u wilt zoeken op de sleutel en waarde, voert u de sleutel en waarde in, gescheiden door een dubbele punt (bijvoorbeeld department:finance).
2. Type: selecteer alleen taken, pijplijnen of alles.
3. Eigenaar: selecteer alleen de taken of pijplijnen waarvan u de eigenaar bent.
4. Favorieten: selecteer alle banen of pijplijnen die u als favorieten gemarkeerd heeft.
5. Tags: Tags gebruiken. Als u op tag wilt zoeken, kunt u de vervolgkeuzelijst tags gebruiken om op hetzelfde moment te filteren op maximaal vijf tags of om rechtstreeks de trefwoordzoekopdracht te gebruiken.
6. Uitvoeren als: Filteren op maximaal twee run as waarden.

Als u een taak of pijplijn wilt starten, klikt u op de afspeelknop afspelen. Als u een werkstroom wilt stoppen, klikt u op de knop. Als u toegang wilt krijgen tot andere acties, klikt u op het U kunt bijvoorbeeld de werkstroom verwijderen of instellingen voor een pijplijn openen vanuit dit menu.

Recente uitvoeringen voor alle taken en pijplijnen weergeven

U kunt een lijst weergeven met actieve en onlangs voltooide uitvoeringen voor alle taken en pijplijnen in een werkruimte die door u toegankelijk zijn, inclusief uitvoeringen die zijn gestart door externe indelingshulpprogramma's zoals Apache Airflow of Azure Data Factory. De lijst met recente runs bekijken:

1. Klik op Jobs & Pipelines in de zijbalk.
2. Klik op het tabblad Uitvoeringen om de graaf aantal voltooide uitvoeringen en de lijst met taak- en pijplijnuitvoeringen weer te geven.
3. (Optioneel) Klik op Taken of Pipelines om de lijst op type te filteren.

De lijst met uitvoeringen bevat filteropties bovenaan, een grafiek met onlangs voltooide uitvoeringen en top 5-fouten en een lijst met onlangs voltooide uitvoeringen.

U kunt filteren op:

• Naam van de taak of pijplijn.
• Alletaken of pijplijnen.
• Pijplijntype (ETL, Opname, MV/ST of Database Table Sync).
• De Uitvoeren als gebruiker.
• Voer de id uit om een specifieke uitvoering te vinden.
• De begintijd van de uitvoering (binnen de afgelopen 48 uur).
• De uitvoeringsstatus.
• De foutcode voor mislukte uitvoeringen.

Filters zijn van toepassing op de grafiek, de foutcodes en de lijst met uitvoeringen.

Notitie

Uitvoeringen die worden verzonden via het taak-API-eindpunt runs/submit , inclusief uitvoeringen van de Apache Airflow DatabricksSubmitRunOperator, zijn eenmalige uitvoeringen die niet worden ondersteund door een opgeslagen taak. Omdat deze uitvoeringen geen gekoppelde taak hebben, kunt u deze niet vinden door te filteren op een taaknaam. Filter in plaats daarvan op run-ID, Uitvoeren als of starttijd. Als u permanente taken wilt maken die worden weergegeven in zoekopdrachten naar Name en nieuwe pogingen ondersteunen, maakt u een taak en voert u deze vervolgens uit in plaats van runs/submit te gebruiken.

Grafiek aantal voltooide uitvoeringen

In de grafiek Voltooide uitvoeringen wordt het aantal uitvoeringen weergegeven dat in de afgelopen 48 uur is voltooid. In de grafiek worden standaard mislukte, overgeslagen en geslaagde uitvoeringen weergegeven. U kunt de grafiek ook filteren om specifieke uitvoeringsstatussen weer te geven of de grafiek te beperken tot een specifiek tijdsbereik.

Notitie

De grafiek Aantal voltooide uitvoeringen wordt alleen weergegeven wanneer u filtert op Jobs of Pipelines. Deze wordt niet weergegeven wanneer Alles is geselecteerd. De grafiek wordt weergegeven voor beheerders voor alle uitvoeringen. Voor niet-beheerders moet u op Uitvoeren als klikken en mij selecteren.

De filters boven aan het tabblad Uitvoeringen zijn van toepassing op de grafiek.

Geef in het filter een tijdsbereik op om de tijdsperiode te beperken die wordt weergegeven in de grafiek Aantal voltooide uitvoeringen. U kunt ook op de cursor in de grafiek klikken en slepen om het tijdsbereik te selecteren. De grafiek en de tabel met runs worden bijgewerkt zodat alleen runs uit het opgegeven tijdsbereik worden weergegeven.

In de tabel Top 5-fouttypen ziet u een lijst met de meest voorkomende fouttypen uit het geselecteerde tijdsbereik, zodat u snel de meest voorkomende oorzaken van problemen in uw werkruimte kunt zien.

Uitvoeringenlijst

Het tabblad Uitvoeringen bevat ook een tabel met taak- en pijplijnuitvoeringen van de afgelopen 60 dagen. Azure Databricks behoudt de uitvoeringsgeschiedenis gedurende 60 dagen voor zowel taken als pijplijnen. De tabel bevat standaard details over mislukte, overgeslagen en geslaagde uitvoeringen.

De filters boven aan het tabblad Runs zijn van toepassing op de lijst.

In de lijst met uitvoeringen in de uitvoeringstabel wordt standaard het volgende weergegeven:

• De begintijd voor de run.
• De naam van de taak of pijplijn die aan de uitvoering is gekoppeld.
• Het type (taak of pijplijn) van de uitvoering.
• De gebruikersnaam waaronder de uitvoering wordt uitgevoerd.
• Wat de uitvoering heeft geactiveerd (gestart): een planning, een API-aanvraag of een handmatige start.
• De verstreken tijd voor een lopende taak of pijplijn, of de totale uitvoeringstijd voor een voltooide uitvoering. In de gebruikersinterface wordt een waarschuwing weergegeven als de duur een geconfigureerde verwachte voltooiingstijd overschrijdt.
• De status van de uitvoering: In wachtrij, In behandeling, Actief, Overgeslagen, Geslaagd, Geslaagd met fouten, Mislukt, Time-out, Annuleren of Geannuleerd.
• Eventuele foutcodes waarmee de uitvoering is beëindigd.
• Parameters voor de uitvoering.
• Als u een actieve taak of pijplijn wilt stoppen, klikt u op de stopknop. Als u acties voor de uitvoering wilt openen, klikt u op het (bijvoorbeeld om een actieve uitvoering te stoppen of een voltooide uitvoering te verwijderen).

Als u de kolommen wilt wijzigen die worden weergegeven in de lijst met runs, klikt u op en selecteert of deselecteert u kolommen.

Als u details van de taakuitvoering wilt weergeven, klikt u op de koppeling in de kolom Begintijd voor de uitvoering. Als u taak- of pijplijngegevens wilt weergeven, klikt u op de naam in de kolom Taak .

Weergave van uitvoeringen voor één taak

U kunt een lijst weergeven met momenteel uitgevoerde en onlangs voltooide uitvoeringen voor een taak waartoe u toegang hebt, inclusief uitvoeringen die zijn gestart door externe indelingshulpprogramma's zoals Apache Airflow of Azure Data Factory. Om de lijst met recente taakuitvoeringen weer te geven:

1. Klik in de zijbalk van uw Azure Databricks-werkruimte op Jobs & Pipelines.

2. Selecteer desgewenst de filters Werk en Van mij.

3. Klik op de koppeling Naam van uw taak.

   Het tabblad Uitvoeringen wordt weergegeven met matrix- en lijstweergaven van actieve en voltooide uitvoeringen.

In de matrixweergave ziet u een geschiedenis van uitvoeringen voor de taak, inclusief elke taaktaak.

In de matrixrij Totale duur van de uitvoer worden de totale uitvoerduur en de uitvoerstaat weergegeven. Als u details van de uitvoering wilt weergeven, inclusief de begintijd, duur en status, plaatst u de muisaanwijzer op de balk in de rij Totale duur uitvoeren .

Elke cel in de rij Taken vertegenwoordigt een taak en de bijbehorende status van de taak. Als u details van elke taak wilt weergeven, inclusief de begintijd, duur, cluster en status, beweegt u de muisaanwijzer over de cel voor die taak.

De jobuitvoeringsbalken en uitvoeringsbalken voor taken zijn gekleurd om de status van de uitvoering aan te geven. Geslaagde uitvoeringen zijn groen. Mislukte uitvoeringen zijn rood, overgeslagen uitvoeringen zijn roze en wachtend op een nieuwe poging is geel. In afwachting, geannuleerd of time-out verlopen zijn grijs. De hoogte van de afzonderlijke balken voor jobuitvoeringen en taakuitvoeringen geeft de uitvoeringsduur visueel aan.

Als u een verwachte voltooiingstijd hebt geconfigureerd, wordt in de matrixweergave een waarschuwing weergegeven wanneer de duur van een uitvoering de geconfigureerde tijd overschrijdt.

Standaard wordt in de lijstweergave voor uitvoeringen het volgende weergegeven:

• De begintijd voor de run.
• De Run-ID. Zie de URL en id van de taakuitvoering voor het zoeken en delen van de uitvoerings-URL.
• Of de uitvoering nu is geactiveerd door een taakplanning of een API-aanvraag, of handmatig is gestart.
• De tijd die verstreken is voor een lopende taak of de totale looptijd voor een voltooide taak. Er wordt een waarschuwing weergegeven als de duur een geconfigureerde verwachte voltooiingstijd overschrijdt.
• De status van de uitvoering, in wachtrij, in behandeling, actief, overgeslagen, geslaagd, geslaagd met fouten, mislukt, time-out, annuleren of geannuleerd.
• De foutcode waarmee de uitvoering is beëindigd.
• De uitvoeringsparameters.

Momenteel wordt bij actieve uitvoeringen een stopknop getoond. Als u alle actieve en in de wachtrij geplaatste uitvoeringen wilt stoppen, kunt u Uitvoeringen annuleren of Alle uitvoeringen in de wachtrij annuleren in de vervolgkeuzelijst selecteren.

Als u toegang wilt krijgen tot contextspecifieke acties voor de run, klikt u op het (Bijvoorbeeld om een actieve run te stoppen of een voltooide run te verwijderen).

Om de kolommen aan te passen die worden weergegeven in de lijstweergave van de uitvoeringen, klikt u op het en selecteert of deselecteert u de kolommen.

Als u details voor een taakuitvoering wilt weergeven, klikt u op de koppeling voor de uitvoering in de kolom Begintijd in de lijstweergave voor uitvoeringen. Als u details wilt weergeven voor de meest recente geslaagde uitvoering van deze taak, klikt u op Ga naar de meest recente geslaagde uitvoering.

Azure Databricks bewaart een geschiedenis van uw taakuitvoeringen tot wel 60 dagen. Als u taakuitvoeringen wilt behouden, raadt Databricks aan om resultaten te exporteren voordat ze verlopen. Zie De resultaten van de exporttaakuitvoering voor meer informatie.

Details van taakuitvoering weergeven

De pagina met taakuitvoeringsgegevens bevat taakuitvoer en koppelingen naar logboeken, inclusief informatie over het slagen of mislukken van elke taak in de taakuitvoering. U kunt de details van de taakuitvoering openen via het tabblad Uitvoeringen voor de taak.

Als u details van de taakuitvoering wilt weergeven op het tabblad Uitvoeringen , klikt u op de koppeling voor de uitvoering in de kolom Begintijd in de lijstweergave voor uitvoeringen. Als u wilt terugkeren naar het tabblad Runs voor de taak, klikt u op de waarde van de taak-id .

Taken met meerdere taken hebben bovendien een grafiek, tijdlijn en lijstweergave.

Grafiekweergave

Klik op een taakknooppunt in de grafiek om details van de taakuitvoering weer te geven, waaronder:

• Taakdetails, zoals uitvoeren als, hoe de taak is gestart, begintijd, eindtijd, duur en status.
• De broncode.
• Het cluster dat de taak heeft uitgevoerd en dat koppelingen naar de querygeschiedenis en logboeken biedt.
• Metrische gegevens voor de taak.

Tijdlijnweergave

Banen die uit meerdere taken bestaan, hebben een tijdlijnweergave om taken te identificeren die lang duren, het begrijpen van afhankelijkheden en overlappingen om problemen op te lossen en optimalisering van deze banen mogelijk te maken.

Voor serverloze taken worden query's en queryprofielen geïntegreerd in de tijdlijnweergave. Klik op de pijl naast een taaknaam om de queryinstructies en de duur ervan weer te geven en klik vervolgens op een instructie om naar het bijbehorende queryprofiel te navigeren. Zie Querydetails weergeven voor taakuitvoeringen.

Lijstweergave

In de lijstweergave worden standaard de status, naam, type, resource, duur en afhankelijkheden weergegeven. U kunt kolommen toevoegen en verwijderen in deze weergave.

U kunt zoeken naar een taak op naam, filteren op taakstatus of taaktype en taken sorteren op status, naam of duur.

Klik op de Job-ID-waarde om terug te gaan naar het tabblad Uitvoeringen voor de job.

Als u wilt zien waar de tijd in een uitvoering aan opgaat en wat u kunt doen om die tijd te verminderen, kunt u de uitsplitsing per fase bekijken. Zie De uitsplitsing per fase van de uitvoering weergeven.

Hoe Azure Databricks de taakuitvoeringsstatus bepaalt

Azure Databricks bepaalt of een taakuitvoering is geslaagd op basis van het resultaat van de bladtaken van de taak. Een bladtaak is een taak die geen downstreamafhankelijkheden heeft. Een taakuitvoering kan een van de volgende resultaten hebben:

• Geslaagd: alle taken zijn geslaagd.
• Geslaagd ondanks mislukkingen: sommige taken zijn mislukt, maar alle bladtaken zijn geslaagd.
• Mislukt: Een of meer blad-taken zijn niet voltooid.
• Overgeslagen: de taakuitvoering is overgeslagen (een taak kan bijvoorbeeld worden overgeslagen omdat u het maximum aantal gelijktijdige uitvoeringen voor uw taak of uw werkruimte hebt overschreden).
• Time-out: de uitvoering van de taak duurde te lang om te voltooien en er is een time-out opgetreden.
• Geannuleerd: de taakuitvoering is geannuleerd (bijvoorbeeld een gebruiker heeft de lopende uitvoering handmatig geannuleerd).

Afzonderlijke taken kunnen ook worden beëindigd met een Disabled status wanneer u ze expliciet uitschakelt in de taakinstellingen, of wanneer Lakeflow Jobs uitgeschakelt voor een run omdat een upstream-taak is uitgeschakeld. Uitgeschakelde taken worden weergegeven door een pictogram van een groot lege cirkel in de rechterbovenhoek van het DAG-scherm. Zie Uitgeschakelde taken in Lakeflow-taak.

Metrische gegevens over taakprestaties weergeven

Metrische gegevens voor streamingtaken en metrische gegevens over serverloze queryprestaties worden beschreven met de andere hulpprogramma's voor taakprestaties. Zie De prestaties van Lakeflow-taken diagnosticeren.

Uitvoeringsgeschiedenis van taken weergeven

De uitvoeringsgeschiedenis van een taak weergeven, inclusief geslaagde en mislukte uitvoeringen:

1. Klik op een taak op de pagina Taakuitvoeringsgegevens . De pagina Details van taakuitvoering wordt weergegeven.
2. Selecteer de taak in de vervolgkeuzelijst van de uitvoeringshistorie.

Uitvoeringsgeschiedenis van taken voor een For each taak weergeven

Het openen van de uitvoeringsgeschiedenis van een For each taak is hetzelfde als voor een standaard Lakeflow-taak. U kunt op het For each taakknooppunt op de pagina Taakuitvoeringsdetails of de bijbehorende cel in de matrixweergave klikken. In tegenstelling tot een standaardtaak worden de uitvoeringsdetails voor een For each taak echter weergegeven als een tabel met de iteraties van de geneste taak.

Als u alleen mislukte iteraties wilt weergeven, klikt u op Alleen mislukte iteraties.

Als u de uitvoer van een iteratie wilt weergeven, klikt u op de begin- of eindtijdwaarden van de iteratie.

Herkomstgegevens voor een taak weergeven

Als Unity Catalog is ingeschakeld in uw werkruimte, kunt u herkomstgegevens voor iedere Unity Catalog-tabel in uw werkstroom weergeven. Als herkomstgegevens beschikbaar zijn voor uw workflow, ziet u een link met het aantal upstream- en downstream-tabellen in het deelvenster Jobdetails voor uw job, het deelvenster Details van jobuitvoering voor een jobuitvoering of het deelvenster Details van taakuitvoering voor een taakuitvoering. Klik op de koppeling om de lijst met tabellen weer te geven. Klik op een tabel om gedetailleerde informatie weer te geven in Catalog Explorer.

Een taak weergeven en uitvoeren die is gemaakt met declaratieve Automation-bundels

U kunt de Lakeflow Jobs UI gebruiken om taken weer te geven en uit te voeren die zijn geïmplementeerd door Declarative Automation Bundels. Deze taken zijn standaard in de alleen-lezen modus in de Jobs-gebruikersinterface. Als u een taak wilt bewerken die door een bundel is geïmplementeerd, wijzigt u het configuratiebestand voor de bundel en implementeert u de taak opnieuw. Als u alleen wijzigingen toepast op de bundelconfiguratie, zorgt u ervoor dat de bundelbronbestanden altijd de huidige taakconfiguratie vastleggen.

Als u echter onmiddellijk wijzigingen in een taak moet aanbrengen, kunt u de taak loskoppelen van de bundelconfiguratie om het bewerken van de taakinstellingen in de gebruikersinterface in te schakelen. Als u de taak wilt verbreken, klikt u op Verbinding met bron verbreken. Klik in het dialoogvenster Verbinding verbreken met bron op Verbinding verbreken om te bevestigen.

Wijzigingen die u aanbrengt in de taak in de gebruikersinterface, worden niet toegepast op de bundelconfiguratie. Als u wijzigingen wilt toepassen die u in de gebruikersinterface aanbrengt in de bundel, moet u de bundelconfiguratie handmatig bijwerken. Als u de taak opnieuw wilt verbinden met de bundelconfiguratie, implementeert u de taak opnieuw met behulp van de bundel.

Uitvoerresultaten van taak exporteren

U kunt uitvoerresultaten van notebooks en taakuitvoeringslogboeken voor alle taaktypen exporteren.

Uitvoerresultaten van notebooks exporteren

U kunt taakuitvoeringen verduurzamen door hun resultaten te exporteren. Voor notebook-uitvoeringen kunt u een weergegeven notebook exporteren dat later kan worden geïmporteerd in uw Azure Databricks-werkruimte.

Uitvoerresultaten van notebooks exporteren voor een taak met één taak:

1. Klik op de taakdetailpagina op de koppeling Details weergeven voor de uitvoering in de kolom Uitvoeren van de tabel Voltooide uitvoeringen (afgelopen 60 dagen).
2. Klik op Exporteren naar HTML.

Uitvoerresultaten van notebooks exporteren voor een taak met meerdere taken:

1. Klik op de taakdetailpagina op de koppeling Details weergeven voor de uitvoering in de kolom Uitvoeren van de tabel Voltooide uitvoeringen (afgelopen 60 dagen).
2. Klik op de notebook-taak die u wilt exporteren.
3. Klik op Exporteren naar HTML.

Logboeken voor het uitvoeren van taken exporteren

U kunt de logboeken voor de uitvoering van uw taak ook exporteren. U kunt uw taak zo instellen dat logboeken automatisch aan DBFS worden geleverd tijdens het configureren van taken berekenen (zie Compute-configuratieverwijzing) of via de Taak-API. Zie het new_cluster.cluster_log_conf object in de aanvraagtekst die is doorgegeven aan de bewerking 'Een nieuwe taak maken' () in de Taken-API.