Bewaking en waarneembaarheid voor Databricks-taken

In dit artikel worden de functies beschreven die beschikbaar zijn in de Gebruikersinterface van Azure Databricks om taken weer te geven die u hebt geopend, een geschiedenis van uitvoeringen voor een taak te bekijken en details van taakuitvoeringen weer te geven. Zie E-mail- en systeemmeldingen toevoegen voor taakevenementen om meldingen voor taken te configureren.

Voor meer informatie over het gebruik van de Databricks CLI om taken weer te geven en taken uit te voeren, voert u de CLI-opdrachten databricks jobs list -huit, databricks jobs get -hen databricks jobs run-now -h. Zie de Taken-API voor meer informatie over het gebruik van de Jobs-API.

Als u toegang hebt tot het system.lakeflow schema, kunt u ook records van taakuitvoeringen en taken vanuit uw account bekijken en er query's op uitvoeren. Zie naslaginformatie over de systeemtabel Jobs.

Taken weergeven

Als u de lijst met taken wilt weergeven die u wilt openen, klikt u op Werkstromen in de zijbalk. Op het tabblad Taken in de gebruikersinterface voor werkstromen vindt u informatie over alle beschikbare taken, zoals de maker van de taak, de trigger voor de taak, indien van toepassing, en het resultaat van de laatste uitvoering.

Als u de kolommen wilt wijzigen die worden weergegeven in de takenlijst, klikt u op kolommen en selecteert of deselecteert u deze.

U kunt taken filteren in de lijst Taken:

• Trefwoorden gebruiken. Als u de functie voor verhoogde takenlimiet hebt ingeschakeld voor deze werkruimte, wordt zoeken op trefwoorden alleen ondersteund voor de velden naam, taak-id en taaktag.
• Selecteer alleen de taken die u bezit.
• Selecteer alle taken waarvoor u machtigingen hebt om toegang te krijgen.
• Tags gebruiken. Als u wilt zoeken naar een tag die alleen met een sleutel is gemaakt, typt u de sleutel in het zoekvak. Als u wilt zoeken naar een tag die is gemaakt met een sleutel en waarde, kunt u zoeken op de sleutel, de waarde of zowel de sleutel als de waarde. Voor een tag met de sleutel department en de waarde financekunt u bijvoorbeeld zoeken department naar of finance zoeken naar overeenkomende taken. Als u wilt zoeken op de sleutel en waarde, voert u de sleutel en waarde in, gescheiden door een dubbele punt; bijvoorbeeld department:finance.

U kunt ook op een kolomkop klikken om de lijst met taken (aflopend of oplopend) op die kolom te sorteren. Wanneer de functie voor verhoogde takenlimiet is ingeschakeld, kunt u alleen Namesorteren op , Job IDof Created by. De standaardsortering is Name in oplopende volgorde.

Klik hier om toegang te krijgen tot acties voor de taak, bijvoorbeeld om de taak te verwijderen.

Uitvoeringen voor een taak weergeven

U kunt een lijst weergeven met momenteel uitgevoerde en onlangs voltooide uitvoeringen voor alle taken die u hebt, inclusief uitvoeringen die zijn gestart door externe indelingshulpprogramma's zoals Apache Airflow of Azure Data Factory. De lijst met recente taakuitvoeringen weergeven:

1. Klik op Werkstromen in de zijbalk.
2. Klik in de kolom Naam op een taaknaam. Het tabblad Uitvoeringen wordt weergegeven met matrix- en lijstweergaven van actieve en voltooide uitvoeringen.

In de matrixweergave ziet u een geschiedenis van uitvoeringen voor de taak, inclusief elke taaktaak.

In de rij Totaalduur uitvoeren van de matrix wordt de totale duur van de uitvoering en de status van de uitvoering weergegeven. Als u details van de uitvoering wilt weergeven, inclusief de begintijd, duur en status, plaatst u de muisaanwijzer op de balk in de rij Totale duur uitvoeren .

Elke cel in de rij Taken vertegenwoordigt een taak en de bijbehorende status van de taak. Als u details van elke taak wilt weergeven, inclusief de begintijd, duur, cluster en status, beweegt u de muisaanwijzer over de cel voor die taak.

De taakuitvoerings- en taakuitvoeringsbalken zijn in kleur gecodeerd om de status van de uitvoering aan te geven. Geslaagde uitvoeringen zijn groen, mislukte uitvoeringen zijn rood en overgeslagen runs zijn roze. De hoogte van de afzonderlijke taakuitvoerings- en taakuitvoeringsbalken geeft de uitvoeringsduur visueel aan.

Als u een verwachte voltooiingstijd hebt geconfigureerd, wordt in de matrixweergave een waarschuwing weergegeven wanneer de duur van een uitvoering de geconfigureerde tijd overschrijdt.

Standaard wordt in de lijstweergave voor uitvoeringen het volgende weergegeven:

• De begintijd voor de uitvoering.
• De run-id.
• Of de uitvoering nu is geactiveerd door een taakplanning of een API-aanvraag, of handmatig is gestart.
• De tijd die is verstreken voor een actieve taak of de totale uitvoeringstijd voor een voltooide uitvoering. Er wordt een waarschuwing weergegeven als de duur een geconfigureerde verwachte voltooiingstijd overschrijdt.
• Koppelingen naar de Spark-logboeken.
• De status van de uitvoering, ofwel Queued, Pending, Running, Skipped, Succeeded, , TerminatingTimed OutFailedInternal ErrorCanceledTerminatedCancelingof .Waiting for Retry
• Klik hier om toegang te krijgen tot contextspecifieke acties voor de uitvoering, bijvoorbeeld om een actieve uitvoering te stoppen of een voltooide uitvoering te verwijderen.

Als u de kolommen wilt wijzigen die worden weergegeven in de lijstweergave voor uitvoeringen, klikt u op kolommen en selecteert of deselecteert u deze.

Als u details voor een taakuitvoering wilt weergeven, klikt u op de koppeling voor de uitvoering in de kolom Begintijd in de lijstweergave voor uitvoeringen. Als u details wilt weergeven voor de meest recente geslaagde uitvoering van deze taak, klikt u op Ga naar de meest recente geslaagde uitvoering.

Azure Databricks onderhoudt een geschiedenis van uw taak tot 60 dagen. Als u taakuitvoeringen wilt behouden, raadt Databricks aan om resultaten te exporteren voordat ze verlopen. Zie De resultaten van de exporttaakuitvoering voor meer informatie.

Details van taakuitvoering weergeven

De pagina met taakuitvoeringsgegevens bevat taakuitvoer en koppelingen naar logboeken, inclusief informatie over het slagen of mislukken van elke taak in de taakuitvoering. U kunt de details van de taakuitvoering openen via het tabblad Uitvoeringen voor de taak. Als u details van de taakuitvoering wilt weergeven op het tabblad Uitvoeringen , klikt u op de koppeling voor de uitvoering in de kolom Begintijd in de lijstweergave voor uitvoeringen. Als u wilt terugkeren naar het tabblad Runs voor de taak, klikt u op de waarde van de taak-id .

Als de taak meerdere taken bevat, klikt u op een taak om details van de taakuitvoering weer te geven, waaronder:

• het cluster waarop de taak is uitgevoerd
  • de Spark-gebruikersinterface voor de taak
  • logboeken voor de taak
  • metrische gegevens voor de taak

Klik op de waarde taak-id om terug te keren naar het tabblad Uitvoeringen voor de taak.

Hoe bepaalt Azure Databricks de taakuitvoeringsstatus?

Azure Databricks bepaalt of een taakuitvoering is geslaagd op basis van het resultaat van de bladtaken van de taak. Een bladtaak is een taak die geen downstreamafhankelijkheden heeft. Een taakuitvoering kan een van de volgende drie resultaten hebben:

• Geslaagd: alle taken zijn geslaagd.
• Geslaagd met fouten: sommige taken zijn mislukt, maar alle bladtaken zijn geslaagd.
• Mislukt: een of meer leaf-taken zijn mislukt.

Uitvoeringsgeschiedenis van taken weergeven

De uitvoeringsgeschiedenis van een taak weergeven, inclusief geslaagde en mislukte uitvoeringen:

1. Klik op een taak op de pagina Met taakuitvoeringsgegevens . De pagina Details van taakuitvoering wordt weergegeven.
2. Selecteer de taakuitvoering in de vervolgkeuzelijst uitvoeringsgeschiedenis.

Uitvoeringsgeschiedenis van taken voor een For each taak weergeven

Toegang tot de uitvoeringsgeschiedenis van een For each taak is hetzelfde als een standaardtaak voor Azure Databricks-taken. U kunt op het For each taakknooppunt op de pagina Taakuitvoeringsdetails of de bijbehorende cel in de matrixweergave klikken. In tegenstelling tot een standaardtaak worden de uitvoeringsdetails voor een For each taak echter weergegeven als een tabel met de iteraties van de geneste taak.

Als u alleen mislukte iteraties wilt weergeven, klikt u op Alleen mislukte iteraties.

Als u de uitvoer van een iteratie wilt weergeven, klikt u op de begin- of eindtijdwaarden van de iteratie.

Recente taakuitvoeringen weergeven

U kunt een lijst weergeven met momenteel uitgevoerde en onlangs voltooide uitvoeringen voor alle taken in een werkruimte waartoe u toegang hebt, inclusief uitvoeringen die zijn gestart door externe indelingshulpprogramma's zoals Apache Airflow of Azure Data Factory. De lijst met recente taakuitvoeringen weergeven:

1. Klik op Werkstromen in de zijbalk.
2. Klik op het tabblad Taakuitvoeringen om de lijst met taakuitvoeringen weer te geven.

In de grafiek Aantal voltooide uitvoeringen wordt het aantal voltooide taakuitvoeringen weergegeven in de afgelopen 48 uur. In de grafiek worden standaard de mislukte, overgeslagen en geslaagde taakuitvoeringen weergegeven. U kunt de grafiek ook filteren om specifieke uitvoeringsstatussen weer te geven of de grafiek te beperken tot een specifiek tijdsbereik. Het tabblad Taakuitvoeringen bevat ook een tabel met taakuitvoeringen van de afgelopen 67 dagen. De tabel bevat standaard details over mislukte, overgeslagen en geslaagde taakuitvoeringen.

Notitie

De graaf Aantal voltooide uitvoeringen wordt alleen weergegeven wanneer u op Eigendom van mij klikt.

U kunt het aantal voltooide uitvoeringen filteren op uitvoeringsstatus:

• Als u de grafiek wilt bijwerken om taken weer te geven die momenteel worden uitgevoerd of wachten om te worden uitgevoerd, klikt u op Actieve uitvoeringen.
• Als u de grafiek wilt bijwerken om alleen voltooide uitvoeringen weer te geven, inclusief mislukte, geslaagde en overgeslagen uitvoeringen, klikt u op Voltooide uitvoeringen.
• Als u de grafiek wilt bijwerken om alleen uitvoeringen weer te geven die de afgelopen 48 uur zijn voltooid, klikt u op Geslaagde uitvoeringen.
• Als u de grafiek wilt bijwerken om alleen overgeslagen uitvoeringen weer te geven, klikt u op Overgeslagen uitvoeringen. Uitvoeringen worden overgeslagen omdat u het maximum aantal gelijktijdige uitvoeringen in uw werkruimte hebt overschreden of de taak het maximum aantal gelijktijdige uitvoeringen heeft overschreden dat is opgegeven door de taakconfiguratie.
• Als u de grafiek wilt bijwerken om alleen uitvoeringen weer te geven die zijn voltooid in een foutstatus, klikt u op Mislukte uitvoeringen.

Wanneer u op een van de filterknoppen klikt, wordt de lijst met uitvoeringen in de uitvoeringstabel ook bijgewerkt om alleen taakuitvoeringen weer te geven die overeenkomen met de geselecteerde status.

Als u het tijdsbereik wilt beperken dat wordt weergegeven in de grafiek voltooide uitvoeringen , klikt u op de cursor in de grafiek en sleept u deze om het tijdsbereik te selecteren. De grafiek en de update van de uitvoeringstabel om alleen uitvoeringen van het geselecteerde tijdsbereik weer te geven.

Standaard wordt in de lijst met uitvoeringen in de uitvoeringstabel het volgende weergegeven:

• De begintijd voor de uitvoering.
• De naam van de taak die aan de uitvoering is gekoppeld.
• De gebruikersnaam die door de taak wordt uitgevoerd.
• Of de uitvoering nu is geactiveerd door een taakplanning of een API-aanvraag, of handmatig is gestart.
• De tijd die is verstreken voor een actieve taak of de totale uitvoeringstijd voor een voltooide uitvoering. Er wordt een waarschuwing weergegeven als de duur een geconfigureerde verwachte voltooiingstijd overschrijdt.
• De status van de uitvoering, ofwel Queued, Pending, Running, Skipped, Succeeded, , TerminatingTimed OutFailedInternal ErrorCanceledTerminatedCancelingof .Waiting for Retry
• Parameters voor de uitvoering.
• Klik hier om toegang te krijgen tot contextspecifieke acties voor de uitvoering, bijvoorbeeld om een actieve uitvoering te stoppen of een voltooide uitvoering te verwijderen.

Als u de kolommen wilt wijzigen die worden weergegeven in de lijst met uitvoeringen, klikt u op kolommen en selecteert of deselecteert u deze.

In de tabel Top 5-fouttypen wordt een lijst weergegeven met de meest voorkomende fouttypen uit het geselecteerde tijdsbereik, zodat u snel de meest voorkomende oorzaken van taakproblemen in uw werkruimte kunt zien.

Als u details van de taakuitvoering wilt weergeven, klikt u op de koppeling in de kolom Begintijd voor de uitvoering. Als u taakdetails wilt weergeven, klikt u op de taaknaam in de kolom Taak .

Herkomstgegevens voor een taak weergeven

Als Unity Catalog is ingeschakeld in uw werkruimte, kunt u herkomstgegevens weergeven voor alle Unity Catalog-tabellen in uw werkstroom. Als gegevens over herkomst beschikbaar zijn voor uw werkstroom, ziet u een koppeling met een aantal upstream- en downstreamtabellen in het deelvenster Taakdetails voor uw taak, het deelvenster Taakuitvoeringsdetails voor een taakuitvoering of het deelvenster Details van taakuitvoering voor een taakuitvoering. Klik op de koppeling om de lijst met tabellen weer te geven. Klik op een tabel om gedetailleerde informatie weer te geven in Catalog Explorer.

Een taak weergeven en uitvoeren die is gemaakt met een Databricks Asset Bundle

U kunt de gebruikersinterface van Azure Databricks-taken gebruiken om taken weer te geven en uit te voeren die zijn geïmplementeerd door een Databricks Asset Bundle. Deze taken zijn standaard alleen-lezen in de gebruikersinterface van Taken. Als u een taak wilt bewerken die door een bundel is geïmplementeerd, wijzigt u het configuratiebestand voor de bundel en implementeert u de taak opnieuw. Als u alleen wijzigingen toepast op de bundelconfiguratie, zorgt u ervoor dat de bundelbronbestanden altijd de huidige taakconfiguratie vastleggen.

Als u echter onmiddellijk wijzigingen in een taak moet aanbrengen, kunt u de taak loskoppelen van de bundelconfiguratie om het bewerken van de taakinstellingen in de gebruikersinterface in te schakelen. Als u de taak wilt verbreken, klikt u op Verbinding met bron verbreken. Klik in het dialoogvenster Verbinding verbreken met bron op Verbinding verbreken om te bevestigen.

Wijzigingen die u aanbrengt in de taak in de gebruikersinterface, worden niet toegepast op de bundelconfiguratie. Als u wijzigingen wilt toepassen die u in de gebruikersinterface aanbrengt in de bundel, moet u de bundelconfiguratie handmatig bijwerken. Als u de taak opnieuw wilt verbinden met de bundelconfiguratie, implementeert u de taak opnieuw met behulp van de bundel.

Uitvoerresultaten van taak exporteren

U kunt uitvoerresultaten van notebooks en taakuitvoeringslogboeken voor alle taaktypen exporteren.

Uitvoerresultaten van notebooks exporteren

U kunt taakuitvoeringen behouden door hun resultaten te exporteren. Voor uitvoeringen van notebooktaken kunt u een gerenderd notebook exporteren dat later kan worden geïmporteerd in uw Azure Databricks-werkruimte.

Uitvoerresultaten van notebooks exporteren voor een taak met één taak:

1. Klik op de taakdetailpagina op de koppeling Details weergeven voor de uitvoering in de kolom Uitvoeren van de tabel Voltooide uitvoeringen (afgelopen 60 dagen).
2. Klik op Exporteren naar HTML.

Uitvoerresultaten van notebooks exporteren voor een taak met meerdere taken:

1. Klik op de taakdetailpagina op de koppeling Details weergeven voor de uitvoering in de kolom Uitvoeren van de tabel Voltooide uitvoeringen (afgelopen 60 dagen).
2. Klik op de notebook-taak die u wilt exporteren.
3. Klik op Exporteren naar HTML.

Logboeken voor het uitvoeren van taken exporteren

U kunt de logboeken voor de uitvoering van uw taak ook exporteren. U kunt uw taak instellen voor het automatisch leveren van logboeken aan DBFS via de job-API. Zie het new_cluster.cluster_log_conf object in de aanvraagbody die is doorgegeven aan de taakbewerking Maken (POST /jobs/create) in de Taken-API.