Del via


Kendt problem – Overvågningshub viser forkert varighed i kø

Spark-job sættes i kø, når kapacitetsforbruget når maksimale beregningsgrænse på Spark. Når grænsen er nået, føjes job til køen. Jobbene behandles derefter, når kernerne bliver tilgængelige i kapaciteten. Denne køfunktion er aktiveret for alle baggrundsjob på Spark, herunder Spark-notesbøger, der udløses fra jobstyring, pipelines og sparkjobdefinitioner. Den tid, som jobbet venter i køen, repræsenteres ikke korrekt i overvågningshubben som varighed i kø.

status: åbn

produktoplevelse: Data Engineering

Symptomer

Den samlede varighed af jobbet, der vises i overvågningshubben, omfatter i øjeblikket kun udførelsestiden for jobbet. Den samlede varighed afspejler ikke den varighed, som jobbet har ventet i køen i.

Løsninger og løsninger

Når jobbet er i kø, vises status som Ikke startet i overvågningsvisningen. Når jobbet starter udførelsen, opdateres status til Igangværende i overvågningsvisningen. Brug jobstatusindikatoren til at vide, hvornår jobbet er sat i kø, og hvornår udførelsen er i gang.

Næste trin