Kendt problem – Overvågningshub viser forkert varighed i kø
Spark-job sættes i kø, når kapacitetsforbruget når maksimale beregningsgrænse på Spark. Når grænsen er nået, føjes job til køen. Jobbene behandles derefter, når kernerne bliver tilgængelige i kapaciteten. Denne køfunktion er aktiveret for alle baggrundsjob på Spark, herunder Spark-notesbøger, der udløses fra jobstyring, pipelines og sparkjobdefinitioner. Den tid, som jobbet venter i køen, repræsenteres ikke korrekt i overvågningshubben som varighed i kø.
status: åbn
produktoplevelse: Data Engineering
Symptomer
Den samlede varighed af jobbet, der vises i overvågningshubben, omfatter i øjeblikket kun udførelsestiden for jobbet. Den samlede varighed afspejler ikke den varighed, som jobbet har ventet i køen i.
Løsninger og løsninger
Når jobbet er i kø, vises status som Ikke startet i overvågningsvisningen. Når jobbet starter udførelsen, opdateres status til Igangværende i overvågningsvisningen. Brug jobstatusindikatoren til at vide, hvornår jobbet er sat i kø, og hvornår udførelsen er i gang.