Aktivera övervakning av HDInsight-jobb.
Övervakning av ett HDInsight-kluster är av intresse för både datatekniker och IT-administratörer, så att de kan övervaka följande områden i klustret:
- Klusterhälsa och tillgänglighet
- Resursanvändning och prestanda
- Arbetsbelastningsinformation och loggar
IT-administratörer använder övervakning för att visa klustrets hälsa och tillgänglighet samt övervaka säkerheten i klustret. Datatekniker är intresserade av följande:
- Arbetsbelastningsinformation och loggar
- Titta efter jobbets fel eller framgångar
- Prestanda för klustret
- Visa arbetsbelastningar med hjälp av loggar
Det finns två huvudverktyg som kan användas för att övervaka: Apache Ambari och Azure Monitor.
Apache Ambari
Det här verktyget används för öppen källkod klusterhantering och -övervakning. Den tillhandahåller en instrumentpanel med en serie widgetar som gör att du kan visa hälsotillståndet för ett HDInsight-kluster ur ett maskinvaruperspektiv både på kluster- och nodnivå. Instrumentpanelen är tillgänglig från översiktsskärmen för HDInsight-klustret i Azure-portalen.
Apache Ambari öppnas i en webbläsare som tillhandahåller en instrumentpanel med övervakningsverktyg.
Många områden i Apache Ambari är användbara för både IT-administratörer och Dataingenjör. Den första instrumentpanelen är användbar för IT-administratörer för att övervaka klusterhälsan i realtid. Det finns ytterligare områden, till exempel YARN-skärmen, som gör det möjligt för Dataingenjör att visa kökapaciteter, jobb och associerade loggar för att övervaka arbetsbelastningar i klustret. Med aviseringsfunktioner kan du också identifiera felaktiga komponenter så att du kan vara proaktiv när du stöder klustret.
Övervakning
Azure Monitor är ett Azure-omfattande övervakningsverktyg som kan användas i HDInsight-kluster för att övervaka hälsotillståndet för din tjänst. Aspekter av Azure Monitor exponeras direkt i Azure-portalen:
Aviseringar
Aviseringar är ett användbart verktyg för att proaktivt övervaka en resurs i Azure och agera baserat på ett villkor. En avisering kan ställas in mot en viss resurs – till exempel ett HDInsight-kluster – för att fastställa tröskelvärdet för ett villkor som avgör om en avisering utlöses. Ett villkor kan inkludera är Autoskalning aktiverat. Det här villkoret kan vara antingen sant eller falskt. Åtgärder kan sträcka sig från att skicka ett e-postmeddelande till att starta om en tjänst beroende på hur villkoret definieras.
Mått
Mått är en komponent i Azure Monitor som gör att du kan konfigurera visuella diagram som är specifika för det du vill övervaka. Med hjälp av visuella diagram kan du visa, mäta och korrelera datapunkter för att avgöra om en tjänst presterar inom ett acceptabelt intervall. HDInsight-mått inkluderar Gateway-begäranden för att se belastningen på klustret och antalet aktiva arbetare, vilket gör att du kan hålla ett öga på klusterstorleken för HDInsight-klustret
Diagnostikinställningar
Med de här inställningarna kan du välja ett mål (antingen ett lagringskonto, en Event Hub-tjänst eller ett Log Analytics-konto) för att ta emot diagnostikdata om den tjänst som du har aktiverat. Loggar skickas till det valda målet, vilket gör att du kan logga tjänstaktivitet över tid och analysera senare. De här inställningarna bör endast anges om du vill göra en djupgående analys av tjänsten.
Azure Monitor
Det finns en direktlänk till Azure Monitor så att du kan använda alla funktioner som Azure Monitor tillhandahåller.
Resurshälsa
Den här instrumentpanelen är standard för alla tjänster i Azure och gör att du kan visa hälsotillståndet för HDInsight-tjänsten en viss dag. Det finns inga meddelanden från det här området och du måste undersöka detta själv. Resurshälsa kan ge dig en översikt över hälsoinformation.