Udostępnij przez

Używanie logowania selektywnego za pomocą akcji skryptowej agenta Azure Monitor (AMA) w usłudze Azure HDInsight

Azure Monitor Logs to usługa Azure Monitor, która monitoruje Twoje środowiska chmurowe i lokalne. Monitorowanie pomaga zachować ich dostępność i wydajność.

Dzienniki usługi Azure Monitor zbierają dane generowane przez zasoby w chmurze, zasoby w środowiskach lokalnych i inne narzędzia do monitorowania. Używa ona danych do przeprowadzania analizy spośród wielu źródeł. Aby uzyskać analizę, włącz funkcję rejestrowania selektywnego przy użyciu akcji skryptu dla usługi HDInsight w witrynie Azure Portal.

Informacje o selektywnym wyrębie

Selektywne rejestrowanie jest częścią ogólnego systemu monitorowania na platformie Azure. Po połączeniu klastra z obszarem roboczym usługi Log Analytics i włączeniu rejestrowania selektywnego można zobaczyć dzienniki i metryki, takie jak dzienniki zabezpieczeń usługi HDInsight, usługa Yarn Resource Manager i metryki systemowe. Możesz monitorować obciążenia i zobaczyć, jak wpływają one na stabilność klastra.

Selektywne rejestrowanie umożliwia włączenie lub wyłączenie wszystkich tabel lub włączenie wybranych tabel w obszarze roboczym usługi Log Analytics. Można dostosować typ źródła dla każdej tabeli.

Uwaga

Jeśli usługa Log Analytics zostanie ponownie zainstalowana w klastrze, należy ponownie wyłączyć wszystkie tabele i typy dzienników. Ponowna instalacja resetuje wszystkie pliki konfiguracji do ich pierwotnego stanu.

Zagadnienia dotyczące akcji skryptu

  • System monitorowania używa demona serwera metadanych (agenta monitorowania) i Fluentd do zbierania dzienników przy użyciu ujednoliconej warstwy rejestrowania.
  • Selektywne rejestrowanie używa polecenia skryptowego do wyłączania lub włączania tabel i ich typów dzienników. Ponieważ selektywne rejestrowanie nie otwiera żadnych nowych portów ani nie zmienia żadnych istniejących ustawień zabezpieczeń, nie ma żadnych zmian zabezpieczeń.
  • Akcja skryptu jest uruchamiana równolegle we wszystkich określonych węzłach i zmienia pliki konfiguracji dotyczące wyłączania lub włączania tabel i ich typów dzienników.

Wymagania wstępne

  • Obszar roboczy usługi Log Analytics. Ten obszar roboczy można traktować jako unikatowe środowisko dzienników usługi Azure Monitor z własnym repozytorium danych, źródłami danych i rozwiązaniami. Aby uzyskać instrukcje, zobacz Tworzenie obszaru roboczego usługi Log Analytics.
  • Klaster usługi Azure HDInsight. Obecnie można użyć funkcji rejestrowania selektywnego z następującymi typami klastrów usługi HDInsight:
    • Hadoop
    • HBase
    • Zapytanie interakcyjne
    • Spark

Aby uzyskać instrukcje dotyczące tworzenia klastra usługi HDInsight, zobacz Wprowadzenie do usługi Azure HDInsight.

Włączanie lub wyłączanie dzienników przy użyciu akcji skryptu dla wielu tabel i typów dzienników

  1. Przejdź do Akcje skryptowe w klastrze i wybierz Dodaj nową, aby rozpocząć tworzenie akcji skryptowej.

    Zrzut ekranu przedstawiający przycisk uruchamiania procesu tworzenia akcji skryptu.

    Pojawi się okienko akcji Prześlij skrypt.

    Zrzut ekranu przedstawiający okienko przesyłania akcji skryptu.

  2. Dla typu skryptu wybierz pozycję Niestandardowe.

  3. Nadaj skryptowi nazwę. Na przykład: Wyłącz dwie tabele i dwa źródła.

  4. Identyfikator URI skryptu Bash musi być odnośnikiem do selectiveLoggingScript.sh.

  5. Wybierz wszystkie typy węzłów, które mają zastosowanie do klastra. Dostępne opcje to węzeł główny, węzeł roboczy i węzeł ZooKeeper.

  6. Zdefiniuj parametry. Na przykład:

    • Iskra: spark HDInsightSparkLogs:SparkExecutorLog --disable
    • Zapytanie interakcyjne: interactivehive HDInsightHadoopAndYarnLogs:NodeManager --enable
    • Hadoop: hadoop HDInsightHiveAndLLAPLogs:HiveServer2Log --disable
    • HBase: hbase HDInsightHBaseLogs:HBaseRegionServerLog --enable

    Aby uzyskać więcej informacji, zobacz sekcję Składnia parametrów.

  7. Wybierz pozycję Utwórz.

  8. Po kilku minutach obok historii akcji skryptu pojawi się zielony znak zaznaczenia. Oznacza to, że skrypt został pomyślnie uruchomiony.

    Zrzut ekranu przedstawiający pomyślne uruchomienie skryptu w celu włączenia tabel i typów dzienników.

Zmiany są widoczne w obszarze roboczym usługi Log Analytics.

Rozwiązywanie problemów

W obszarze roboczym usługi Log Analytics nie są wyświetlane żadne zmiany

Jeśli przesyłasz akcję skryptu, ale nie ma żadnych zmian w obszarze roboczym usługi Log Analytics:

  1. W obszarze Pulpity nawigacyjne wybierz pozycję Strona główna systemu Ambari, aby sprawdzić informacje debugowania.

    Zrzut ekranu przedstawiający lokalizację głównego pulpitu nawigacyjnego systemu Ambari.

  2. Wybierz przycisk Ustawienia.

    Zrzut ekranu przedstawiający przycisk Ustawienia.

  3. Wybierz najnowsze uruchomienie skryptu z górnej części listy operacji w tle.

    Zrzut ekranu przedstawiający operacje w tle.

  4. Sprawdź stan uruchomienia skryptu we wszystkich węzłach osobno.

    Zrzut ekranu przedstawiający stan uruchomienia skryptu dla hostów.

  5. Sprawdź, czy składnia parametrów z sekcji składni parametrów jest poprawna.

  6. Sprawdź, czy obszar roboczy usługi Log Analytics jest połączony z klastrem i czy monitorowanie usługi Log Analytics jest włączone.

  7. Sprawdź, czy zaznaczono pole wyboru Utrwal tę akcję skryptu, aby ponownie uruchomić, gdy do klastra zostaną dodane nowe węzły dla uruchomionej akcji skryptu.

    Zrzut ekranu przedstawiający pole wyboru utrwalania akcji skryptu.

  8. Sprawdź, czy nowy węzeł został ostatnio dodany do klastra.

    Uwaga

    Aby skrypt działał w najnowszym klastrze, musi być przechowywany.

  9. Upewnij się, że wybrano wszystkie typy węzłów, które chciałeś dla akcji skryptu.

    Zrzut ekranu przedstawiający wybrane typy węzłów.

Akcja skryptu nie powiodła się

Jeśli akcja skryptu wyświetla stan niepowodzenia w historii akcji skryptu:

  1. Sprawdź, czy składnia parametrów z sekcji składni parametrów jest poprawna.
  2. Sprawdź, czy link skryptu jest poprawny. Powinien to być: https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/selectiveLoggingScriptsAma/selectiveLoggingScript.sh.

Nazwy tabel

Aby uzyskać pełną listę nazw tabel dla różnych typów dzienników (źródeł), zobacz Tabele dzienników usługi Azure Monitor.

Składnia parametrów

Parametry definiują typ klastra, nazwy tabel, nazwy źródłowe i akcję.

Zrzut ekranu przedstawiający pole składni parametru.

Parametr zawiera trzy części:

  • Typ klastra
  • Tabele i typy dzienników
  • Akcja ( --disable lub --enable)

Składnia dla wielu tabel

Jeśli masz wiele tabel, są one oddzielone przecinkami. Na przykład:

spark HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --disable

hbase HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --enable

Składnia dla wielu źródeł lub typów logów

Jeśli masz wiele typów źródłowych lub typów dzienników, są one oddzielone spacją.

Aby wyłączyć źródło, należy zapisać nazwę tabeli, która zawiera typy dzienników, następnie dodać dwukropek, a na końcu nazwę rzeczywistego typu dziennika.

TableName : LogTypeName

Załóżmy na przykład, że spark HDInsightSecurityLogs jest to tabela zawierająca dwa typy dzienników: AmbariAuditLog i AuthLog. Aby wyłączyć oba typy dzienników, prawidłową składnią będzie:

spark HDInsightSecurityLogs: AmbariAuditLog AuthLog --disable

Składnia dla wielu tabel i typów źródłowych

Jeśli musisz wyłączyć dwie tabele i dwa typy źródłowe, użyj następującej składni:

  • Spark: InteractiveHiveMetastoreLog typ dziennika w HDInsightHiveAndLLAPLogs tabeli
  • HBase: InteractiveHiveHSILog typ dziennika w HDInsightHiveAndLLAPLogs tabeli
  • Hadoop: HDInsightHiveAndLLAPMetrics tabela
  • Hadoop: HDInsightHiveTezAppStats tabela

Rozdziel tabele przecinkami. Oznacz źródła przy użyciu dwukropka po nazwie tabeli, w której się znajdują.

Prawidłowa składnia parametrów dla tych przypadków to:

interactivehive HDInsightHiveAndLLAPLogs: InteractiveHiveMetastoreLog, HDInsightHiveAndLLAPMetrics, HDInsightHiveTezAppStats, HDInsightHiveAndLLAPLogs: InteractiveHiveHSILog --enable

Następne kroki

  • Last updated on