Udostępnij za pośrednictwem

Monitorowanie klastrów usługi HDInsight za pomocą dzienników usługi Azure Monitor

  • Artykuł

Dowiedz się, jak włączyć dzienniki usługi Azure Monitor w celu monitorowania operacji klastra Hadoop w usłudze HDInsight. I jak dodać rozwiązanie do monitorowania usługi HDInsight.

Dzienniki usługi Azure Monitor to usługa Azure Monitor, która monitoruje środowiska chmurowe i lokalne. Monitorowanie polega na utrzymaniu ich dostępności i wydajności. Zbiera dane generowane przez zasoby w środowiskach lokalnych i w chmurze oraz z innych narzędzi do monitorowania. Dane są używane do zapewniania analizy w wielu źródłach.

Uwaga

Ten artykuł został niedawno zaktualizowany, aby użyć terminu Dzienniki usługi Azure Monitor zamiast usługi Log Analytics. Dane dziennika są nadal przechowywane w obszarze roboczym usługi Log Analytics i są nadal zbierane i analizowane przez tę samą usługę Log Analytics. Aktualizujemy terminologię, aby lepiej odzwierciedlać rolę dzienników w usłudze Azure Monitor. Aby uzyskać szczegółowe informacje, zobacz Zmiany terminologii usługi Azure Monitor.

Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto.

Ważne

Środowisko usługi Azure Monitor (wersja zapoznawcza) w usłudze HDInsight zostanie wycofane do 1 lutego 2025 r. Aby uzyskać więcej informacji, zobacz Wycofywanie środowiska usługi Azure Monitor (wersja zapoznawcza) w usłudze HDInsight zostanie wycofane do 1 lutego 2025 r.

Wymagania wstępne

  • Obszar roboczy usługi Log Analytics. Ten obszar roboczy można traktować jako unikatowe środowisko dzienników usługi Azure Monitor z własnym repozytorium danych, źródłami danych i rozwiązaniami. Aby uzyskać instrukcje, zobacz Tworzenie obszaru roboczego usługi Log Analytics.

  • Klaster usługi Azure HDInsight. Obecnie można używać dzienników usługi Azure Monitor z następującymi typami klastrów usługi HDInsight:

    • Hadoop
    • HBase
    • Zapytanie interakcyjne
    • Kafka
    • platforma Spark

    Aby uzyskać instrukcje dotyczące tworzenia klastra usługi HDInsight, zobacz Rozpoczynanie pracy z usługą Azure HDInsight.

  • Jeśli używasz programu PowerShell, potrzebujesz modułu Az. Upewnij się, że masz najnowszą wersję. W razie potrzeby uruchom polecenie Update-Module -Name Az.

  • Jeśli chcesz używać interfejsu wiersza polecenia platformy Azure i nie zainstalowano go jeszcze, zobacz Instalowanie interfejsu wiersza polecenia platformy Azure.

Uwaga

Nowe środowisko usługi Azure Monitor jest dostępne tylko we wszystkich regionach jako funkcja w wersji zapoznawczej. Zaleca się umieszczenie klastra usługi HDInsight i obszaru roboczego usługi Log Analytics w tym samym regionie w celu uzyskania lepszej wydajności.

Włączanie usługi Azure Monitor przy użyciu portalu

W tej sekcji skonfigurujesz istniejący klaster usługi HDInsight Hadoop, aby używać obszaru roboczego usługi Azure Log Analytics do monitorowania zadań, dzienników debugowania itd.

  1. W witrynie Azure Portal wybierz klaster. Klaster zostanie otwarty na nowej stronie portalu.

  2. Z lewej strony w obszarze Monitorowanie wybierz pozycję Monitorowanie integracji.

  3. W widoku głównym w obszarze Azure Monitor for HDInsight Clusters Integration (Integracja klastrów usługi HDInsight) wybierz pozycję Włącz.

  4. Z listy rozwijanej Wybierz obszar roboczy wybierz istniejący obszar roboczy usługi Log Analytics.

  5. Wybierz pozycję Zapisz. Zapisanie ustawienia zajmuje kilka minut.

    Włącz monitorowanie klastrów usługi HDInsight.

Jeśli chcesz wyłączyć usługę Azure Monitor, możesz to zrobić w tym portalu.

Włączanie usługi Azure Monitor przy użyciu programu Azure PowerShell

Dzienniki usługi Azure Monitor można włączyć za pomocą polecenia cmdlet Enable-Az-AzHDInsightAzureMonitor modułu Az programu Azure PowerShell.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Aby wyłączyć, użyj polecenia cmdlet Disable-AzHDInsightAzureMonitor :

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Włączanie usługi Azure Monitor przy użyciu interfejsu wiersza polecenia platformy Azure

Dzienniki usługi Azure Monitor można włączyć za pomocą polecenia interfejsu wiersza polecenia az hdinsight azure-monitor enable platformy Azure.

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

Aby wyłączyć polecenie , użyj az hdinsight monitor disable polecenia .

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

Monitorowanie pojedynczego klastra przy użyciu gotowej usługi HDInsight Insights

Usługa HDInsight udostępnia skoroszyt specyficzny dla obciążenia, który ułatwia szybkie uzyskiwanie szczegółowych informacji. Ten skoroszyt zbiera ważne metryki wydajności z klastra usługi HDInsight i udostępnia wizualizacje i pulpity nawigacyjne dla najbardziej typowych scenariuszy. Szczegółowe informacje gotowe zapewniają pełny widok pojedynczego klastra usługi HDInsight, w tym wykorzystania zasobów i stanu aplikacji.

Dostępne skoroszyty usługi HDInsight:

  • Skoroszyt platformy Spark w usłudze HDInsight
  • Skoroszyt platformy Kafka usługi HDInsight
  • Skoroszyt HBase usługi HDInsight
  • Skoroszyt hive/LLAP usługi HDInsight

Zrzut ekranu przedstawiający skoroszyt platformy Spark Zrzut ekranu skoroszytu platformy Spark.

Konfigurowanie liczników wydajności

Usługa Azure Monitor obsługuje zbieranie i analizowanie metryk wydajności dla węzłów w klastrze. Aby uzyskać więcej informacji, zobacz Źródła danych wydajności systemu Linux w usłudze Azure Monitor.

Inspekcja klastra

Usługa HDInsight obsługuje inspekcję klastra za pomocą dzienników usługi Azure Monitor, importując następujące typy dzienników:

  • log_gateway_audit_CL — ta tabela zawiera dzienniki inspekcji z węzłów bramy klastra, które pokazują pomyślne i nieudane próby logowania.
  • log_auth_CL — ta tabela zawiera dzienniki SSH z pomyślnymi i nieudanymi próbami logowania.
  • log_ambari_audit_CL — ta tabela zawiera dzienniki inspekcji z systemu Ambari.
  • ranger_audit_logs_CL — ta tabela zawiera dzienniki inspekcji z platformy Apache Ranger w klastrach ESP.

Aby uzyskać mapowania tabel dzienników z klasycznej integracji usługi Azure Monitor z nową tabelą, zobacz Mapowanie tabeli dzienników.

Aktualizowanie agenta usługi Log Analytics (OMS) używanego przez integrację usługi HDInsight z usługą Azure Monitor

Gdy integracja usługi Azure Monitor jest włączona w klastrze, agent usługi Log Analytics lub agent pakietu Operations Management Suite (OMS) jest instalowany w klastrze i nie jest aktualizowany, chyba że wyłączysz i ponownie włączysz integrację z usługą Azure Monitor. Wykonaj poniższe kroki, jeśli musisz zaktualizować agenta pakietu OMS w klastrze. Jeśli jesteś za zaporą, może być konieczne ukończenie wymagań wstępnych dla klastrów za zaporą przed wykonaniem tych kroków.

  1. W witrynie Azure Portal wybierz klaster. Klaster zostanie otwarty na nowej stronie portalu.
  2. Po lewej stronie w obszarze Monitorowanie wybierz pozycję Azure Monitor.
  3. Zanotuj nazwę bieżącego obszaru roboczego usługi Log Analytics.
  4. W widoku głównym w obszarze Integracja z usługą Azure Monitor wyłącz przełącznik, a następnie wybierz pozycję Zapisz.
  5. Po zapisaniu ustawienia włącz przełącznik Integracja usługi Azure Monitor i upewnij się, że wybrano ten sam obszar roboczy usługi Log Analytics, a następnie wybierz pozycję Zapisz.

Jeśli w klastrze jest włączona integracja z usługą Azure Monitor, aktualizacja agenta pakietu OMS spowoduje również zaktualizowanie wersji infrastruktury OMI (Open Management Infrastructure). Możesz sprawdzić wersję OMI w klastrze, uruchamiając następujące polecenie:

 sudo /opt/omi/bin/omiserver –version

Następne kroki