Monitorování clusterů HDInsight s využitím protokolů služby Azure Monitor

  • Článek

Zjistěte, jak povolit protokoly Azure Monitoru k monitorování operací clusteru Hadoop ve službě HDInsight. A jak přidat řešení pro monitorování HDInsight.

Protokoly Azure Monitoru jsou služba Azure Monitor, která monitoruje vaše cloudová a místní prostředí. Monitorování je udržovat jejich dostupnost a výkon. Shromažďuje data generovaná prostředky ve vašem cloudu, v místním prostředí a z jiných monitorovacích nástrojů. Data se používají k poskytování analýzy napříč několika zdroji.

Poznámka:

Tento článek byl nedávno aktualizován tak, aby místo Log Analytics používal termín protokoly služby Azure Monitor. Data protokolů jsou stále uložená v pracovním prostoru služby Log Analytics a stále se shromažďují a analyzují stejnou službou Log Analytics. Aktualizujeme terminologii tak, aby lépe odrážela roli protokolů ve službě Azure Monitor. Podrobnosti najdete v tématu Změny terminologie služby Azure Monitor.

Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet.

Důležité

Nové prostředí Azure Monitoru je dostupné ve všech oblastech jako funkce Preview.

Požadavky

  • Pracovní prostor služby Log Analytics. Tento pracovní prostor si můžete představit jako jedinečné prostředí protokolů služby Azure Monitor s vlastním úložištěm dat, zdroji dat a řešeními. Pokyny najdete v tématu Vytvoření pracovního prostoru služby Log Analytics.

  • Cluster Azure HDInsight. V současné době můžete použít protokoly služby Azure Monitor s následujícími typy clusterů HDInsight:

    • Hadoop
    • HBase
    • Interaktivní dotaz
    • Kafka
    • Spark

    Pokyny k vytvoření clusteru HDInsight najdete v tématu Začínáme se službou Azure HDInsight.

  • Pokud používáte PowerShell, budete potřebovat modul Az. Ujistěte se, že máte nejnovější verzi. V případě potřeby spusťte Update-Module -Name Az.

  • Pokud chcete používat Azure CLI a ještě jste ho nenainstalovali, přečtěte si téma Instalace Azure CLI.

Poznámka:

Nové prostředí Azure Monitoru je dostupné jenom ve všech oblastech jako funkce Preview. Pro zajištění lepšího výkonu doporučujeme umístit cluster HDInsight i pracovní prostor služby Log Analytics do stejné oblasti.

Povolení služby Azure Monitor pomocí portálu

V této části nakonfigurujete existující cluster HDInsight Hadoop tak, aby používal pracovní prostor služby Azure Log Analytics k monitorování úloh, ladění protokolů atd.

  1. Na webu Azure Portal vyberte váš cluster. Cluster se otevře na nové stránce portálu.

  2. Na levé straně v části Monitorování vyberte Monitorovat integraci.

  3. V hlavním zobrazení v části Azure Monitor pro integraci clusterů HDInsight vyberte Povolit.

  4. V rozevíracím seznamu Vybrat pracovní prostor vyberte existující pracovní prostor služby Log Analytics.

  5. Zvolte Uložit. Uložení nastavení chvíli trvá.

    Enable monitoring for HDInsight clusters.

Pokud chcete Azure Monitor zakázat, můžete to udělat na tomto portálu.

Povolení služby Azure Monitor pomocí Azure PowerShellu

Protokoly azure Monitoru můžete povolit pomocí modulu Az Azure PowerShellu Enable-AzHDInsightAzureMonitor .

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

K zakázání použijte rutinu Disable-AzHDInsightAzureMonitor :

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Povolení služby Azure Monitor pomocí Azure CLI

Protokoly azure Monitoru můžete povolit pomocí příkazu Azure CLI az hdinsight azure-monitor enable .

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

K zakázání použijte az hdinsight monitor disable příkaz.

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

Použití předefinovaných Přehledy SLUŽBY HDInsight k monitorování jednoho clusteru

HDInsight poskytuje sešit specifický pro úlohy, který vám pomůže rychle získat přehledy. Tento sešit shromažďuje důležité metriky výkonu z clusteru HDInsight a poskytuje vizualizace a řídicí panely pro nejběžnější scénáře. Podrobné přehledy poskytují kompletní přehled o jednom clusteru HDInsight, včetně využití prostředků a stavu aplikace.

Dostupné sešity HDInsight:

  • HDInsight Spark Workbook
  • Sešit HDInsight Kafka
  • Sešit HDInsight HBase
  • Sešit HIVe /LLAP služby HDInsight

Snímek obrazovky se sešitem Sparku Spark workbook screenshot.

Konfigurace čítačů výkonu

Azure Monitor podporuje shromažďování a analýzu metrik výkonu pro uzly ve vašem clusteru. Další informace najdete v tématu Zdroje dat o výkonu Linuxu ve službě Azure Monitor.

Auditování clusteru

HDInsight podporuje auditování clusteru s protokoly služby Azure Monitor importováním následujících typů protokolů:

  • log_gateway_audit_CL – Tato tabulka poskytuje protokoly auditu z uzlů brány clusteru, které zobrazují úspěšné a neúspěšné pokusy o přihlášení.
  • log_auth_CL – Tato tabulka obsahuje protokoly SSH s úspěšnými a neúspěšnými pokusy o přihlášení.
  • log_ambari_audit_CL – tato tabulka poskytuje protokoly auditu z Ambari.
  • log_ranger_audti_CL – tato tabulka poskytuje protokoly auditu z Apache Rangeru v clusterech ESP.

Aktualizace agenta Log Analytics (OMS) používaného integrací služby HDInsight Azure Monitor

Pokud je v clusteru povolená integrace služby Azure Monitor, nainstaluje se do clusteru agent Log Analytics nebo agent OMS (Operations Management Suite) a neaktualizuje se, pokud integraci služby Azure Monitor nezakážete a znovu nepovolíte. Pokud potřebujete aktualizovat agenta OMS v clusteru, proveďte následující kroky. Pokud se nacházíte za bránou firewall, možná budete muset před provedením těchto kroků dokončit požadavky pro clustery za bránou firewall .

  1. Na webu Azure Portal vyberte váš cluster. Cluster se otevře na nové stránce portálu.
  2. Vlevo v části Monitorování vyberte Azure Monitor.
  3. Poznamenejte si název vašeho aktuálního pracovního prostoru služby Log Analytics.
  4. V hlavním zobrazení vypněte přepínač u možnosti Integrace služby Azure Monitor a pak vyberte Uložit.
  5. Po uložení nastavení znovu povolte přepínač integrace služby Azure Monitor a ujistěte se, že je vybraný stejný pracovní prostor služby Log Analytics, a pak vyberte Uložit.

Pokud máte v clusteru povolenou integraci služby Azure Monitor, aktualizace agenta OMS také aktualizuje verzi OMI (Open Management Infrastructure). Verzi OMI v clusteru můžete zkontrolovat spuštěním následujícího příkazu:

 sudo /opt/omi/bin/omiserver –version

Další kroky