Dela via

Migreringsguide för Azure Monitor Agent (AMA) för Azure HDInsight-kluster

  • Artikel

Azure HDInsight är en företagsklar, hanterad klustertjänst. Den här tjänsten kör analysramverk med öppen källkod som Apache Spark, Hadoop, HBase och Kafka på Azure. Azure HDInsight är integrerat med andra Azure-tjänster så att kunderna kan hantera sina stordataanalysprogram på ett bättre sätt.

Log Analytics tillhandahåller ett verktyg i Azure-portalen för att redigera och köra loggfrågor. Frågorna kommer från data som samlas in av Azure Monitor-loggar och analyserar deras resultat interaktivt. Kunder kan använda Log Analytics-frågor för att hämta poster som matchar specifika villkor. De kan också använda frågor för att identifiera trender, analysera mönster och ge insikter om sina data.

Azure HDInsight-aktiverad integrering med Log Analytics 2017. HDInsight-kunder antog snabbt den här funktionen för att övervaka sina HDInsight-kluster och köra frågor mot loggarna i klustren. Även om införandet av den här funktionen ökade gav kunderna feedback om integreringen:

  • Kunder kan inte bestämma vilka loggar som ska lagras och det kan bli dyrt att lagra alla loggar.

  • Aktuella HDInsight-schemaloggar följer inte konsekventa namngivningskonventioner och vissa tabeller är repetitiva.

  • Kunder vill ha en inbyggd instrumentpanel för att enkelt övervaka KPI:n för sina HDInsight-kluster.

  • Kunder måste hoppa till Log Analytics för att köra enkla frågor.

Översikt över lösningen

Med tanke på kundfeedback har Azure HDInsight-teamet investerat i integrering med Azure Monitor. Den här integreringen möjliggör:

  • En ny uppsättning tabeller på kundernas Log Analytics-arbetsyta. De nya tabellerna levereras via en ny Log Analytics-pipeline.

  • Högre tillförlitlighet.

  • Snabbare loggleverans.

  • Resursbaserad tabellgruppering och standardfrågor.

  • Förbättrad säkerhet med systemhanterad identitet för Azure Monitor-agentarbetsytor.

  • Automatiserad DCR-resursskapande för befintliga tabeller.

Kommentar

Azure Monitor Agent-integrering (AMA) (inklusive DCR och systemidentitetsautentisering) kan nås i alla regioner där HDInsight är tillgängligt.

Fördelar med Azure Monitor Agent-integrering (AMA)

Det här dokumentet beskriver ändringarna i Azure Monitor-integreringen och innehåller metodtips för att använda de nya tabellerna.

Omdesignade scheman: Schemaformateringen för den nya Azure Monitor-integreringen är bättre organiserad och lätt att förstå. Det finns två tredjedelar färre scheman för att ta bort så mycket tvetydighet som möjligt i de äldre schemana.

Selektiv loggning: Det finns loggar och mått tillgängliga via Log Analytics. För att hjälpa dig att spara på övervakningskostnaderna släpper vi en ny selektiv loggningsfunktion. Använd den här funktionen för att aktivera och inaktivera olika loggar och måttkällor. Med den här funktionen måste du betala för det du använder. Mer information finns i Selektiv loggning.

Loggar klusterportalintegrering: Fönstret Loggar är nytt för HDInsight-klusterportalen. Alla som har åtkomst till klustret kan gå till det här fönstret för att fråga alla tabeller som klusterresursen skickar poster till. Användarna behöver inte längre åtkomst till Log Analytics-arbetsytan för att se posterna för en specifik klusterresurs.

Integrering av Insights-klusterportalen: Fönstret Insikter är också nytt för HDInsight-klusterportalen. När du har aktiverat den nya Azure Monitor-integreringen kan du välja fönstret Insikter och en inaktuell instrumentpanel för loggar och mått som är specifika för klustrets typ fylls automatiskt i åt dig. Dessa instrumentpaneler har uppdaterats från våra tidigare Azure-lösningar. De ger dig djupgående insikter om ditt klusters prestanda och hälsa.

Kundscenarier

I följande avsnitt beskrivs hur kunder kan använda den nya Azure Monitor Agent-integreringen i olika scenarier.

Kommentar

Kunder som använder Azure Monitor Classic fungerar inte längre efter den 31 augusti 2024.
Kunder som använder ny Azure Monitor-upplevelse (förhandsversion) måste migrera till Azure Monitor Agent (AMA) före den 31 januari 2025. Kluster med avbildning 2407260448 med den senaste HDInsight API 2024-08-01-preview har möjlighet att aktivera Azure Monitor Agent-integrering, och detta är standardinställningen för kunder som använder avbildning 2407260448.

Aktivera en ny Azure Monitor Agent-integrering

Kommentar

Du måste ha en Log Analytics-arbetsyta som skapats i en prenumeration som du har åtkomst till innan du aktiverar den nya azure monitor-agentintegreringen. Om du migrerar från Azure Monitor-upplevelsen till Azure Monitor Agent-konfigurationen kan du återanvända din Log Analytics-arbetsyta från ditt befintliga kluster

Du förväntas använda samma Azure-region för Log Analytics-arbetsytan och HDInsight-klustret för smidigare migrering.

Mer information om hur du skapar en Log Analytics-arbetsyta finns i Skapa en Log Analytics-arbetsyta i Azure-portalen.

Metod 1: Aktivera Azure Monitor-agent med hjälp av portalen

Aktivera den nya integreringen genom att gå till klustrets portalsida och rulla nedåt på menyn till vänster tills du når avsnittet Övervakning.

  1. I avsnittet Övervakning väljer du Övervaka integrering.

  2. Välj sedan Aktivera och du kan välja den Log Analytics-arbetsyta som du vill att loggarna ska skickas till.
    Skärmbild som visar Integrering av Azure Monitor.

  3. Aktivera Azure Monitor-agentintegrering med Log Analytics och välj din arbetsyta (befintlig arbetsyta när du migrerar från din tidigare avbildning till en nyare avbildning).

  4. När du har bekräftat valet av arbetsyta påbörjas förhandsvillkorsstegen.

    Skärmbild som visar förhandsvillkor.

  5. Välj Spara när förhandsvillkorsstegen har slutförts.

Metod 2: Aktivera Azure Monitor-agent med Hjälp av Azure PowerShell

  1. Aktivera systemtilldelad MSI

    1. Hämta först klusterinformation för att kontrollera MSI för klustret.

      Get-AzHDInsightCluster -ResourceGroupName $resourceGroup –ClusterName $cluster

    2. Om det här klustret inte har någon MSI aktiverar du direkt systemtilldelade MSI

      Update-AzHDInsightCluster -ResourceGroupName $resourceGroup -ClusterName $cluster -IdentityType "SystemAssigned"

    3. Om det här klustret bara har användartilldelad MSI lägger du till systemtilldelad MSI i identiteten.

      Update-AzHDInsightCluster -ResourceGroupName $resourceGroup -ClusterName $cluster -IdentityType "SystemAssigned,UserAssigned" -IdentityId "$userAssignedIdentityResourceId"

  2. Om det här klustret redan har tilldelats MSI behöver du ingenting.

  3. Skapande av DCR

    Mer information finns i Skapa och redigera regler för datainsamling (DCR).

    # The URL of the DCR template file, change {HDIClusterType} to your cluster type. 

# The valid types are: hadoop, hbase, interactivehive, kafka, llap, spark 

$dcrTemplatejsonUrl = "https://hdiconfigactions.blob.core.windows.net/azuremonitoriningagent/DCR/{HDIClusterType}_dcr_template.json" 

$dcrJsonContent = Invoke-RestMethod -Uri $dcrTemplatejsonUrl 



# Get details of your Log Analytics workspace, if your workspace is in another subscription, you need to change context to the subscription 

$workspaceResourceGroupName = "{yourWorkspaceResourceGroup}" 

$workspaceName = {yourWorkspaceName} 

$workspace = Get-AzOperationalInsightsWorkspace -ResourceGroupName $workspaceResourceGroupName -Name $workspaceName 



# Customize the DCR content 

$dcrJsonContent.properties.destinations.logAnalytics[0].workspaceResourceId = $workspace.ResourceId 

$dcrJsonContent.properties.destinations.logAnalytics[0].workspaceId = $workspace.CustomerId 

$dcrJsonContent.location = $workspace.Location 



# Create the DCR using the customized JSON (DCR needs to be in the same location as Log Analytics workspace).  

# If your HDInsight cluster is in another subscription, you need to change context to your cluster’s subscription 

$dcrName = " {yourDcrName} " 

$resourceGroupName = " {YourDcrResourceGroup} " 

$dcrStr = $dcrJsonContent | ConvertTo-Json -Depth 10 

$dcr = New-AzDataCollectionRule -Name $dcrName -ResourceGroupName $resourceGroupName -JsonString $dcrStr

  4. Association av DCR.

    Mer information finns i Konfigurera Azure Monitor-agenten på Windows-klientenheter.

    # Associate DCR to HDInsight cluster 

$hdinsightClusterResourceId = "/subscriptions/{subscription}/resourceGroups/{resourceGroup}/providers/Microsoft.HDInsight/clusters/{clusterName}" 

$dcrAssociationName = "{yourDcrAssociation}" 

New-AzDataCollectionRuleAssociation -AssociationName $dcrAssociationName -ResourceUri $hdinsightClusterResourceId -DataCollectionRuleId $dcr.Id

  5. Aktivera Azure Monitor-agenten.

    # Enter user information 

$resourceGroup = "<your-resource-group>" 

$cluster = "<your-cluster>" 

$LAW = "<your-Log-Analytics-workspace>" 

# End of user input 


# obtain workspace id for defined Log Analytics workspace 

$WorkspaceId = (Get-AzOperationalInsightsWorkspace -ResourceGroupName $resourceGroup -Name $LAW).CustomerId 



# obtain primary key for defined Log Analytics workspace 

$PrimaryKey = (Get-AzOperationalInsightsWorkspace -ResourceGroupName $resourceGroup -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey 



# Enables monitoring and relevant logs will be sent to the specified workspace. 

Enable-AzHDInsightAzureMonitorAgent -ResourceGroupName $resourceGroup -ClusterName $cluster -WorkspaceId $WorkspaceId -PrimaryKey $PrimaryKey 



# Gets the status of monitoring installation on the cluster. 

Get-AzHDInsightAzureMonitorAgent -ResourceGroupName $resourceGroup -ClusterName $cluster

  6. (Valfritt) inaktivera Azure Monitor-agenten.

    Disable-AzHDInsightAzureMonitorAgent -ResourceGroupName $resourceGroup -ClusterName $cluster

Metod 3: Aktivera Azure Monitor-agent med Hjälp av Azure CLI

  1. Aktivera systemtilldelad MSI.

    1. Hämta först klusterinformation för att kontrollera MSI för klustret.

      az hdinsight show –-resource-group $resourceGroup –name $cluster 

#get access token if needed 

accessToken=$(az account get-access-token --query accessToken -o tsv) 

url="https://management.azure.com/subscriptions/${subscriptionId}/resourcegroups/${resourceGroupName}/providers/Microsoft.HDInsight/clusters/${clusterName}?api-version=2024-08-01-preview"

    2. Om det här klustret inte har någon MSI aktiverar du direkt systemtilldelade MSI via rest-API.

       body="{\"identity\": {\"type\": \"SystemAssigned\"}}" 

 az rest --method patch --url "$url" --body "$body" --headers "Authorization=Bearer $accessToken"

    3. Om det här klustret bara har användartilldelad MSI lägger du till systemtilldelad MSI i identiteten.

      body="{\"identity\": {\"type\": \"SystemAssigned,UserAssigned\", \"userAssignedIdentities\": {$userAssignedIdentityResourceId:{}}}}" 

az rest --method patch --url "$url" --body "$body" --headers "Authorization=Bearer $accessToken"

    4. Om det här klustret redan har tilldelats MSI behöver du ingenting.

  2. Skapande av DCR.

    Mer information finns i Skapa och redigera regler för datainsamling (DCR)

    # The URL of the DCR template file, change {HDIClusterType} to your cluster type. 

# The valid types are: hadoop, hbase, interactivehive, kafka, llap, spark 

$dcrTemplatejsonUrl = "https://hdiconfigactions.blob.core.windows.net/azuremonitoriningagent/DCR/{HDIClusterType}_dcr_template.json?api-version=2020-08-01" 



# Download dcr template to local 

$dcrTemplateLocalFile = "dcrTemplateFileName.json" 

azcopy copy $dcrTemplatejsonUrl $dcrTemplateLocalFile 



# Set subscription 

az account set --subscription "{yourSubscription}" 



# Get details of your Log Analytics workspace 

$workspaceResourceGroupName = "{yourWorkspaceResourceGroup}" 

$workspaceName = "{yourWorkspaceName}" 

$workspace = az monitor log-analytics workspace show --resource-group $workspaceResourceGroupName --workspace-name $workspaceName 



# Customize the DCR content. Below script depends on jq, you need to install it if it’s not available in your environment. 

$workspaceResourceId = $workspace | jq -r '.id' 

$workspaceId = $workspace | jq -r '.customerId' 

$location = $workspace | jq -r '.location' 



# Read the JSON file 

$templateJsonData=cat $dcrTemplateLocalFile 



# Update the JSON fields using jq 

$templateJsonData=echo $templateJsonData | jq --arg workspaceResourceId $workspaceResourceId '.properties.destinations.logAnalytics[0].workspaceResourceId = $workspaceResourceId' 

$templateJsonData=echo $templateJsonData | jq --arg workspaceId $workspaceId '.properties.destinations.logAnalytics[0].workspaceId = $workspaceId' 

$templateJsonData=echo $templateJsonData | jq --arg location $location '.location = $location' 



# Save the updated JSON back to the file 

echo $templateJsonData > $dcrTemplateLocalFile 



# Print the updated JSON 

cat $dcrTemplateLocalFile 



# Create the DCR using the customized JSON (DCR needs to be in the same location as Log Analytics workspace) 

# If your HDInsight cluster is in another subscription, you need to set subscription to your cluster’s subscription 

$dcrName = "{yourDcrName}" 

$resourceGroupName = "{YourDcrResourceGroup}" # Suggest to put DCR in the same resource group as your HDInsight cluster 

$dcr = az monitor data-collection rule create --name $dcrName --location $location --resource-group $resourceGroupName --rule-file $dcrTemplateLocalFile

  3. Association av DCR

    # Associate DCR to HDInsight cluster 

$hdinsightClusterResourceId = "{YourHDInsightClusterResourceId}" 

$dcrAssociationName = "{yourDcrAssociation}" 

$dcrId = $dcr | jq -r '.id' 

az monitor data-collection rule association create --association-name $dcrAssociationName --resource $hdinsightClusterResourceId --data-collection-rule-id $dcrId

  4. Aktivera Azure Monitor-agent

    # set variables 

export resourceGroup=RESOURCEGROUPNAME 

export cluster=CLUSTERNAME 

export LAW=LOGANALYTICSWORKSPACENAME 



# Enable the Azure Monitor Agent logs integration on an HDInsight cluster. 

az hdinsight azure-monitor-agent enable --name $cluster --resource-group $resourceGroup --workspace $LAW 



# Get the status of Azure Monitor Agent logs integration on an HDInsight cluster. 

az hdinsight azure-monitor-agent show --name $cluster --resource-group $resourceGroup

  5. (Valfritt) inaktivera Azure Monitor-agenten.

    az hdinsight azure-monitor-agent disable --name $cluster --resource-group $resourceGroup

Aktivera Azure Monitor Agent-loggning för Spark-kluster

Azure HDInsight Spark-kluster styr AMA-integrering med hjälp av en Spark-konfiguration spark.hdi.ama.enabled, som standard är värdet inställt på false. Den här konfigurationen styr om Spark-specifika loggar kommer upp på Log Analytics-arbetsytan. Om du vill aktivera AMA i dina Spark-kluster och hämta Spark-händelseloggarna på deras LA-arbetsytor måste du utföra ytterligare ett steg för att aktivera AMA för spark-specifika loggar.

Följande steg beskriver hur kunder kan aktivera den nya Azure Monitor Agent-loggningen för sina Spark-arbetsbelastningar.

  1. Gå till Ambari –> Spark Configs.

  2. Gå till Standardinställningar för Anpassad Spark och sök efter konfiguration spark.hdi.ama.enabled. Standardvärdet för den här konfigurationen är falskt. Ange det här värdet som sant.

    Skärmbild som visar hur du aktiverar Azure Monitor Agent-loggning för Spark-kluster.

  3. Klicka på Spara och starta om Spark-tjänster på alla noder.

  4. Få åtkomst till tabellerna i LA-arbetsytan.

Få åtkomst till de nya tabellerna

Det finns två sätt att komma åt de nya tabellerna.

Metod 1

  1. Det första sättet att komma åt de nya tabellerna är via Log Analytics-arbetsytan.

  2. Gå till den Log Analytics-arbetsyta som du valde när du aktiverade integreringen.

  3. Rulla nedåt på menyn till vänster på skärmen och välj Loggar. En loggfrågeredigerare visas med en lista över alla tabeller på arbetsytan.

    1. Om tabellerna grupperas efter Lösning finns de nya HDInsight-tabellerna under avsnittet Logghantering.

    2. Om du grupperar tabellerna efter resurstyp finns tabellerna under avsnittet HDInsight-kluster enligt bilden.

Kommentar

Den här processen beskriver hur loggarna användes i den gamla integreringen. Detta kräver att användaren har åtkomst till arbetsytan.

Metod 2

Det andra sättet att komma åt de nya tabellerna är via åtkomst till klusterportalen.

  1. Gå till portalsidan för klustret och rulla nedåt på menyn till vänster tills du ser avsnittet Övervakning. I det här avsnittet visas fönstret Loggar.

  2. Välj Loggar och en Loggfrågeredigerare visas. Redigeraren innehåller alla loggar som är associerade med klusterresursen. Du skickade loggarna till Log Analytics-arbetsytan när du aktiverade integreringen. Dessa loggar ger resursbaserad åtkomst (RBAC). Med RBAC kan användare som har åtkomst till klustret men inte till arbetsytan se loggarna som är associerade med klustret.

  3. Som jämförelse visar följande skärmbilder den äldre arbetsytevyn för integrering och den nya arbetsytevyn för integrering:

Äldre (klassisk Azure Monitor)-integreringsarbetsytevy

Skärmbild som visar anpassade loggar.

Ny (Azure Monitor-upplevelse/Azure Monitor Agent)-arbetsytevy

Skärmbild som visar en lista över tabeller.

Använda de nya tabellerna

Standardfrågor som ska användas med nya tabeller

I frågeredigeraren för Loggar anger du växlingsknappen till Frågor ovanför tabelllistan. Se till att du grupperar frågorna efter resurstyp och att det inte finns någon filteruppsättning för en annan resurstyp än HDInsight-kluster. Följande bild visar hur resultaten ser ut när de grupperas efter resurstyp och filtreras efter HDInsight-kluster. Välj bara en så visas den i loggfrågeredigeraren. Var noga med att läsa kommentarerna som ingår i frågorna, eftersom vissa kräver att du anger viss information, till exempel ditt klusternamn, för att frågan ska köras korrekt.

Skapa egna frågor

Du kan ange dina egna frågor i loggfrågeredigeraren. Frågor som används i de gamla tabellerna är inte giltiga i de nya tabellerna eftersom många av de nya tabellerna har nya, förfinade scheman. Standardfrågorna är bra referenser för att forma frågor i de nya tabellerna.

Insikter

Insikter är klusterspecifika instrumentpaneler för visualisering som görs med hjälp av Azure-arbetsböcker. Dessa instrumentpaneler ger dig detaljerade diagram och visualiseringar av hur klustret körs. Instrumentpanelerna har avsnitt för varje klustertyp, YARN, systemmått och komponentloggar. Du kan komma åt klustrets instrumentpanel genom att besöka klustrets sida i portalen, rulla ned till avsnittet Övervakning och välja fönstret Insikter. Instrumentpanelen läses in automatiskt om den nya integreringen aktiveras. Tillåt några sekunder för graferna att läsas in när de kör frågor mot loggarna.

Skärmbild som visar instrumentpanelen.

Anpassade Azure-arbetsböcker

Du kan skapa egna Azure-arbetsböcker med anpassade grafer och visualiseringar. På klustrets portalsida rullar du ned till avsnittet Övervakning och väljer fönstret Arbetsböcker i menyn till vänster. Du kan antingen börja använda en tom mall eller använda någon av mallarna under avsnittet HDInsight-kluster. Det finns en mall för varje klustertyp. Mallar är användbara om du vill spara specifika anpassningar som STANDARD HDInsight Insights inte tillhandahåller. Skicka gärna in begäranden om nya funktioner i HDInsight Insights om du känner att de saknar något.

Aviseringar

Du kan lägga till anpassade aviseringar i dina kluster och arbetsytor i Loggfrågeredigeraren. Gå till loggfrågeredigeraren genom att välja fönstret Loggar från antingen klustret eller arbetsyteportalen. Kör en fråga och välj sedan Ny aviseringsregel enligt följande skärmbild. Mer information finns i konfigurera aviseringar.

Skärmbild som visar nya aviseringsregler.

Migrera till den nya Azure Monitor-agentintegreringen

Om du använder den klassiska Azure Monitor-integreringen måste du göra vissa justeringar i de nya tabellformaten när du har växlat till den nya Azure Monitor-integreringen.

Om du vill aktivera den nya Azure Monitor-integreringen följer du stegen som beskrivs i avsnittet Aktivera en ny Azure Monitor Agent-integrering .

Köra frågor i Log Analytics

Eftersom det nya tabellformatet skiljer sig från det tidigare måste dina frågor omarbetas så att du kan använda våra nya tabeller. När du har aktiverat den nya Azure Monitor-integreringen kan du bläddra bland tabellerna och schemana för att identifiera de fält som används i dina gamla frågor.

Vi tillhandahåller en mappningstabell mellan den gamla tabellen till den nya tabellen för att hjälpa dig att snabbt hitta de nya fält som du behöver använda för att migrera dina instrumentpaneler och frågor.

Standardfrågor: Vi har skapat standardfrågor som visar hur du använder de nya tabellerna för vanliga situationer. Standardfrågorna visar också vilken information som är tillgänglig i varje tabell. Du kan komma åt standardfrågorna genom att följa anvisningarna i avsnittet Standardfrågor som ska användas med nya tabeller i den här artikeln.

Uppdatera instrumentpaneler för HDInsight-kluster

Om du skapar flera instrumentpaneler för att övervaka dina HDInsight-kluster måste du justera frågan bakom tabellen när du aktiverar den nya Azure Monitor-integreringen. Tabellnamnet eller fältnamnet kan ändras i den nya integreringen, men all information som du har i den gamla integreringen ingår.

Referera till mappningstabellen mellan den gamla tabellen/schemat till den nya tabellen/schemat för att uppdatera frågan bakom instrumentpanelerna

Färdiga instrumentpaneler

Vi har också förbättrat de färdiga instrumentpanelerna både på klusternivå. Det finns en knapp längst upp till höger i varje diagram som gör att du kan se den underliggande frågan som genererar informationen. Diagrammet är ett bra sätt att bekanta dig med hur de nya tabellerna kan efterfrågas effektivt.

Tidslinje för lansering och support

  • Den klassiska Azure Monitoring-integreringen är inte tillgänglig efter den 15 oktober 2021. Du kan inte aktivera klassisk Azure Monitoring-integrering efter det datumet.

  • Integreringsinmatningen för klassisk Azure Monitoring fungerar inte efter den 31 augusti 2024.

  • HDInsight-kluster med Azure Monitor-integrering (förhandsversion) stöds inte efter den 1 februari 2025.

  • Befintlig Azure Monitor-integrering (förhandsversion) fortsätter att fungera fram till den 31 januari 2025. Det kommer att finnas begränsat stöd för Azure Monitor-integrering (förhandsversion).

    • Om lösningen kräver avbildningsändring bör kunderna gå över till den nya integreringen.

    • Microsoft kommer inte att korrigera Azure Monitor-integreringskluster (förhandsversion) förutom kritiska säkerhetsproblem.

Bilaga: Tabellmappning

Information om loggtabellmappningar från den klassiska Azure Monitor-integreringen till den nya finns i Loggtabellmappning.

Nästa steg