Log Analytics-migratiehandleiding voor Azure HDInsight-clusters

Azure HDInsight is een service voor beheerde clusters die gereed is voor ondernemingen. Deze service voert opensource-analyseframeworks uit, zoals Apache Spark, Hadoop, HBase en Kafka in Azure. Azure HDInsight is geïntegreerd met andere Azure-services, zodat klanten hun big data-analysetoepassingen beter kunnen beheren.

Log Analytics biedt een hulpprogramma in Azure Portal voor het bewerken en uitvoeren van logboekquery's. De query's zijn afkomstig van gegevens die zijn verzameld door Azure Monitor-logboeken en analyseren hun resultaten interactief. Klanten kunnen Log Analytics-query's gebruiken om records op te halen die voldoen aan specifieke criteria. Ze kunnen ook query's gebruiken om trends te identificeren, patronen te analyseren en inzicht te geven in hun gegevens.

Integratie met Azure HDInsight met Log Analytics in 2017. HDInsight-klanten hebben deze functie snel gebruikt om hun HDInsight-clusters te bewaken en query's uit te voeren op de logboeken in de clusters. Hoewel de acceptatie van deze functie is toegenomen, hebben klanten feedback gegeven over de integratie:

• Klanten kunnen niet bepalen welke logboeken moeten worden opgeslagen en alle logboeken kunnen duur worden.
• Huidige HDInsight-schemalogboeken volgen geen consistente naamconventies en sommige tabellen zijn herhalend.
• Klanten willen een out-of-box dashboard om eenvoudig de KPI van hun HDInsight-clusters te bewaken.
• Klanten moeten naar Log Analytics gaan om eenvoudige query's uit te voeren.

Overzicht van de oplossing

Gezien feedback van klanten heeft het Azure HDInsight-team geïnvesteerd in integratie met Azure Monitor. Deze integratie maakt het volgende mogelijk:

• Een nieuwe set tabellen in de Log Analytics-werkruimte van klanten. De nieuwe tabellen worden geleverd via een nieuwe Log Analytics-pijplijn.
• Hogere betrouwbaarheid
• Snellere levering van logboeken
• Tabelgroepering op basis van resources en standaardquery's

Notitie

Nieuwe Azure Montitor-integratie bevindt zich in openbare preview in alle regio's waar HDInsight beschikbaar is.

Voordelen van de nieuwe Azure Monitor-integratie

Dit document bevat een overzicht van de wijzigingen in de Integratie van Azure Monitor en bevat aanbevolen procedures voor het gebruik van de nieuwe tabellen.

Opnieuw ontworpen schema's: de schemaopmaak voor de nieuwe Azure Monitor-integratie is beter georganiseerd en gemakkelijk te begrijpen. Er zijn twee derde minder schema's om zoveel mogelijk dubbelzinnigheid in de verouderde schema's te verwijderen.

Selectieve logboekregistratie: er zijn logboeken en metrische gegevens beschikbaar via Log Analytics. Om u te helpen besparen op de bewakingskosten, brengen we een nieuwe functie voor selectieve logboekregistratie uit. Gebruik deze functie om verschillende logboeken en metrische bronnen in en uit te schakelen. Met deze functie hoeft u alleen te betalen voor wat u gebruikt. Zie Selectief vastleggen voor meer informatie

Integratie van clusterportallogboeken: het deelvenster Logboeken is nieuw voor de HDInsight-clusterportal. Iedereen met toegang tot het cluster kan naar dit deelvenster gaan om een query uit te voeren op elke tabel waarnaar de clusterresource records verzendt. Gebruikers hebben geen toegang meer nodig tot de Log Analytics-werkruimte om de records voor een specifieke clusterresource te zien.

Integratie van de Insights-clusterportal: het deelvenster Inzichten is ook nieuw voor de HDInsight-clusterportal. Nadat u de nieuwe Azure Monitor-integratie hebt ingeschakeld, kunt u het deelvenster Inzichten selecteren en een out-of-box-logboeken en metrische gegevensdashboard dat specifiek is voor het type cluster, automatisch voor u ingevuld. Deze dashboards zijn vernieuwd vanuit onze vorige Azure-oplossingen. Ze geven u diep inzicht in de prestaties en status van uw cluster.

Klantscenario's

In de volgende secties wordt beschreven hoe klanten de nieuwe Azure Monitor-integratie in verschillende scenario's kunnen gebruiken. In de sectie Een nieuwe Azure Monitor-integratie activeren wordt beschreven hoe u de nieuwe Azure Monitor-integratie activeert en gebruikt. De sectie Migreren van azure Monitor Classic naar de nieuwe sectie Azure Monitor-integratie bevat aanvullende informatie voor gebruikers die afhankelijk zijn van de oude Azure Monitor-integratie.

Notitie

Alleen clusters die eind september 2020 zijn gemaakt en daarna komen in aanmerking voor de nieuwe Azure Monitoring-integratie.

Een nieuwe Azure Monitor-integratie activeren

Notitie

U moet een Log Analytics-werkruimte hebben gemaakt in een abonnement waartoe u toegang hebt voordat u de nieuwe integratie inschakelt. Zie Een Log Analytics-werkruimte maken in Azure Portal voor meer informatie over het maken van een Log Analytics-werkruimte.

Activeer de nieuwe integratie door naar de portalpagina van uw cluster te gaan en omlaag te schuiven in het menu aan de linkerkant totdat u bij de sectie Bewaking bent . Selecteer Integratie bewaken in de sectie Bewaking. Selecteer vervolgens Inschakelen en u kunt de Log Analytics-werkruimte kiezen waarnaar u uw logboeken wilt verzenden. Selecteer Opslaan zodra u uw werkruimte hebt gekozen.

Toegang tot de nieuwe tabellen

Er zijn twee manieren om toegang te krijgen tot de nieuwe tabellen.

Benadering 1:

De eerste manier om toegang te krijgen tot de nieuwe tabellen is via de Log Analytics-werkruimte.

1. Ga naar de Log Analytics-werkruimte die u hebt geselecteerd toen u de integratie hebt ingeschakeld.
2. Schuif omlaag in het menu aan de linkerkant van het scherm en selecteer Logboeken. Er wordt een logboekquery-editor weergegeven met een lijst met alle tabellen in de werkruimte.
3. Als de tabellen zijn gegroepeerd op oplossing, bevinden de nieuwe HDI-tabellen zich onder de sectie Logboekbeheer .
4. Als u de tabellen groeperen op resourcetype, bevinden de tabellen zich onder de sectie HDInsight-clusters , zoals wordt weergegeven in de onderstaande afbeelding.

Notitie

In dit proces wordt beschreven hoe de logboeken zijn geopend in de oude integratie. Hiervoor moet de gebruiker toegang hebben tot de werkruimte.

Benadering 2:

De tweede manier om toegang te krijgen tot de nieuwe tabellen is via toegang tot de clusterportal.

1. Navigeer naar de portalpagina van uw cluster en schuif omlaag in het menu aan de linkerkant totdat u de sectie Bewaking ziet. In deze sectie ziet u het deelvenster Logboeken .
2. Selecteer Logboeken en er wordt een logboekquery-editor weergegeven. De editor bevat alle logboeken die zijn gekoppeld aan de clusterresource. U hebt de logboeken naar de Log Analytics-werkruimte verzonden wanneer u integratie hebt ingeschakeld. Deze logboeken bieden toegang op basis van resources (RBAC). Met RBAC kunnen gebruikers die toegang hebben tot het cluster, maar niet tot de werkruimte, de logboeken zien die aan het cluster zijn gekoppeld.

Ter vergelijking: in de volgende schermafbeeldingen ziet u de weergave van de verouderde integratiewerkruimte en de nieuwe weergave voor de integratiewerkruimte:

Weergave verouderde integratiewerkruimte

Weergave nieuwe integratiewerkruimte

De nieuwe tabellen gebruiken

Deze integraties kunnen u helpen de nieuwe tabellen te gebruiken:

Standaardquery's voor gebruik met nieuwe tabellen

Stel in de logboekquery-editor de wisselknop in op Query's boven de lijst met tabellen. Zorg ervoor dat u de query's groepeert op resourcetype en dat er geen filter is ingesteld voor een ander resourcetype dan HDInsight-clusters. In de volgende afbeelding ziet u hoe de resultaten eruitzien wanneer ze zijn gegroepeerd op resourcetype en gefilterd op HDInsight-clusters. Selecteer er een en deze wordt weergegeven in de logboekquery-editor. Lees de opmerkingen die zijn opgenomen in de query's, omdat voor sommige gegevens, zoals de clusternaam, moet worden ingevoerd om de query correct uit te voeren.

Uw eigen query's maken

U kunt uw eigen query's invoeren in de logboekquery-editor. Query's die in de oude tabellen worden gebruikt, zijn niet geldig voor de nieuwe tabellen, omdat veel van de nieuwe tabellen nieuwe, verfijnde schema's hebben. De standaardquery's zijn geweldige verwijzingen voor het vormgeven van query's in de nieuwe tabellen.

Inzichten

Inzichten zijn clusterspecifieke visualisatiedashboards die zijn gemaakt met behulp van Azure Workbooks. Deze dashboards bieden gedetailleerde grafieken en visualisaties over hoe uw cluster wordt uitgevoerd. De dashboards bevatten secties voor elk clustertype, YARN, metrische systeemgegevens en onderdeellogboeken. U hebt toegang tot het dashboard van uw cluster door naar de pagina van uw cluster te gaan in de portal, omlaag te schuiven naar de sectie Bewaking en het deelvenster Inzichten te selecteren. Het dashboard wordt automatisch geladen als u de nieuwe integratie hebt ingeschakeld. Wacht enkele seconden totdat de grafieken worden geladen terwijl ze query's uitvoeren op de logboeken.

Aangepaste Azure-werkmappen

U kunt uw eigen Azure-werkmappen maken met aangepaste grafieken en visualisaties. Schuif op de portalpagina van uw cluster omlaag naar de sectie Bewaking en selecteer het deelvenster Werkmappen in het menu aan de linkerkant. U kunt een lege sjabloon gaan gebruiken of een van de sjablonen in de sectie HDInsight-clusters gebruiken. Er is een sjabloon voor elk clustertype. Sjablonen zijn handig als u specifieke aanpassingen wilt opslaan die de standaard HDInsight Insights niet biedt. U kunt aanvragen voor nieuwe functies in HDInsight Insights verzenden als u denkt dat ze iets missen.

Waarschuwingen

U kunt aangepaste waarschuwingen toevoegen aan uw clusters en werkruimten in de logboekquery-editor. Ga naar de logboekquery-editor door het deelvenster Logboeken te selecteren in uw cluster- of werkruimteportal. Voer een query uit en selecteer vervolgens Nieuwe waarschuwingsregel , zoals wordt weergegeven in de volgende schermopname. Lees voor meer informatie over het configureren van waarschuwingen.

Migreren naar de nieuwe Azure Monitor-integratie

Als u de klassieke Azure Monitor-integratie gebruikt, moet u enkele aanpassingen aanbrengen in de nieuwe tabelindelingen nadat u overschakelt naar de nieuwe Azure Monitor-integratie.

Als u de nieuwe Azure Monitor-integratie wilt inschakelen, volgt u de stappen die worden beschreven in de sectie Een nieuwe Azure Monitor-integratie activeren.

Query's uitvoeren in Log Analytics

Omdat de nieuwe tabelindeling verschilt van de vorige, moeten uw query's opnieuw worden bewerkt, zodat u onze nieuwe tabellen kunt gebruiken. Zodra u de nieuwe Azure Monitor-integratie hebt ingeschakeld, kunt u door de tabellen en schema's bladeren om de velden te identificeren die worden gebruikt in uw oude query's.

We bieden een toewijzingstabel tussen de oude tabel en de nieuwe tabel, zodat u snel de nieuwe velden kunt vinden die u moet gebruiken om uw dashboards en query's te migreren.

Standaardquery's: we hebben standaardquery's gemaakt die laten zien hoe u de nieuwe tabellen kunt gebruiken voor veelvoorkomende situaties. De standaardquery's laten ook zien welke informatie beschikbaar is in elke tabel. U kunt toegang krijgen tot de standaardquery's door de instructies in de standaardquery's te volgen voor gebruik met nieuwe tabellen in dit artikel.

Dashboards voor HDInsight-clusters bijwerken

Als u meerdere dashboards hebt gebouwd om uw HDInsight-clusters te bewaken, moet u de query achter de tabel aanpassen zodra u de nieuwe Azure Monitor-integratie inschakelt. De tabelnaam of de veldnaam kan veranderen in de nieuwe integratie, maar alle informatie die u in de oude integratie hebt, is opgenomen.

Raadpleeg de toewijzingstabel tussen de oude tabel/het oude schema naar de nieuwe tabel/het nieuwe schema om de query achter de dashboards bij te werken.

Out-of-box dashboards

We hebben ook de out-of-box dashboards verbeterd op clusterniveau. Rechtsboven in elke grafiek bevindt zich een knop waarmee u de onderliggende query kunt zien waarmee de informatie wordt geproduceerd. De grafiek is een uitstekende manier om vertrouwd te raken met hoe de nieuwe tabellen effectief kunnen worden opgevraagd.

Beide integraties inschakelen om de migratie te versnellen

U kunt zowel de klassieke als de nieuwe Azure Monitor-integraties tegelijkertijd activeren op een cluster dat in aanmerking komt voor beide integraties om snel naar de nieuwe Azure Monitor-integratie te migreren. De nieuwe integratie is beschikbaar voor alle clusters die zijn gemaakt na medio september 2020.

Op deze manier kunt u eenvoudig een vergelijking naast elkaar uitvoeren voor de query's die u gebruikt.

De klassieke integratie inschakelen

Als u een cluster gebruikt dat is gemaakt na medio september 2020, ziet u de nieuwe portalervaring in de portal van uw cluster. Als u de nieuwe pijplijn wilt inschakelen, volgt u de stappen die worden beschreven in de sectie Een nieuwe Azure Monitor-integratie activeren. Als u de klassieke integratie op dit cluster wilt activeren, gaat u naar de portalpagina van uw cluster. Selecteer het deelvenster Integratie bewaken in de sectie Bewaking van het menu aan de linkerkant van de clusterportalpagina. Selecteer Integratie van Azure Monitor voor HDInsight-clusters configureren (klassiek). Er wordt een zijcontext weergegeven met een wisselknop die u kunt gebruiken om de klassieke Azure Monitoring-integratie in en uit te schakelen.

Notitie

U ziet geen logboeken of metrische gegevens van de klassieke integratie via de logboeken en inzichtenpagina van uw clusterportal. Alleen de nieuwe integratielogboeken en metrische gegevens zijn aanwezig op deze locaties.

Het maken van nieuwe clusters met klassieke Azure Monitor-integratie is na 1 januari 2023 niet beschikbaar.

Tijdlijn voor release en ondersteuning

• Klassieke Azure Monitoring-integratie is na 15 oktober 2021 niet beschikbaar. U kunt na die datum geen klassieke Azure Monitoring-integratie inschakelen.
• Bestaande klassieke Azure-bewakingsintegraties blijven werken. Er is beperkte ondersteuning voor de klassieke Azure Monitoring-integratie.
  • Problemen worden onderzocht zodra klanten het ondersteuningsticket indienen.
  • Als voor de oplossing installatiekopieën moeten worden gewijzigd, moeten klanten overstappen op de nieuwe integratie.
  • We patchen niet de klassieke Azure Monitoring-integratieclusters, met uitzondering van kritieke beveiligingsproblemen.

Bijlage: Tabeltoewijzing

Zie Logboektabeltoewijzingen voor de logboektabeltoewijzingen van de klassieke Azure Monitor-integratie met de nieuwe tabel.

Gerelateerde inhoud

Een query uitvoeren voor Azure Monitor-logboeken om HDInsight-clusters te bewaken