Een hulpprogramma voor gegevensopname selecteren

Nadat u een doelplatform voor uw historische gegevens hebt geselecteerd, is de volgende stap het selecteren van een hulpprogramma om uw gegevens over te dragen.

In dit artikel wordt een set verschillende hulpprogramma's beschreven die worden gebruikt om uw historische gegevens over te dragen naar het geselecteerde doelplatform. Deze tabel bevat de hulpprogramma's die beschikbaar zijn voor elk doelplatform en algemene hulpprogramma's om u te helpen bij het opnameproces.

Basislogboeken/archief van Azure Monitor	Azure Data Explorer	Azure Blob-opslag	Algemene hulpprogramma's
• Aangepast hulpprogramma voor het opnemen van logboeken in Azure Monitor • Directe API	• Lichtst • Logstash	• Azure Data Factory of Azure Synapse • AzCopy	• Azure Data Box • SIEM-gegevensmigratieversneller

Basislogboeken/archief van Azure Monitor

Voordat u gegevens opneemt in Basislogboeken of Archief van Azure Monitor, moet u ervoor zorgen dat de tabel waarnaar u schrijft, is geconfigureerd als basislogboeken. Bekijk het aangepaste logboekopnamehulpprogramma van Azure Monitor en de directe API-methode voor Basislogboeken van Azure Monitor.

Aangepast logboekopnamehulpprogramma van Azure Monitor

Het aangepaste hulpprogramma voor logboekopname is een PowerShell-script waarmee aangepaste gegevens worden verzonden naar een Werkruimte van Azure Monitor-logboeken. U kunt het script laten verwijzen naar de map waarin al uw logboekbestanden zich bevinden en het script pusht de bestanden naar die map. Het script accepteert een CSV- of JSON-indeling voor logboekbestanden.

Directe API

Met deze optie neemt u uw aangepaste logboeken op in Azure Monitor-logboeken. U neemt de logboeken op met een PowerShell-script dat gebruikmaakt van een REST API. U kunt ook elke andere programmeertaal gebruiken om de opname uit te voeren en u kunt andere Azure-services gebruiken om de rekenlaag te abstraheren, zoals Azure Functions of Azure Logic Apps.

Azure Data Explorer

U kunt gegevens op verschillende manieren opnemen in Azure Data Explorer (ADX).

De opnamemethoden die ADX accepteert, zijn gebaseerd op verschillende onderdelen:

• SDK's voor verschillende talen, zoals .NET, Go, Python, Java, NodeJS en API's.
• Beheerde pijplijnen, zoals Event Grid of Storage Blob Event Hubs en Azure Data Factory.
• Connectors of invoegtoepassingen, zoals Logstash, Kafka, Power Automate en Apache Spark.

Bekijk de LightIngest en Logstash, twee methoden die beter zijn afgestemd op de use case voor gegevensmigratie.

LightIngest

ADX heeft het LightIngest-hulpprogramma speciaal ontwikkeld voor het gebruiksscenario voor historische gegevensmigratie. U kunt LightIngest gebruiken om gegevens te kopiëren van een lokaal bestandssysteem of Azure Blob Storage naar ADX.

Hier volgen enkele belangrijke voordelen en mogelijkheden van LightIngest:

• Omdat er geen tijdsbeperking is voor de opnameduur, is LightIngest het handigst wanneer u grote hoeveelheden gegevens wilt opnemen.
• LightIngest is handig als u records wilt opvragen op basis van de tijd die ze zijn gemaakt, en niet de tijd waarop ze zijn opgenomen.
• U hoeft geen complexe grootte voor LightIngest te verwerken, omdat het hulpprogramma de werkelijke kopie niet uitvoert. LightIngest informeert ADX over de blobs die moeten worden gekopieerd en ADX kopieert de gegevens.

Als u LightIngest kiest, bekijkt u deze tips en best practices.

• Als u de migratie wilt versnellen en de kosten wilt verlagen, verhoogt u de grootte van uw ADX-cluster om meer beschikbare knooppunten te maken voor opname. Verklein de grootte zodra de migratie is afgelopen.
• Voor efficiëntere query's nadat u de gegevens hebt opgenomen in ADX, moet u ervoor zorgen dat de gekopieerde gegevens gebruikmaken van de tijdstempel voor de oorspronkelijke gebeurtenissen. De gegevens mogen de tijdstempel niet gebruiken van waaruit de gegevens worden gekopieerd naar ADX. U geeft de tijdstempel op LightIngest op als het pad van de bestandsnaam als onderdeel van de eigenschap CreationTime.
• Als uw pad of bestandsnamen geen tijdstempel bevatten, kunt u ADX nog steeds instrueren om de gegevens te ordenen met behulp van een partitioneringsbeleid.

Logstash

Logstash is een open source pijplijn voor gegevensverwerking aan de serverzijde waarmee gegevens uit vele bronnen tegelijkertijd worden opgenomen, deze gegevens worden getransformeerd en vervolgens worden verzonden naar uw favoriete 'stash'. Meer informatie over het opnemen van gegevens van Logstash naar Azure Data Explorer. Logstash wordt uitgevoerd op Windows-, Linux- en MacOS-machines.

Als u de prestaties wilt optimaliseren, configureert u de grootte van de Logstash-laag op basis van de gebeurtenissen per seconde. We raden u aan lightIngest waar mogelijk te gebruiken, omdat LightIngest afhankelijk is van de ADX-clustercomputing om de kopie uit te voeren.

Azure Blob-opslag

U kunt gegevens op verschillende manieren opnemen in Azure Blob Storage.

• Azure Data Factory of Azure Synapse
• AzCopy
• Azure-opslagverkenner
• Python
• SSIS

Bekijk de ADF-methoden (Azure Data Factory) en Azure Synapse, die beter zijn afgestemd op het gebruiksscenario voor gegevensmigratie.

Azure Data Factory of Azure Synapse

De Copy-activiteit gebruiken in ADF-pijplijnen (Azure Data Factory) of Synapse:

1. Een zelf-hostende Integration Runtime maken en configureren. Dit onderdeel is verantwoordelijk voor het kopiëren van de gegevens van uw on-premises host.
2. Maak gekoppelde services voor het brongegevensarchief (bestandssysteem en de blobopslag voor sinkgegevensopslag).
3. Als u de gegevens wilt kopiëren, gebruikt u het hulpprogramma Gegevens kopiëren. U kunt ook een methode gebruiken, zoals PowerShell, Azure Portal, een .NET SDK, enzovoort.

AzCopy

AzCopy is een eenvoudig opdrachtregelprogramma waarmee bestanden worden gekopieerd naar of van opslagaccounts. AzCopy is beschikbaar voor Windows, Linux en macOS. Meer informatie over het kopiëren van on-premises gegevens naar Azure Blob Storage met AzCopy.

U kunt deze opties ook gebruiken om de gegevens te kopiëren:

• Meer informatie over het optimaliseren van de prestaties van AzCopy.
• Meer informatie over het configureren van AzCopy.
• Meer informatie over het gebruik van de kopieeropdracht.

Azure Data Box

In een scenario waarin de bron-SIEM geen goede verbinding heeft met Azure, kan het opnemen van de gegevens met behulp van de hulpprogramma's die in deze sectie worden beoordeeld, traag of zelfs onmogelijk zijn. Om dit scenario aan te pakken, kunt u Azure Data Box gebruiken om de gegevens lokaal vanuit het datacenter van de klant naar een apparaat te kopiëren en dat apparaat vervolgens naar een Azure-datacenter te verzenden. Hoewel Azure Data Box geen vervanging is voor AzCopy of LightIngest, kunt u dit hulpprogramma gebruiken om de gegevensoverdracht tussen het datacentrum van de klant en Azure te versnellen.

Azure Data Box biedt drie verschillende SKU's, afhankelijk van de hoeveelheid gegevens die moet worden gemigreerd:

• Data Box Disk
• Data Box
• Data Box Heavy

Nadat u de migratie hebt voltooid, zijn de gegevens beschikbaar in een opslagaccount onder een van uw Azure-abonnementen. Vervolgens kunt u AzCopy, LightIngest of ADF gebruiken om gegevens op te nemen uit het opslagaccount.

SIEM-gegevensmigratieversneller

Naast het selecteren van een opnamehulpprogramma moet uw team tijd investeren in het instellen van de basisomgeving. Om dit proces te vereenvoudigen, kunt u de SIEM-gegevensmigratieversneller gebruiken, waarmee de volgende taken worden geautomatiseerd:

• Hiermee wordt een virtuele Windows-machine geïmplementeerd die wordt gebruikt om de logboeken van de bron naar het doelplatform te verplaatsen
• Downloadt en extraheert de volgende hulpprogramma's in het bureaublad van de virtuele machine:
  • LightIngest: wordt gebruikt voor het migreren van gegevens naar ADX
  • Aangepaste logboekopnamehulpprogramma van Azure Monitor: wordt gebruikt voor het migreren van gegevens naar Log Analytics
  • AzCopy: wordt gebruikt voor het migreren van gegevens naar Azure Blob Storage
• Hiermee wordt het doelplatform geïmplementeerd dat uw historische logboeken host:
  • Azure Storage-account (Azure Blob Storage)
  • Azure Data Explorer-cluster en -database
  • Werkruimte Azure Monitor-logboeken (basislogboeken; ingeschakeld met Microsoft Sentinel)

De SIEM-gegevensmigratieversneller gebruiken:

1. Klik op de pagina SIEM-gegevensmigratieversneller op Implementeren naar Azure onder aan de pagina en verifieer.
2. Selecteer Basisinformatie, selecteer uw resourcegroep en locatie en selecteer vervolgens Volgende.
3. Selecteer migratie-VM en ga als volgt te werk:
   • Typ de naam, gebruikersnaam en wachtwoord van de virtuele machine.
   • Selecteer een bestaand vNet of maak een nieuw vNet voor de verbinding met de virtuele machine.
   • Selecteer de grootte van de virtuele machine.
4. Selecteer Het doelplatform en voer een van de volgende handelingen uit:
   • Sla deze stap over.
   • Geef het ADX-cluster en de databasenaam, SKU en het aantal knooppunten op.
   • Selecteer een bestaand account voor Azure Blob Storage-accounts. Als u geen account hebt, geeft u een nieuwe accountnaam, type en redundantie op.
   • Typ voor Azure Monitor-logboeken de naam van de nieuwe werkruimte.

Volgende stappen

In dit artikel hebt u geleerd hoe u een hulpprogramma kunt selecteren om uw gegevens op te nemen in het doelplatform.

Uw gegevens opnemen