Delen via

Selecteer een Azure-doelplatform om de geëxporteerde historische gegevens te hosten

  • Artikel

Een van de belangrijke beslissingen die u tijdens uw migratieproces neemt, is waar u uw historische gegevens kunt opslaan. Als u deze beslissing wilt nemen, moet u de verschillende doelplatforms begrijpen en kunnen vergelijken.

In dit artikel worden doelplatforms vergeleken met betrekking tot prestaties, kosten, bruikbaarheid en beheeroverhead.

Notitie

De overwegingen in deze tabel zijn alleen van toepassing op historische logboekmigratie en zijn niet van toepassing in andere scenario's, zoals langetermijnretentie.

Basislogboeken/archiveren Azure Data Explorer (ADX) Azure Blob-opslag ADX + Azure Blob Storage
Mogelijkheden: • Pas de meeste van de bestaande Ervaringen van Azure Monitor-logboeken tegen lagere kosten toe.
• Basislogboeken worden acht dagen bewaard en worden vervolgens automatisch overgedragen naar het archief (volgens de oorspronkelijke bewaarperiode).
• Gebruik zoektaken om in petabytes aan gegevens te zoeken en specifieke gebeurtenissen te vinden.
• Voor grondig onderzoek naar een specifiek tijdsbereik herstelt u gegevens uit het archief. De gegevens zijn vervolgens beschikbaar in de hot-cache voor verdere analyse.		 • Zowel ADX als Microsoft Sentinel gebruiken de Kusto-querytaal (KQL), zodat u gegevens op beide platforms kunt opvragen, aggregeren of correleren. U kunt bijvoorbeeld een KQL-query uitvoeren vanuit Microsoft Sentinel om gegevens die zijn opgeslagen in ADX samen te voegen met gegevens die zijn opgeslagen in Log Analytics.
• Met ADX hebt u aanzienlijke controle over de clustergrootte en -configuratie. U kunt bijvoorbeeld een groter cluster maken om een hogere opnamedoorvoer te bereiken of een kleiner cluster maken om uw kosten te beheren.		 • Blob Storage is geoptimaliseerd voor het opslaan van enorme hoeveelheden ongestructureerde gegevens.
• Biedt concurrerende kosten.
• Geschikt voor een scenario waarin uw organisatie geen prioriteit geeft aan toegankelijkheid of prestaties, bijvoorbeeld wanneer de organisatie moet voldoen aan de nalevings- of controlevereisten.		 • Gegevens worden opgeslagen in een blobopslag, wat in de kosten laag is.
• U gebruikt ADX om query's uit te voeren op de gegevens in KQL, zodat u eenvoudig toegang hebt tot de gegevens. Meer informatie over het uitvoeren van query's op Azure Monitor-gegevens met ADX
Bruikbaarheid: Groot

De archief- en zoekopties zijn eenvoudig te gebruiken en toegankelijk vanuit de Microsoft Sentinel-portal. De gegevens zijn echter niet direct beschikbaar voor query's. U moet een zoekopdracht uitvoeren om de gegevens op te halen, wat enige tijd kan duren, afhankelijk van de hoeveelheid gegevens die wordt gescand en geretourneerd.		 Goed

Redelijk eenvoudig te gebruiken in de context van Microsoft Sentinel. U kunt bijvoorbeeld een Azure-werkmap gebruiken om gegevens te visualiseren die zijn verspreid over zowel Microsoft Sentinel als ADX. U kunt ook query's uitvoeren op ADX-gegevens vanuit de Microsoft Sentinel-portal met behulp van de ADX-proxy.		 Arm

Met historische gegevensmigraties moet u mogelijk miljoenen bestanden verwerken en de gegevens verkennen wordt een uitdaging.		 Rechtvaardig

Hoewel het gebruik van de externaldata operator erg lastig is met grote aantallen blobs waarnaar moet worden verwezen, elimineert het gebruik van externe ADX-tabellen dit probleem. De definitie van de externe tabel begrijpt de structuur van de blobopslagmap en stelt u in staat om transparant query's uit te voeren op de gegevens in veel verschillende blobs en mappen.
Beheeroverhead: Volledig beheerd

De zoek- en archiefopties worden volledig beheerd en voegen geen beheeroverhead toe.		 Hoog

ADX is extern voor Microsoft Sentinel, waarvoor bewaking en onderhoud is vereist.		 Laag

Hoewel dit platform weinig onderhoud vereist, voegt het selecteren van dit platform bewakings- en configuratietaken toe, zoals het instellen van levenscyclusbeheer.		 Gemiddeld

Met deze optie onderhoudt en bewaakt u ADX en Azure Blob Storage, beide externe onderdelen voor Microsoft Sentinel. Hoewel ADX soms kan worden afgesloten, moet u rekening houden met de extra beheeroverhead met deze optie.
Prestaties: Gemiddeld

Doorgaans werkt u met basislogboeken in het archief met behulp van zoektaken, die geschikt zijn als u de toegang tot de gegevens wilt behouden, maar u hebt geen directe toegang tot de gegevens nodig.		 Hoog tot laag

• De queryprestaties van een ADX-cluster zijn afhankelijk van het aantal knooppunten in het cluster, de SKU van de virtuele clustermachine, gegevenspartitionering en meer.
• Wanneer u knooppunten aan het cluster toevoegt, worden de prestaties verbeterd, met extra kosten.
• Als u ADX gebruikt, raden we u aan de clustergrootte te configureren om de prestaties en kosten te verdelen. Deze configuratie is afhankelijk van de behoeften van uw organisatie, inclusief hoe snel uw migratie moet worden voltooid, hoe vaak de gegevens worden geopend en de verwachte reactietijd.		 Laag

Biedt twee prestatielagen: Premium of Standard. Hoewel beide lagen een optie voor langetermijnopslag zijn, is Standard rendabeler. Meer informatie over prestatie- en schaalbaarheidslimieten.		 Laag

Omdat de gegevens zich in de Blob Storage bevinden, worden de prestaties beperkt door dat platform.
Kosten: Hoog

De kosten bestaan uit twee onderdelen:
• Opnamekosten. Elke GB aan gegevens die worden opgenomen in basislogboeken, is onderhevig aan de opnamekosten voor Microsoft Sentinel- en Azure Monitor-logboeken, die tot ongeveer $ 1/GB bedragen. Bekijk de prijsgegevens.
• Archiveringskosten. De kosten voor gegevens in de archieflaag bedragen tot ongeveer $ 0,02/GB per maand. Bekijk de prijsgegevens.
Naast deze twee kostenonderdelen geldt er, als u regelmatig toegang tot de gegevens nodig hebt, extra kosten wanneer u gegevens opent via zoektaken.		 Hoog tot laag

• Omdat ADX een cluster van virtuele machines is, worden er kosten in rekening gebracht op basis van reken-, opslag- en netwerkgebruik, plus een ADX-markering (zie de prijsgegevens. Hoe meer knooppunten u toevoegt aan uw cluster en hoe meer gegevens u opslaat, hoe hoger de kosten zijn.
• ADX biedt ook mogelijkheden voor automatisch schalen om zich aan te passen aan de workload op aanvraag. ADX kan ook profiteren van prijzen voor gereserveerde instanties. U kunt uw eigen kostenberekeningen uitvoeren in de Azure-prijscalculator.		 Laag

Met een optimale installatie heeft Azure Blob Storage de laagste kosten. Voor een grotere efficiëntie en kostenbesparing kan het levenscyclusbeheer van Azure Storage worden gebruikt om automatisch oudere blobs in goedkopere opslaglagen te plaatsen.		 Laag

ADX fungeert in dit geval alleen als proxy, zodat het cluster klein kan zijn. Daarnaast kan het cluster worden afgesloten wanneer u geen toegang tot de gegevens nodig hebt en het alleen start wanneer gegevenstoegang nodig is.
Toegang krijgen tot gegevens: Zoektaken Directe KQL-query's externaldata Aangepaste KQL-query's
Scenario: Af en toe toegang

Relevant in scenario's waarin u geen zware analyse- of triggeranalyseregels hoeft uit te voeren, en u hoeft alleen af en toe toegang te krijgen tot de gegevens.		 Frequente toegang

Relevant in scenario's waarin u regelmatig toegang nodig hebt tot de gegevens en moet bepalen hoe het cluster de grootte en configuratie heeft.		 Naleving/controle

• Optimaal voor het opslaan van enorme hoeveelheden ongestructureerde gegevens.
• Relevant in scenario's waarbij u geen snelle toegang tot de gegevens of hoge prestaties nodig hebt, zoals voor nalevings- of controledoeleinden.		 Af en toe toegang

Relevant in scenario's waarin u wilt profiteren van de lage kosten van Azure Blob Storage en relatief snelle toegang tot de gegevens wilt behouden.
Complexiteit: Zeer laag Gemiddeld Beperkt Hoog
Gereedheid: GA GA GA GA

Algemene overwegingen

Nu u meer weet over de beschikbare doelplatforms, bekijkt u deze belangrijkste factoren om uw beslissing te voltooien.

Gebruik van opgenomen logboeken

Definieer hoe uw organisatie de opgenomen logboeken gebruikt om uw selectie van het opnameplatform te begeleiden.

Houd rekening met deze drie algemene scenario's:

  • Uw organisatie moet de logboeken alleen bewaren voor nalevings- of controledoeleinden. In dit geval heeft uw organisatie zelden toegang tot de gegevens. Zelfs als uw organisatie toegang heeft tot de gegevens, hebben hoge prestaties of gebruiksgemak geen prioriteit.
  • Uw organisatie moet de logboeken behouden, zodat uw teams eenvoudig en redelijk snel toegang hebben tot de logboeken.
  • Uw organisatie moet de logboeken bewaren, zodat uw teams af en toe toegang hebben tot de logboeken. Prestaties en gebruiksgemak zijn secundair.

Bekijk de platformvergelijking om te begrijpen welk platform bij elk van deze scenario's past.

Migratiesnelheid

In sommige scenario's moet u mogelijk voldoen aan een strikte deadline, bijvoorbeeld dat uw organisatie dringend moet overstappen van de vorige SIEM vanwege een vervaldatum van een licentie.

Bekijk de onderdelen en factoren die de snelheid van uw migratie bepalen.

Gegevensbron

De gegevensbron is doorgaans een lokaal bestandssysteem of cloudopslag, bijvoorbeeld S3. De opslagprestaties van een server zijn afhankelijk van meerdere factoren, zoals schijftechnologie (SSD versus HDD), de aard van de IO-aanvragen en de grootte van elke aanvraag.

De prestaties van virtuele Azure-machines variëren bijvoorbeeld van 30 MB per seconde op kleinere VM-SKU's tot 20 GB per seconde voor een aantal van de voor opslag geoptimaliseerde SKU's met NVM Express-schijven (NVMe). Meer informatie over het ontwerpen van uw Virtuele Azure-machine voor hoge opslagprestaties. U kunt ook de meeste concepten toepassen op on-premises servers.

Rekenkracht

In sommige gevallen is rekenkracht het knelpunt in het kopieerproces, zelfs als uw schijf uw gegevens snel kan kopiëren. In deze gevallen kunt u een van deze schaalopties kiezen:

  • Schaal verticaal. U verhoogt de kracht van één server door meer CPU's toe te voegen of de CPU-snelheid te verhogen.
  • Schaal horizontaal. U voegt meer servers toe, waardoor de parallelle uitvoering van het kopieerproces toeneemt.

Doelplatform

Elk van de doelplatforms die in deze sectie worden besproken, heeft een ander prestatieprofiel.

  • Basislogboeken van Azure Monitor. Standaard kunnen basislogboeken met een snelheid van ongeveer 1 GB per minuut naar Azure Monitor worden gepusht. Met dit tarief kunt u ongeveer 1,5 TB per dag opnemen of 43 TB per maand.
  • Azure Data Explorer. De opnameprestaties variëren, afhankelijk van de grootte van het cluster dat u inricht en de batchinstellingen die u toepast. Meer informatie over best practices voor opname, waaronder prestaties en bewaking.
  • Azure Blob Storage. De prestaties van een Azure Blob Storage-account kunnen sterk variëren, afhankelijk van het aantal en de grootte van de bestanden, de taakgrootte, gelijktijdigheid, enzovoort. Meer informatie over het optimaliseren van AzCopy-prestaties met Azure Storage.

Hoeveelheid gegevens

De hoeveelheid gegevens is de belangrijkste factor die van invloed is op de duur van het migratieproces. Daarom moet u overwegen hoe u uw omgeving instelt, afhankelijk van uw gegevensset.

Houd rekening met de hoeveelheid gegevens en de opnamesnelheid van het doelplatform om de minimale duur van de migratie te bepalen en waar het knelpunt kan zijn. U selecteert bijvoorbeeld een doelplatform dat 1 GB per seconde kan opnemen en u moet 100 TB migreren. In dit geval duurt uw migratie minimaal 100.000 GB, vermenigvuldigd met de snelheid van 1 GB per seconde. Deel het resultaat door 3600, dat wordt berekend tot 27 uur. Deze berekening is juist als de rest van de onderdelen in de pijplijn, zoals de lokale schijf, het netwerk en de virtuele machines, met een snelheid van 1 GB per seconde kunnen worden uitgevoerd.

Volgende stappen

In dit artikel hebt u geleerd hoe u uw migratieregels van QRadar kunt toewijzen aan Microsoft Sentinel.

Een hulpprogramma voor gegevensopname selecteren