Teilen über

Auswählen eines Datenerfassungstools

  • Artikel

Nach dem Auswählen einer Zielplattform für Ihre Verlaufsdaten besteht der nächste Schritt darin, ein Tool zum Übertragen Ihrer Daten auszuwählen.

In diesem Artikel werden verschiedene Tools beschrieben, mit denen Sie Ihre Verlaufsdaten auf die ausgewählte Zielplattform übertragen können. In der folgenden Tabelle sind die für die einzelnen Zielplattformen verfügbaren Tools sowie allgemeine Tools aufgeführt, die Sie beim Datenerfassungsprozess unterstützen.

Azure Monitor-Basisprotokolle/Azure-Archivspeicher Azure-Daten-Explorer Azure Blob Storage Allgemeine Tools
• Tool zum Erfassen benutzerdefinierter Protokolle für Azure Monitor
• Direkte API		 • LightIngest
• Logstash		 • Azure Data Factory oder Azure Synapse
• AzCopy		 • Azure Data Box
• SIEM-Datenmigrationsbeschleuniger

Azure Monitor-Basisprotokolle/Azure-Archivspeicher

Bevor Sie Daten in Azure Monitor-Basisprotokollen oder im Azure-Archivspeicher erfassen, um von niedrigeren Erfassungspreisen zu profitieren, stellen Sie sicher, dass die Tabelle, in die Sie schreiben, als Basisprotokolle konfiguriert ist. Lesen Sie die Informationen zum Tool zum Erfassen benutzerdefinierter Protokolle für Azure Monitor und zur direkten API-Methode für Azure Monitor-Basisprotokolle.

Tool zum Erfassen benutzerdefinierter Protokolle für Azure Monitor

Das Tool zum Erfassen benutzerdefinierter Protokolle ist ein PowerShell-Skript, das benutzerdefinierte Daten an einen Arbeitsbereich für Azure Monitor-Protokolle sendet. Sie können das Skript auf den Ordner verweisen, in dem sich alle Ihre Protokolldateien befinden. Das Skript sendet dann die Dateien an diesen Ordner. Das Skript akzeptiert ein CSV- oder JSON-Format für Protokolldateien.

Direkte API

Mit dieser Option erfassen Sie Ihre benutzerdefinierten Protokolle in Azure Monitor-Protokollen. Sie erfassen die Protokolle mit einem PowerShell-Skript, das eine REST-API verwendet. Alternativ können Sie eine beliebige andere Programmiersprache verwenden, um die Datenerfassung auszuführen, und Sie können andere Azure-Dienste verwenden, um die Computeebene zu abstrahieren, z. B. Azure Functions oder Azure Logic Apps.

Azure-Daten-Explorer

Für die Datenerfassung in Azure Data Explorer (ADX) sind mehrere Methoden verfügbar.

Die von ADX akzeptierten Erfassungsmethoden basieren auf verschiedenen Komponenten:

  • SDKs für verschiedene Sprachen (z. B. .NET, Go, Python, Java, NodeJS) und APIs.
  • Verwaltete Pipelines wie Event Grid oder Azure Blob Storage Event Hubs und Azure Data Factory.
  • Connectors oder Plug-Ins wie Logstash, Kafka, Power Automate und Apache Spark.

Lesen Sie die Informationen zu LightIngest und Logstash, zwei Methoden, die besser auf den Anwendungsfall der Datenmigration zugeschnitten sind.

LightIngest

ADX hat das Hilfsprogramm LightIngest speziell für den Anwendungsfall der Verlaufsdatenmigration entwickelt. Sie können LightIngest verwenden, um Daten aus einem lokalen Dateisystem oder Azure Blob Storage in ADX zu kopieren.

Im Folgenden sind einige der wichtigsten Vorteile und Funktionen von LightIngest aufgeführt:

  • Da es keine zeitlichen Beschränkungen für die Erfassungsdauer gibt, ist LightIngest besonders bei der Erfassung großer Datenmengen hilfreich.
  • LightIngest ist nützlich, wenn Sie Datensätze anhand des Erstellungszeitpunkts und nicht anhand des Erfassungszeitpunkts abfragen möchten.
  • Bei LightIngest müssen Sie sich nicht mit komplexer Größenanpassung befassen, da das Hilfsprogramm den eigentlichen Kopiervorgang nicht ausführt. LightIngest informiert ADX über die Blobs, die kopiert werden müssen, und ADX kopiert die Daten.

Wenn Sie LightIngest verwenden möchten, beachten Sie die folgenden Tipps und bewährten Methoden.

  • Um Ihre Migration zu beschleunigen und die Kosten zu reduzieren, vergrößern Sie Ihren ADX-Cluster, damit mehr verfügbare Knoten für die Erfassung erstellt werden können. Verringern Sie die Größe, sobald die Migration abgeschlossen ist.
  • Stellen Sie sicher, dass die kopierten Daten den Zeitstempel der ursprünglichen Ereignisse verwenden, um effizientere Abfragen nach dem Erfassen der Daten in ADX zu ermöglichen. Die Daten sollten nicht den Zeitstempel des Zeitpunkts verwenden, zu dem die Daten in ADX kopiert wurden. Sie stellen LightIngest den Zeitstempel als Pfad oder Dateinamen als Teil der CreationTime-Eigenschaft zur Verfügung.
  • Wenn Ihre Pfad- oder Dateinamen keinen Zeitstempel enthalten, können Sie ADX trotzdem anweisen, die Daten mithilfe einer Partitionierungsrichtlinie zu organisieren.

Logstash

Logstash ist eine serverseitige Open-Source-Datenverarbeitungspipeline, die gleichzeitig Daten aus zahlreichen Quellen erfasst, transformiert und anschließend an Ihren bevorzugten Stash sendet. Erfahren Sie, wie Sie Daten aus Logstash in Azure Data Explorer erfassen. Logstash wird auf Windows-, Linux- und MacOS-Computern ausgeführt.

Um die Leistung zu optimieren, konfigurieren Sie die Größe der Logstash-Ebene entsprechend den Ereignissen pro Sekunde. Sie sollten nach Möglichkeit LightIngest verwenden, weil LightIngest für die Ausführung des Kopiervorgangs auf das ADX-Clustercomputing angewiesen ist.

Azure Blob Storage

Sie können Daten auf verschiedene Arten in Azure Blob Storage erfassen.

Informieren Sie sich über die in Azure Data Factory (ADF) und Azure Synapse verwendeten Methoden, die besser auf den Anwendungsfall der Datenmigration zugeschnitten sind.

Azure Data Factory oder Azure Synapse

Gehen Sie wie folgt vor, um die Copy-Aktivität in Azure Data Factory- oder Synapse-Pipelines zu verwenden:

  1. Erstellen und konfigurieren Sie eine selbstgehostete Integration Runtime. Diese Komponente ist für das Kopieren der Daten von Ihrem lokalen Host zuständig.
  2. Erstellen Sie verknüpfte Dienste für den Quelldatenspeicher (Dateisystem) und den Senkendatenspeicher (Azure Blob Storage).
  3. Verwenden Sie das Tool zum Kopieren von Daten, um die Daten zu kopieren. Alternativ können Sie eine Methode wie PowerShell, das Azure-Portal, ein .NET SDK usw. verwenden.

AzCopy

AzCopy ist ein einfaches Befehlszeilenprogramm, mit dem Sie Dateien in oder aus Speicherkonten kopieren können. AzCopy ist für Windows, Linux und macOS verfügbar. Erfahren Sie, wie Sie mit AzCopy lokale Daten in Azure Blob Storage kopieren.

Sie können auch die folgenden Optionen verwenden, um die Daten zu kopieren:

Azure Data Box

In einem Szenario, in dem das Quell-SIEM nicht über eine gute Verbindung mit Azure verfügt, kann das Erfassen der Daten mit den in diesem Abschnitt genannten Tools möglicherweise nur langsam erfolgen oder sogar unmöglich sein. Um dieses Szenario zu bewältigen, können Sie Azure Data Box verwenden, um die Daten lokal aus dem Rechenzentrum des Kunden in eine Appliance zu kopieren und diese Appliance dann an ein Azure-Rechenzentrum zu senden. Azure Data Box ist zwar kein Ersatz für AzCopy oder LightIngest, aber Sie können dieses Tool verwenden, um die Datenübertragung zwischen dem Rechenzentrum des Kunden und Azure zu beschleunigen.

Azure Data Box bietet abhängig von der Menge der zu migrierenden Daten drei verschiedene SKUs:

Nachdem Sie die Migration abgeschlossen haben, sind die Daten in einem Speicherkonto unter einem Ihrer Azure-Abonnements verfügbar. Sie können dann AzCopy, LightIngest oder Azure Data Factory verwenden, um Daten aus dem Speicherkonto zu erfassen.

SIEM-Datenmigrationsbeschleuniger

Zusätzlich zur Auswahl eines Datenerfassungstools muss Ihr Team Zeit in die Einrichtung der grundlegenden Umgebung investieren. Um diesen Prozess zu vereinfachen, können Sie den SIEM-Datenmigrationsbeschleuniger verwenden, der die folgenden Aufgaben automatisiert:

  • Bereitstellen eines virtuellen Windows-Computers, der zum Verschieben der Protokolle von der Quelle auf die Zielplattform verwendet wird
  • Herunterladen und Extrahieren der folgenden Tools auf den Desktop des virtuellen Computers:
  • Bereitstellen der Zielplattform, auf der Ihre Verlaufsdatenprotokolle gehostet werden:
    • Azure Storage-Konto (Azure Blob Storage)
    • Azure Data Explorer-Cluster und -Datenbank
    • Arbeitsbereich für Azure Monitor-Protokolle (Basisprotokolle; aktiviert mit Microsoft Sentinel)

Gehen Sie wie folgt vor, um den SIEM-Datenmigrationsbeschleuniger zu verwenden:

  1. Klicken Sie unten auf der Seite „SIEM-Datenmigrationsbeschleuniger“ auf In Azure bereitstellen, und authentifizieren Sie sich.
  2. Wählen Sie Grundeinstellungen aus, wählen Sie Ihre Ressourcengruppe und den Speicherort aus, und wählen Sie dann Weiter aus.
  3. Wählen Sie Migrations-VM aus, und führen Sie die folgenden Aktionen aus:
    • Geben Sie den Namen des virtuellen Computers, den Benutzernamen und das zugehörige Kennwort ein.
    • Wählen Sie für die Verbindung mit dem virtuellen Computer ein vorhandenes vNet aus, oder erstellen Sie ein neues vNet.
    • Wählen Sie die Größe des virtuellen Computers aus.
  4. Wählen Sie Zielplattform aus, und führen Sie eine der folgenden Aktionen aus:
    • Überspringen Sie diesen Schritt.
    • Geben Sie den Namen des ADX-Clusters und der ADX-Datenbank, die SKU und die Anzahl der Knoten an.
    • Wählen Sie bei Verwendung von Azure Blob Storage-Konten ein vorhandenes Konto aus. Wenn Sie noch kein Konto besitzen, geben Sie einen neuen Kontonamen, einen Typ und die Redundanz an.
    • Geben Sie für Azure Monitor-Protokolle den Namen des neuen Arbeitsbereichs ein.

Nächste Schritte

In diesem Artikel haben Sie erfahren, wie Sie ein Tool zum Erfassen Ihrer Daten auf der Zielplattform auswählen.

Erfassen von Daten