Protokolldaten mit Fluentd in Azure Data Explorer aufnehmen

Die Protokollaufnahme ist der Prozess zum Sammeln, Transformieren und Vorbereiten von Protokolldaten aus Anwendungen, Servern, Containern und Clouddiensten, damit Sie sie speichern, analysieren und überwachen können. Protokolle erfassen Informationen wie Fehler, Warnungen, Verwendungsmuster und Systemleistung. Zuverlässige Protokollaufnahme stellt sicher, dass Betriebs- und Sicherheitsdaten in nahezu Echtzeit zur Problembehandlung und Erkenntnisse verfügbar sind. In diesem Artikel wird erläutert, wie Protokolle von Fluentd an Azure Data Explorer (Kusto) gesendet werden, einschließlich Installation, Konfiguration und Validierungsschritte.

Überblick

Was ist Fluentd?

Fluentd ist ein Open-Source-Datensammler, mit dem Sie die Protokollsammlung und das Routing über mehrere Systeme hinweg vereinheitlichen können. Es unterstützt mehr als 1.000 Plug-Ins und bietet flexible Optionen zum Filtern, Puffern und Transformieren von Daten. Sie können Fluentd in cloudeigenen und Unternehmensumgebungen für die zentralisierte Protokollaggregation und -weiterleitung verwenden.

Was ist der Azure-Daten-Explorer?

Azure Data Explorer (ADX) ist ein schneller, vollständig verwalteter Analysedienst, der für die Echtzeitanalyse großer Mengen strukturierter, halbstrukturierter und unstrukturierter Daten optimiert ist. ADX verwendet Kusto Query Language (KQL) und wird häufig für Telemetrie, Überwachung, Diagnose und interaktive Datensuche verwendet.

Voraussetzungen

  • Ruby ist auf dem Knoten installiert, auf dem Protokolle aufgenommen werden müssen. Informationen zum Installieren von fluentd-Abhängigkeiten mit dem Gem-Paket-Manager finden Sie in den Ruby-Installationsanweisungen
  • Zugriff auf einen Azure Data Explorer-Cluster und eine Datenbank.
  • Azure Active Directory-Anwendung mit Berechtigungen zum Aufnehmen von Daten.

Erste Schritte mit Fluentd und Azure Data Explorer

  1. Installieren Sie Fluentd mit RubyGems:

    gem install fluentd

  2. Installieren Sie das Fluentd Kusto-Plug-In:

    gem install fluent-plugin-kusto

  3. Konfigurieren Sie Fluentd , indem Sie eine Konfigurationsdatei (z. B fluent.conf. ) mit dem folgenden Inhalt erstellen. Ersetzen Sie die Platzhalter durch Ihre Azure- und Plug-In-Werte:

    <match <tag-from-source-logs>>
  @type kusto
  endpoint https://<your-cluster>.<region>.kusto.windows.net
  database_name <your-database>
  table_name <your-table>
  logger_path <your-fluentd-log-file-path>

  # Authentication options
  auth_type <your-authentication-type>

  # AAD authentication
  tenant_id <your-tenant-id>
  client_id <your-client-id>
  client_secret <your-client-secret>

  # Managed identity authentication (optional)
  managed_identity_client_id <your-managed-identity-client-id>

  # Workload identity authentication (optional)
  workload_identity_tenant_id <your-workload-identity-tenant-id>
  workload_identity_client_id <your-workload-identity-client-id>

  # Non-buffered mode
  buffered false
  delayed false

  # Buffered mode
  # buffered true
  # delayed <true/false>

  <buffer>
    @type memory
    timekey 1m
    flush_interval 10s
  </buffer>
</match>

Weitere Konfigurations- und Authentifizierungsdetails finden Sie in der Dokumentation zum Fluentd Kusto-Plug-In

  1. Vorbereiten des Azure-Daten-Explorers für die Aufnahme:

    1. Erstellen Sie einen ADX-Cluster und eine Datenbank. Siehe Erstellen eines Azure Data Explorer-Clusters und einer Datenbank.

    2. Erstellen Sie eine Azure Active Directory-Anwendung, und erteilen Sie Berechtigungen zum Aufnehmen von Daten in die ADX-Datenbank. Siehe Erstellen einer Microsoft Entra-Anwendungsregistrierung im Azure Data Explorer.

      Hinweis

      Speichern Sie den App-Schlüssel und die Anwendungs-ID für die zukünftige Verwendung.

    3. Erstellen Sie eine Tabelle für die Protokollaufnahme. Beispiel:

    .create table LogTable (
  tag:string,
  timestamp:datetime,
  record:dynamic
)

  2. Führen Sie Fluentd mit der Konfigurationsdatei aus:

    fluentd -c fluent.conf

  3. Überprüfen der Protokollaufnahme durch:

    1. Überprüfen Sie die Fluentd-Protokolldatei, bestätigen Sie, dass keine Fehler vorhanden sind und dass die Aufnahmeanforderungen erfolgreich gesendet werden.

      Screenshot der Fluentd-Protokolldatei mit erfolgreichen Aufnahmeanforderungen

    2. Abfragen der ADX-Tabelle , um sicherzustellen, dass Protokolle korrekt aufgenommen werden:

    LogTable
| take 10

  4. Aufnahmezuordnung: Verwenden Sie die vordefinierten Aufnahmezuordnungen in Kusto, um Daten vom standardmäßigen 3-Spalten-Format in Ihr gewünschtes Schema zu transformieren. Weitere Informationen finden Sie unter Unterstützung von Ingestionszuordnungen.

Verwandte Inhalte

  • Zuletzt aktualisiert um