Gegevens opnemen met Fluent Bit in Azure Data Explorer

Fluent Bit is een opensource-agent die logboeken, metrische gegevens en traceringen uit verschillende bronnen verzamelt. Hiermee kunt u gebeurtenisgegevens filteren, wijzigen en aggregeren voordat u deze naar de opslag verzendt. Azure Data Explorer is een snelle en zeer schaalbare service voor gegevensverkenning voor telemetrische gegevens en gegevens uit logboeken. In dit artikel wordt u begeleid bij het proces van het gebruik van Fluent Bit voor het verzenden van gegevens naar Azure Data Explorer.

In dit artikel leert u het volgende:

• Een Azure Data Explorer-tabel maken om uw logboeken op te slaan
• Een Azure AD-app registreren met machtigingen voor het opnemen van gegevens
• Fluent Bit configureren om logboeken naar uw tabel te verzenden
• Controleer of gegevens worden opgenomen in Azure Data Explorer

Zie Overzicht van gegevensconnectors voor een volledige lijst met gegevensconnectors.

Vereisten

• Fluent Bit.
• Een Azure Data Explorer-cluster en -database. Maak een cluster en database.

Een Azure Data Explorer-tabel maken om uw logboeken op te slaan

Fluent Bit stuurt logboeken door naar Azure Data Explorer in JSON-indeling met drie eigenschappen: log (dynamisch), tag (tekenreeks) en timestamp (datum/tijd).

U kunt een tabel met kolommen maken voor elk van deze eigenschappen. Als u gestructureerde logboeken hebt, kunt u ook een tabel maken met logboekeigenschappen die zijn toegewezen aan aangepaste kolommen. Selecteer het relevante tabblad voor meer informatie.

Standaardschema

Een tabel maken voor binnenkomende logboeken van Fluent Bit:

1. Selecteer de database waarin u de tabel wilt maken.

2. Voer de volgende .create table-opdracht uit:

   .create table FluentBitLogs (log:dynamic, tag:string, timestamp:datetime)
   

   In Azure Data Explorer worden binnenkomende JSON-eigenschappen automatisch toegewezen aan de juiste kolom.

Aangepast schema

Een tabel maken voor binnenkomende gestructureerde logboeken van Fluent Bit:

1. Selecteer de database waarin u de tabel wilt maken.

2. Voer de opdracht .create table uit. Als uw logboeken bijvoorbeeld drie velden bevatten met de naam myString, myIntegeren myDynamic, kunt u een tabel maken met het volgende schema:

   .create table FluentBitLogs (myString:string, myInteger:int, myDynamic: dynamic, timestamp:datetime)
   

3. Maak een JSON-toewijzing om logboekeigenschappen toe te wijzen aan de juiste kolommen. Met de volgende opdracht maakt u een toewijzing op basis van het voorbeeld in de vorige stap:

   .create-or-alter table FluentBitLogs ingestion json mapping "LogMapping" 
       ```[
       {"column" : "myString", "datatype" : "string", "Properties":{"Path":"$.log.myString"}},
       {"column" : "myInteger", "datatype" : "int", "Properties":{"Path":"$.log.myInteger"}}, 
       {"column" : "myDynamic", "datatype" : "dynamic", "Properties":{"Path":"$.log.myInteger"}}, 
       {"column" : "timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}} 
       ]```
   

Een Azure AD-app registreren met machtigingen voor het opnemen van gegevens

Azure Active Directory-toepassingsverificatie (Azure AD) wordt gebruikt voor toepassingen die toegang moeten hebben tot Azure Data Explorer zonder dat er een gebruiker aanwezig is. Als u gegevens wilt opnemen met Fluent Bit, moet u een Azure AD service-principal maken en registreren. Vervolgens moet u deze principal machtigen om gegevens op te nemen in uw Azure Data Explorer-tabel.

1. Een Azure AD toepassingsregistratie maken.

2. Sla de toepassings-id (client),de map-id (tenant) en de waarde van de clientgeheim op voor gebruik in de volgende stappen.

3. Voer de volgende opdracht uit en vervang door <MyDatabase> de naam van de database:

   .add database MyDatabase ingestors ('aadapp=<Application (client) ID>;<Directory (tenant) ID>' 'Fluent Bit application)
   

   Deze opdracht verleent de toepassing machtigingen om gegevens op te nemen in uw tabel. Zie op rollen gebaseerd toegangsbeheer voor meer informatie.

Fluent Bit configureren om logboeken naar uw tabel te verzenden

Als u Fluent Bit wilt configureren voor het verzenden van logboeken naar uw Azure Data Explorer-tabel, maakt u een configuratiebestand voor de klassieke modus of YAML-modus met de volgende uitvoereigenschappen:

Veld	Beschrijving
Naam	azure_kusto
Match	Een patroon dat overeenkomt met de tags van binnenkomende records. Het is hoofdlettergevoelig en ondersteunt het star (*) als een jokerteken.
Tenant_Id	Map-id (tenant) van Een Azure AD-app registreren met machtigingen voor het opnemen van gegevens.
Client_id	Toepassings-id (client) van Een Azure AD-app registreren met machtigingen voor het opnemen van gegevens.
Client_Secret	De waarde van de clientgeheimsleutel Registreer een Azure AD-app met machtigingen om gegevens op te nemen.
Ingestion_Endpoint	Gebruik de URI voor gegevensopname in de Azure Portal onder uw clusteroverzicht.
Database_name	De naam van de database die de logboektabel bevat.
Table_name	De naam van de tabel uit Een Azure Data Explorer-tabel maken.
Ingestion_Mapping_Reference	De naam van de opnametoewijzing uit Een Azure-Data Explorer-tabel maken. Als u geen opnametoewijzing hebt gemaakt, verwijdert u de eigenschap uit het configuratiebestand.

Als u een voorbeeldconfiguratiebestand wilt zien, selecteert u het relevante tabblad:

Klassieke modus

[SERVICE]
    Daemon Off
    Flush 1
    Log_Level trace
    HTTP_Server On
    HTTP_Listen 0.0.0.0
    HTTP_Port 2020
    Health_Check On

[INPUT]
    Name tail
    Path /var/log/containers/*.log
    Tag kube.*
    Mem_Buf_Limit 1MB
    Skip_Long_Lines On
    Refresh_Interval 10

[OUTPUT]
    Name azure_kusto
    Match *
    Tenant_Id azure-tenant-id
    Client_Id azure-client-id
    Client_Secret azure-client-secret
    Ingestion_Endpoint azure-data-explorer-ingestion-endpoint
    Database_Name azure-data-explorer-database-name
    Table_Name azure-data-explorer-table-name

YAML-modus

config:
  service: |
    [SERVICE]
        Daemon Off
        Flush 1
        Log_Level trace
        HTTP_Server On
        HTTP_Listen 0.0.0.0
        HTTP_Port 2020
        Health_Check On
        
  inputs: |
    [INPUT]
        Name tail
        Path /var/log/containers/*.log
        multiline.parser docker, cri
        Tag kube.*
        Mem_Buf_Limit 1MB
        Skip_Long_Lines On
        Refresh_Interval 10

  filters: |
    [FILTER]
        Name kubernetes
        Match kube.*
        Merge_Log On
        Merge_Log_key log_processed
        K8S-Logging.Parser On
        K8S-Logging.Exclude Off


  outputs: |
    [OUTPUT]
        Name azure_kusto
    	Match *
    	Tenant_Id azure-tenant-id
    	Client_Id azure-client-id
    	Client_Secret azure-client-secret
    	Ingestion_Endpoint azure-data-explorer-ingestion-endpoint
    	Database_Name azure-data-explorer-database-name
    	Table_Name azure-data-explorer-table-name

Controleer of gegevens worden opgenomen in Azure Data Explorer

Zodra de configuratie is voltooid, moeten de logboeken in uw Azure Data Explorer tabel terechtkomen.

1. Voer de volgende query uit om te controleren of logboeken zijn opgenomen:

   FluentBitLogs
   | count
   

2. Voer de volgende query uit om een voorbeeld van logboekgegevens weer te geven:

   FluentBitLogs
   | take 100
   

Gerelateerde inhoud

• Query's schrijven