Adatok betöltése a Fluent Bit használatával az Azure Data Explorer

A Fluent Bit egy nyílt forráskódú ügynök, amely naplókat, metrikákat és nyomkövetéseket gyűjt különböző forrásokból. Lehetővé teszi az eseményadatok szűrését, módosítását és összesítését, mielőtt elküldené azokat a tárolóba. Az Azure Adatkezelő egy gyors és hatékonyan skálázható adatáttekintési szolgáltatás napló- és telemetriaadatokhoz. Ez a cikk végigvezeti azon folyamaton, amely során a Fluent Bit használatával adatokat küldhet az Azure Data Explorer.

Ebből a cikkből megtudhatja, hogyan:

• Azure Data Explorer-tábla létrehozása a naplók tárolásához
• Azure AD-alkalmazás regisztrálása adatok betöltésére vonatkozó engedélyekkel
• A Fluent Bit konfigurálása a naplók táblába való küldéséhez
• Ellenőrizze, hogy az adatok be lesznek-e betöltve az Azure Data Explorer

Az adatösszekötők teljes listáját lásd: Adatösszekötők áttekintése.

Előfeltételek

• Fluent Bit.
• Egy Azure-Data Explorer-fürt és -adatbázis. Hozzon létre egy fürtöt és egy adatbázist.

Azure Data Explorer-tábla létrehozása a naplók tárolásához

A Fluent Bit A naplókat JSON formátumban továbbítja az Azure Data Explorer három tulajdonsággal: log (dinamikus), tag (sztring) és timestamp (datetime).

Mindegyik tulajdonsághoz létrehozhat oszlopokat tartalmazó táblát. Ha strukturált naplókkal rendelkezik, létrehozhat egy egyéni oszlopokra leképezett naplótulajdonságokat tartalmazó táblát. További információért válassza a megfelelő lapot.

Alapértelmezett séma

Tábla létrehozása a Fluent Bitből érkező naplókhoz:

1. Válassza ki azt az adatbázist, amelyben létre szeretné hozni a táblát.

2. Futtassa a következő .create table parancsot:

   .create table FluentBitLogs (log:dynamic, tag:string, timestamp:datetime)
   

   Az Azure Data Explorer automatikusan a megfelelő oszlopba képezi le a bejövő JSON-tulajdonságokat.

Egyéni séma

Tábla létrehozása a Fluent Bit bejövő strukturált naplóihoz:

1. Válassza ki azt az adatbázist, amelyben létre szeretné hozni a táblát.

2. Futtassa a .create table parancsot. Ha például a naplók három , és nevű mezőt myStringtartalmaznak, myIntegerlétrehozhat egy táblát a következő sémával:myDynamic

   .create table FluentBitLogs (myString:string, myInteger:int, myDynamic: dynamic, timestamp:datetime)
   

3. Hozzon létre egy JSON-megfeleltetést a naplótulajdonságok megfelelő oszlopokra való leképezéséhez. A következő parancs létrehoz egy leképezést az előző lépésben szereplő példa alapján:

   .create-or-alter table FluentBitLogs ingestion json mapping "LogMapping" 
       ```[
       {"column" : "myString", "datatype" : "string", "Properties":{"Path":"$.log.myString"}},
       {"column" : "myInteger", "datatype" : "int", "Properties":{"Path":"$.log.myInteger"}}, 
       {"column" : "myDynamic", "datatype" : "dynamic", "Properties":{"Path":"$.log.myInteger"}}, 
       {"column" : "timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}} 
       ]```
   

Azure AD-alkalmazás regisztrálása adatok betöltésére vonatkozó engedélyekkel

Az Azure Active Directory (Azure AD) alkalmazáshitelesítést azokhoz az alkalmazásokhoz használják, amelyeknek az Azure Data Explorer felhasználó nélkül kell hozzáférnie. A Fluent Bit használatával történő adatbetöltéshez létre kell hoznia és regisztrálnia kell egy Azure AD szolgáltatásnevet, majd engedélyeznie kell ezt az egyszerű felhasználót, hogy adatokat töltsen be az Azure Data Explorer táblába.

1. Hozzon létre egy Azure AD alkalmazásregisztrációt.

2. Mentse az alkalmazás (ügyfél) azonosítóját, a címtár (bérlő) azonosítóját és a titkos ügyfélkulcs értékét a következő lépésekben való használatra.

3. Futtassa a következő parancsot, és cserélje le a elemet <MyDatabase> az adatbázis nevére:

   .add database MyDatabase ingestors ('aadapp=<Application (client) ID>;<Directory (tenant) ID>' 'Fluent Bit application)
   

   Ez a parancs engedélyeket ad az alkalmazásnak az adatok táblázatba való betöltéséhez. További információ: szerepköralapú hozzáférés-vezérlés.

A Fluent Bit konfigurálása a naplók táblába való küldéséhez

Ha úgy szeretné konfigurálni a Fluent Bitet, hogy naplókat küldjön az Azure Data Explorer táblába, hozzon létre egy klasszikus módú vagy YAML módú konfigurációs fájlt a következő kimeneti tulajdonságokkal:

Mező	Leírás
Név	azure_kusto
Match	A bejövő rekordok címkéivel egyező minta. Megkülönbözteti a kis- és nagybetűt, és helyettesítő karakterként támogatja a star (*) karaktert.
Tenant_Id	Az adatok betöltésére vonatkozó engedélyekkel rendelkező Azure AD-alkalmazás regisztrálása című témakör címtár- (bérlői) azonosítója.
Client_Id	Az alkalmazás (ügyfél) azonosítója az adatok betöltésére vonatkozó engedélyekkel rendelkező Azure AD alkalmazás regisztrálásához.
Client_Secret	Az ügyfél titkos kulcsának értéke: Azure AD alkalmazás regisztrálása adatok betöltésére vonatkozó engedélyekkel.
Ingestion_Endpoint	Használja a fürt áttekintésének Azure Portal található adatbetöltési URI-t.
Database_Name	A naplótáblát tartalmazó adatbázis neve.
Table_Name	Az Azure-Data Explorer tábla létrehozása című táblázat neve.
Ingestion_Mapping_Reference	A betöltési leképezés neve az Azure Data Explorer táblából. Ha nem hoz létre betöltési leképezést, távolítsa el a tulajdonságot a konfigurációs fájlból.

Egy példakonfigurációs fájl megtekintéséhez válassza a megfelelő lapot:

Klasszikus mód

[SERVICE]
    Daemon Off
    Flush 1
    Log_Level trace
    HTTP_Server On
    HTTP_Listen 0.0.0.0
    HTTP_Port 2020
    Health_Check On

[INPUT]
    Name tail
    Path /var/log/containers/*.log
    Tag kube.*
    Mem_Buf_Limit 1MB
    Skip_Long_Lines On
    Refresh_Interval 10

[OUTPUT]
    Name azure_kusto
    Match *
    Tenant_Id azure-tenant-id
    Client_Id azure-client-id
    Client_Secret azure-client-secret
    Ingestion_Endpoint azure-data-explorer-ingestion-endpoint
    Database_Name azure-data-explorer-database-name
    Table_Name azure-data-explorer-table-name

YAML mód

config:
  service: |
    [SERVICE]
        Daemon Off
        Flush 1
        Log_Level trace
        HTTP_Server On
        HTTP_Listen 0.0.0.0
        HTTP_Port 2020
        Health_Check On
        
  inputs: |
    [INPUT]
        Name tail
        Path /var/log/containers/*.log
        multiline.parser docker, cri
        Tag kube.*
        Mem_Buf_Limit 1MB
        Skip_Long_Lines On
        Refresh_Interval 10

  filters: |
    [FILTER]
        Name kubernetes
        Match kube.*
        Merge_Log On
        Merge_Log_key log_processed
        K8S-Logging.Parser On
        K8S-Logging.Exclude Off


  outputs: |
    [OUTPUT]
        Name azure_kusto
    	Match *
    	Tenant_Id azure-tenant-id
    	Client_Id azure-client-id
    	Client_Secret azure-client-secret
    	Ingestion_Endpoint azure-data-explorer-ingestion-endpoint
    	Database_Name azure-data-explorer-database-name
    	Table_Name azure-data-explorer-table-name

Ellenőrizze, hogy az adatok be lesznek-e betöltve az Azure Data Explorer

A konfiguráció befejezése után a naplóknak meg kell érkeznie az Azure Data Explorer táblába.

1. A naplók betöltésének ellenőrzéséhez futtassa a következő lekérdezést:

   FluentBitLogs
   | count
   

2. A naplóadatok mintájának megtekintéséhez futtassa a következő lekérdezést:

   FluentBitLogs
   | take 100
   

Kapcsolódó tartalom

• Lekérdezések írása