A 1. generációs Azure Data Lake Storage diagnosztikai naplóinak elérése

  • Cikk

Megtudhatja, hogyan engedélyezheti a diagnosztikai naplózást az Azure Data Lake Storage Gen1-fiókjához, és hogyan tekintheti meg a fiókhoz gyűjtött naplókat.

A szervezetek engedélyezhetik a diagnosztikai naplózást a Azure Data Lake Storage Gen1-fiókjukhoz olyan adathozzáférési naplók gyűjtéséhez, amelyek olyan információkat tartalmaznak, mint az adatokhoz hozzáférő felhasználók listája, az adatok elérésének gyakorisága, a fiókban tárolt adatok száma stb. Ha engedélyezve van, a rendszer a diagnosztika és/vagy a kérések naplózását a lehető legjobb erőfeszítéssel végzi. A kérések és a diagnosztikai naplóbejegyzések csak akkor jönnek létre, ha a szolgáltatásvégponton vannak kérések.

Előfeltételek

Diagnosztikai naplózás engedélyezése a Data Lake Storage Gen1-fiókhoz

  1. Jelentkezzen be az új Azure Portalra.

  2. Nyissa meg Data Lake Storage Gen1 fiókját, és a Data Lake Storage Gen1 fiók paneljén kattintson a Diagnosztikai beállítások elemre.

  3. A Diagnosztikai beállítások panelen kattintson a Diagnosztikák bekapcsolása elemre.

    Képernyőkép az 1. generációs Data Lake Storage fiókról a Diagnosztikai beállítással és a Diagnosztikai beállítások bekapcsolása lehetőséggel.

  4. A Diagnosztikai beállítások panelen végezze el az alábbi módosításokat a diagnosztikai naplózás konfigurálásához.

    Képernyőkép a Diagnosztikai beállítás szakaszról a Név szövegmezővel és a Mentés lehetőséggel.

    • A Név mezőbe írja be a diagnosztikai napló konfigurációjának értékét.

    • Dönthet úgy, hogy az adatokat különböző módokon tárolja/dolgozza fel.

      • Válassza az Archiválás tárfiókba lehetőséget a naplók Azure Storage-fiókba való tárolásához. Ezt a lehetőséget akkor érdemes használnia, ha egy későbbi időpontban szeretné archiválni a kötegelt feldolgozásra váró adatokat. Ha ezt a lehetőséget választja, meg kell adnia egy Azure Storage-fiókot a naplók mentéséhez.

      • Válassza ki azt a lehetőséget, Stream egy eseményközpontba a naplóadatok Azure Event Hubba való streameléséhez. Valószínűleg ezt a lehetőséget fogja használni, ha egy alsóbb rétegbeli feldolgozási folyamat segítségével valós időben elemezheti a bejövő naplókat. Ha ezt a lehetőséget választja, meg kell adnia a használni kívánt Azure Event Hub adatait.

      • Válassza a Küldés a Log Analyticsbe lehetőséget az Azure Monitor szolgáltatás használatával a létrehozott naplóadatok elemzéséhez. Ha ezt a lehetőséget választja, meg kell adnia annak a Log Analytics-munkaterületnek a részleteit, amelyet a naplóelemzés végrehajtásához használna. Az Azure Monitor-naplók használatával gyűjtött adatok megtekintéséről és elemzéséről további információt az Azure Monitor-naplók használatával kapcsolatban talál.

    • Adja meg, hogy auditnaplókat vagy kérésnaplókat szeretne-e lekérni, vagy mindkettőt.

    • Adja meg, hogy hány napig kell megőrizni az adatokat. A megőrzés csak akkor érvényes, ha Azure Storage-fiókot használ a naplóadatok archiválásához.

    • Kattintson a Mentés gombra.

Miután engedélyezte a diagnosztikai beállításokat, watch a naplókat a Diagnosztikai naplók lapon.

A Data Lake Storage Gen1-fiók diagnosztikai naplóinak megtekintése

A Data Lake Storage Gen1-fiók naplóadatait kétféleképpen tekintheti meg.

  • A Data Lake Storage Gen1 fiókbeállítások nézetből
  • Abból az Azure Storage-fiókból, ahol az adatokat tárolják

A Data Lake Storage Gen1 Beállítások nézet használata

  1. A Data Lake Storage Gen1 fiók beállításai panelen kattintson a Diagnosztikai naplók elemre.

    Diagnosztikai naplók megtekintése

  2. A Diagnosztikai naplók panelen az auditnaplók és a kérelemnaplók szerint kategorizált naplóknak kell megjelennie.

    • A kérésnaplók rögzítik az Data Lake Storage Gen1-fiókon végrehajtott összes API-kérést.
    • A naplók hasonlóak a kérelemnaplókhoz, de sokkal részletesebben részletezik a Data Lake Storage Gen1-fiókon végrehajtott műveleteket. Egy kérelemnaplókban egy feltöltési API-hívás például több "hozzáfűzési" műveletet eredményezhet az auditnaplókban.

  3. A naplók letöltéséhez kattintson az egyes naplóbejegyzések Letöltés hivatkozására.

Naplóadatokat tartalmazó Azure Storage-fiókból

  1. Nyissa meg a naplózáshoz a Data Lake Storage Gen1 társított Azure Storage-fiók panelt, majd kattintson a Blobok elemre. A Blob szolgáltatás panelen két tároló található.

    Képernyőkép a Data Lake Storage Gen 1 panelről, a kiválasztott Blobok beállításról és a Blogszolgáltatás panelről, amelyen a két blobszolgáltatás neve szerepel.

    • A container insights-logs-audit tartalmazza az auditnaplókat.
    • A container insights-logs-requests tartalmazza a kérelemnaplókat.

  2. Ezekben a tárolókban a naplók a következő struktúrában vannak tárolva.

    Képernyőkép a tárolóban tárolt naplóstruktúráról.

    Példaként egy auditnapló teljes elérési útja a következő lehet: https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=04/m=00/PT1H.json

    Hasonlóképpen, a kérelemnapló teljes elérési útja lehet a következő: https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=14/m=00/PT1H.json

A naplóadatok szerkezetének megismerése

A naplózási és kérelemnaplók JSON formátumban vannak. Ebben a szakaszban a JSON struktúráját tekintjük át a kérelem- és auditnaplókhoz.

Kérelemnaplók

Íme egy mintabejegyzés a JSON-formátumú kérelemnaplóban. Minden blob rendelkezik egy rekordnak nevezett gyökérobjektummal, amely naplóobjektumok tömböt tartalmaz.

{
"records": 
  [        
    . . . .
    ,
    {
        "time": "2016-07-07T21:02:53.456Z",
        "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
        "category": "Requests",
        "operationName": "GETCustomerIngressEgress",
        "resultType": "200",
        "callerIpAddress": "::ffff:1.1.1.1",
        "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
        "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
        "properties": {"HttpMethod":"GET","Path":"/webhdfs/v1/Samples/Outputs/Drivers.csv","RequestContentLength":0,"StoreIngressSize":0 ,"StoreEgressSize":4096,"ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8","StartTime":"2016-07-07T21:02:52.472Z","EndTime":"2016-07-07T21:02:53.456Z","QueryParameters":"api-version=<version>&op=<operationName>"}
    }
    ,
    . . . .
  ]
}

Kérelemnapló-séma

Név Típus Description
time Sztring A napló időbélyege (UTC-ben)
resourceId Sztring Annak az erőforrásnak az azonosítója, amelyen a műveletet végrehajtották
category Sztring A naplókategória. Például Kérések.
operationName Sztring A naplózott művelet neve. Például getfilestatus.
resultType Sztring A művelet állapota, például 200.
callerIpAddress Sztring A kérést küldő ügyfél IP-címe
correlationId Sztring A napló azonosítója, amely a kapcsolódó naplóbejegyzések egy csoportjának csoportosítására használható
identity Objektum A naplót létrehozó identitás
properties JSON Részletekért lásd alább

Naplótulajdonság-séma kérése

Név Típus Description
HttpMethod Sztring A művelethez használt HTTP-metódus. Például: GET.
Elérési út Sztring A művelet végrehajtásának útvonala a következőn:
RequestContentLength int A HTTP-kérelem tartalomhossza
ClientRequestId Sztring A kérést egyedileg azonosító azonosító
StartTime Sztring Az az időpont, amikor a kiszolgáló megkapta a kérést
EndTime Sztring Az az időpont, amikor a kiszolgáló választ küldött
StoreIngressSize Hosszú A Data Lake Store-ba bejövő bájtok mérete
StoreEgressSize Hosszú Méret a Data Lake Store-ból kimenő bájtokban
Lekérdezésparaméterek Sztring Leírás: Ezek a HTTP-lekérdezési paraméterek. 1. példa: api-version=2014-01-01&op=getfilestatus 2. példa: op=APPEND&append=true&syncFlag=DATA&filesessionid=bee3355a-4925-4435-bb4d-ceea52811aeb&leaseid=bee3355a-4925-4435-bb4d-ceea52811aeb&offset=28313319&api-version=2017-08-01

Naplók

Íme egy mintabejegyzés a JSON formátumú auditnaplóban. Minden blob rendelkezik egy rekordnak nevezett gyökérobjektummal, amely naplóobjektumok tömböt tartalmaz

{
"records": 
  [        
    . . . .
    ,
    {
        "time": "2016-07-08T19:08:59.359Z",
        "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
        "category": "Audit",
        "operationName": "SeOpenStream",
        "resultType": "0",
        "resultSignature": "0",
        "correlationId": "381110fc03534e1cb99ec52376ceebdf;Append_BrEKAmg;25.66.9.145",
        "identity": "A9DAFFAF-FFEE-4BB5-A4A0-1B6CBBF24355",
        "properties": {"StreamName":"adl://<data_lake_storage_gen1_account_name>.azuredatalakestore.net/logs.csv"}
    }
    ,
    . . . .
  ]
}

Auditnapló sémája

Név Típus Description
time Sztring A napló időbélyege (UTC-ben)
resourceId Sztring Annak az erőforrásnak az azonosítója, amelyen a műveletet végrehajtották
category Sztring A naplókategória. Például : Naplózás.
operationName Sztring A naplózott művelet neve. Például: getfilestatus.
resultType Sztring A művelet állapota, például 200.
resultSignature Sztring További részletek a műveletről.
correlationId Sztring Annak a naplónak az azonosítója, amely a kapcsolódó naplóbejegyzések egy csoportjának csoportosítására használható
identity Objektum A naplót létrehozó identitás
properties JSON A részletekért lásd alább

Naplótulajdonságok sémája

Név Típus Description
StreamName Sztring A művelet végrehajtásának útvonala a következőn:

Minták a naplóadatok feldolgozásához

Amikor naplókat küld Azure Data Lake Storage Gen1-ből az Azure Monitor-naplókba (lásd: Az Azure Monitor-naplókkal gyűjtött adatok megtekintése vagy elemzése, az Azure Monitor-naplók használatával kapcsolatos részletek keresése), a következő lekérdezés egy táblát ad vissza, amely tartalmazza a felhasználói megjelenítendő nevek listáját, az események időpontját és az esemény időpontjának számát, valamint egy vizualizációs diagramot. Egyszerűen módosítható a felhasználói GUID vagy más attribútumok megjelenítéséhez:

search *
| where ( Type == "AzureDiagnostics" )
| summarize count(TimeGenerated) by identity_s, TimeGenerated

Azure Data Lake Storage Gen1 mintát nyújt a naplóadatok feldolgozására és elemzésére. A mintát a következő helyen találja: https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Lásd még