Az 1. generációs Azure Data Lake Storage diagnosztikai naplóinak elérése

Ismerje meg, hogyan engedélyezheti a diagnosztikai naplózást az Azure Data Lake Storage Gen1-fiókjához, és hogyan tekintheti meg a fiókhoz gyűjtött naplókat.

A szervezetek engedélyezhetik a diagnosztikai naplózást az Azure Data Lake Storage Gen1-fiókjukhoz, hogy olyan adathozzáférési naplókat gyűjtsenek, amelyek olyan információkat nyújtanak, mint az adatokhoz hozzáférő felhasználók listája, az adatok elérésének gyakorisága, a fiókban tárolt adatok száma stb. Ha engedélyezve van, a rendszer a diagnosztika és/vagy a kérések naplózását a lehető legjobb munkamennyiség alapján naplózza. A kérések és a diagnosztikai naplóbejegyzések csak akkor jönnek létre, ha a szolgáltatásvégponton vannak kérések.

Előfeltételek

Diagnosztikai naplózás engedélyezése a Data Lake Storage Gen1-fiókhoz

  1. Jelentkezzen be az új Azure Portalra.

  2. Nyissa meg a Data Lake Storage Gen1-fiókját, és a Data Lake Storage Gen1-fiók paneljén kattintson Diagnosztikai beállításokelemre.

  3. A Diagnosztikai beállítások panelen kattintson a Diagnosztika bekapcsolásaelemre.

    A Data Lake Storage Gen 1 fiók képernyőképe a Diagnosztikai beállítások opcióval és a Diagnosztika bekapcsolása lehetőséggel megjelölve.

  4. A Diagnosztikai beállítások panelen végezze el az alábbi módosításokat a diagnosztikai naplózás konfigurálásához.

    A Diagnosztikai beállítás szakasz képernyőképe a Név szövegmezővel és a Mentés lehetőséggel.

    • A Névmezőben adja meg a diagnosztikai napló konfigurációjának értékét.

    • Dönthet úgy, hogy az adatokat különböző módokon tárolja/dolgozza fel.

      • Ha a naplókat egy Azure Storage-fiókba szeretné tárolni, válassza az archiválás egy tárfiókba lehetőséget. Ezt a lehetőséget akkor használja, ha az adatokat, amelyek kötegelt feldolgozáson esnek át, későbbi időpontban szeretné archiválni. Ha ezt a lehetőséget választja, meg kell adnia egy Azure Storage-fiókot a naplók mentéséhez.

      • Válassza az opciót, hogy az eseményközpontba való adatfolyamhoz naplóadatokat vigyen egy Azure Event Hubba. Valószínűleg ezt a lehetőséget fogja használni, ha egy alsóbb rétegbeli feldolgozási folyamat segítségével valós időben elemezheti a bejövő naplókat. Ha ezt a lehetőséget választja, meg kell adnia a használni kívánt Azure Event Hub részleteit.

      • Válassza a Küldés a Log Analyticsbe lehetőséget az Azure Monitor szolgáltatás használatával a létrehozott naplóadatok elemzéséhez. Ha ezt a lehetőséget választja, meg kell adnia annak a Log Analytics-munkaterületnek a részleteit, amelyet a naplóelemzés végrehajtásához használna. Az Azure Monitor napló keresés funkciójának segítségével megtekintheti vagy elemezheti az Azure Monitor naplók használatával gyűjtött adatokat. További részleteket az Azure Monitor naplók használatáról talál.

    • Adja meg, hogy auditnaplókat, kérési naplókat vagy mindkettőt szeretne-e lekérni.

    • Adja meg, hogy hány napig őrizze meg az adatokat. A megőrzés csak akkor alkalmazható, ha Azure Storage-fiókot használ a naplóadatok archiválásához.

    • Kattintson a Mentés lehetőségre.

Miután engedélyezte a diagnosztikai beállításokat, megtekintheti a naplókat a Diagnosztikai naplók lapon.

A Data Lake Storage Gen1-fiók diagnosztikai naplóinak megtekintése

A Data Lake Storage Gen1-fiók naplóadatai kétféleképpen tekinthetők meg.

  • A Data Lake Storage Gen1 fiókbeállítások nézetéből
  • Abból az Azure Storage-fiókból, ahol az adatokat tárolják

A Data Lake Storage Gen1 Beállítások nézetének használata

  1. A Data Lake Storage Gen1-fiók Beállítások ablakában kattintson a Diagnosztikai naplókelemre.

    Diagnosztikai naplók megtekintése

  2. A Diagnosztikai naplók panelen, látni fogja az Audit naplók és kérelemnaplókszerint kategorizált naplókat.

    • A kérelemnaplók rögzítik a Data Lake Storage Gen1-fiókban küldött összes API-kérést.
    • A naplózási naplók hasonlóak a kérelemnaplókhoz, de sokkal részletesebben részletezik a Data Lake Storage Gen1-fiókon végrehajtott műveleteket. A kérelemnaplókban szereplő egyetlen feltöltési API-hívás például több hozzáfűzési műveletet eredményezhet az ellenőrzési naplókban.

  3. A naplók letöltéséhez kattintson az egyes naplóbejegyzések Letöltés hivatkozásra.

Naplóadatokat tartalmazó Azure Storage-fiókból

  1. Nyissa meg a Data Lake Storage Gen1-hez társított Azure Storage-fiók panelt naplózáshoz, majd kattintson a Blobok elemre. A Blob szolgáltatás panelja két tárolót sorol fel.

    Képernyőkép a Data Lake Storage Gen 1 paneljéről, a kiválasztott Blobok beállításról és a Blog szolgáltatás panelről, amelyen a két blobszolgáltatás neve szerepel.

    • A tároló insights-logs-audit tartalmazza az auditnaplókat.
    • A tároló insights-logs-requests tartalmazza a kérelemnaplókat.

  2. Ezekben a tárolókban a naplók a következő struktúrában vannak tárolva.

    A tárolóban tárolt naplóstruktúra képernyőképe.

    Példaként az auditnapló teljes útvonala lehet https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=04/m=00/PT1H.json

    Hasonlóképpen, a kérésnapló teljes elérési útja lehet https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=14/m=00/PT1H.json

A naplóadatok szerkezetének megismerése

Az ellenőrzési és kérelem naplók JSON formátumúak. Ebben a szakaszban a kérelem- és auditnaplók JSON-struktúráját tekintjük át.

Kérelemnaplók

Íme egy mintabejegyzés a JSON-formátumú kérelemnaplóban. Minden blob rendelkezik egy rekordnak nevezett gyökérobjektummal,, amely naplóobjektumokat tartalmazó tömböt tartalmaz.

{
"records": 
  [        
    . . . .
    ,
    {
        "time": "2016-07-07T21:02:53.456Z",
        "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
        "category": "Requests",
        "operationName": "GETCustomerIngressEgress",
        "resultType": "200",
        "callerIpAddress": "::ffff:1.1.1.1",
        "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
        "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
        "properties": {"HttpMethod":"GET","Path":"/webhdfs/v1/Samples/Outputs/Drivers.csv","RequestContentLength":0,"StoreIngressSize":0 ,"StoreEgressSize":4096,"ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8","StartTime":"2016-07-07T21:02:52.472Z","EndTime":"2016-07-07T21:02:53.456Z","QueryParameters":"api-version=<version>&op=<operationName>"}
    }
    ,
    . . . .
  ]
}

Kérelemnapló-séma

Név Típus szerint Leírás
Idő Sztring A napló időbélyege (UTC-ben)
erőforrás-azonosító Sztring Annak az erőforrásnak az azonosítója, amelyen a művelet történt
kategória Sztring Naplókategória. Például kérések.
műveletNév Sztring A naplózott művelet neve. Például "getfilestatus".
eredménytípus Sztring A művelet státusza, például 200.
hívóIpCím Sztring A kérelmet küldő ügyfél IP-címe
correlationId Sztring Annak a naplónak az azonosítója, amely a kapcsolódó naplóbejegyzések egy csoportjának csoportosítására használható
azonosság Objektum A naplót létrehozó identitás
tulajdonságok JSON Részletekért lásd alább

Kérelemnapló tulajdonságainak sémája

Név Típus szerint Leírás
HttpMethod Sztring A művelethez használt HTTP-metódus. Például: GET.
Útvonal Sztring A művelet végrehajtásának útvonala
KérelemTartalomHossz Int A HTTP-kérelem tartalomhossza
ClientRequestId Sztring A kérést egyedileg azonosító azonosító
KezdésiIdő Sztring Az időpont, amikor a kiszolgáló megkapta a kérést
Befejezési idő Sztring A kiszolgáló válaszküldésének időpontja
StoreIngressSize Hosszú A Data Lake Store-ba beáramló bájtok mérete
StoreEgressSize Hosszú A Data Lake Store-ból kibocsátott bájtok mérete
Lekérdezésparaméterek Sztring Leírás: Ezek a http-lekérdezési paraméterek. 1. példa: api-version=2014-01-01&op=getfilestatus 2. példa: op=APPEND&append=true&syncFlag=DATA&filesessionid=bee3355a-4925-4435-bb4d-ceea52811aeb&leaseid=bee3355a-4925-4435-bb4d-ceea52811aeb&offset=28313319&api-version=2017-08-01

Ellenőrzési naplók

Íme egy mintabejegyzés a JSON-formátumú naplózási naplóban. Minden blob rendelkezik egy rekordnak nevezett gyökérobjektummal, amely naplóobjektum-tömböt tartalmaz

{
"records": 
  [        
    . . . .
    ,
    {
        "time": "2016-07-08T19:08:59.359Z",
        "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
        "category": "Audit",
        "operationName": "SeOpenStream",
        "resultType": "0",
        "resultSignature": "0",
        "correlationId": "381110fc03534e1cb99ec52376ceebdf;Append_BrEKAmg;25.66.9.145",
        "identity": "A9DAFFAF-FFEE-4BB5-A4A0-1B6CBBF24355",
        "properties": {"StreamName":"adl://<data_lake_storage_gen1_account_name>.azuredatalakestore.net/logs.csv"}
    }
    ,
    . . . .
  ]
}

Audit naplóséma

Név Típus szerint Leírás
Idő Sztring A napló időbélyege (UTC-ben)
erőforrás-azonosító Sztring Annak az erőforrásnak az azonosítója, amelyen a művelet történt
kategória Sztring Naplókategória. Például Audit.
műveletNév Sztring A naplózott művelet neve. Például "getfilestatus".
eredménytípus Sztring A művelet státusza, például 200.
eredményaláírás Sztring További részletek a műveletről.
correlationId Sztring Annak a naplónak az azonosítója, amely a kapcsolódó naplóbejegyzések egy csoportjának csoportosítására használható
azonosság Objektum A naplót létrehozó identitás
tulajdonságok JSON Részletekért lásd alább

Ellenőrzési napló tulajdonságainak sémája

Név Típus szerint Leírás
StreamName Sztring A művelet végrehajtásának útvonala

Minták a naplóadatok feldolgozásához

Amikor naplókat küld az Azure Data Lake Storage Gen1-ből az Azure Monitor-naplókba (lásd Az Azure Monitor-naplók keresési gyűjtött adatok megtekintése vagy elemzése az Azure Monitor-naplók használatával kapcsolatos részletekért), a következő lekérdezés egy táblát ad vissza, amely tartalmazza a felhasználói megjelenítendő nevek listáját, az események időpontját és az esemény időpontjának számát egy vizualizációs diagrammal együtt. Egyszerűen módosítható a felhasználói GUID vagy más attribútumok megjelenítéséhez:

search *
| where ( Type == "AzureDiagnostics" )
| summarize count(TimeGenerated) by identity_s, TimeGenerated

Az Azure Data Lake Storage Gen1 mintaként szolgál a naplóadatok feldolgozásához és elemzéséhez. A mintát megtalálhatja a https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample-nál.

Lásd még

  • Last updated on