A 1. generációs Azure Data Lake Storage diagnosztikai naplóinak elérése
Megtudhatja, hogyan engedélyezheti a diagnosztikai naplózást az Azure Data Lake Storage Gen1-fiókjához, és hogyan tekintheti meg a fiókhoz gyűjtött naplókat.
A szervezetek engedélyezhetik a diagnosztikai naplózást a Azure Data Lake Storage Gen1-fiókjukhoz olyan adathozzáférési naplók gyűjtéséhez, amelyek olyan információkat tartalmaznak, mint az adatokhoz hozzáférő felhasználók listája, az adatok elérésének gyakorisága, a fiókban tárolt adatok száma stb. Ha engedélyezve van, a rendszer a diagnosztika és/vagy a kérések naplózását a lehető legjobb erőfeszítéssel végzi. A kérések és a diagnosztikai naplóbejegyzések csak akkor jönnek létre, ha a szolgáltatásvégponton vannak kérések.
Előfeltételek
- Azure-előfizetés. Lásd: Ingyenes Azure-fiók létrehozása.
- Azure Data Lake Storage Gen1-fiók. Kövesse a Azure Data Lake Storage Gen1 használatának első lépéseit a Azure Portal használatával.
Diagnosztikai naplózás engedélyezése a Data Lake Storage Gen1-fiókhoz
Jelentkezzen be az új Azure Portalra.
Nyissa meg Data Lake Storage Gen1 fiókját, és a Data Lake Storage Gen1 fiók paneljén kattintson a Diagnosztikai beállítások elemre.
A Diagnosztikai beállítások panelen kattintson a Diagnosztikák bekapcsolása elemre.
A Diagnosztikai beállítások panelen végezze el az alábbi módosításokat a diagnosztikai naplózás konfigurálásához.
A Név mezőbe írja be a diagnosztikai napló konfigurációjának értékét.
Dönthet úgy, hogy az adatokat különböző módokon tárolja/dolgozza fel.
Válassza az Archiválás tárfiókba lehetőséget a naplók Azure Storage-fiókba való tárolásához. Ezt a lehetőséget akkor érdemes használnia, ha egy későbbi időpontban szeretné archiválni a kötegelt feldolgozásra váró adatokat. Ha ezt a lehetőséget választja, meg kell adnia egy Azure Storage-fiókot a naplók mentéséhez.
Válassza ki azt a lehetőséget, Stream egy eseményközpontba a naplóadatok Azure Event Hubba való streameléséhez. Valószínűleg ezt a lehetőséget fogja használni, ha egy alsóbb rétegbeli feldolgozási folyamat segítségével valós időben elemezheti a bejövő naplókat. Ha ezt a lehetőséget választja, meg kell adnia a használni kívánt Azure Event Hub adatait.
Válassza a Küldés a Log Analyticsbe lehetőséget az Azure Monitor szolgáltatás használatával a létrehozott naplóadatok elemzéséhez. Ha ezt a lehetőséget választja, meg kell adnia annak a Log Analytics-munkaterületnek a részleteit, amelyet a naplóelemzés végrehajtásához használna. Az Azure Monitor-naplók használatával gyűjtött adatok megtekintéséről és elemzéséről további információt az Azure Monitor-naplók használatával kapcsolatban talál.
Adja meg, hogy auditnaplókat vagy kérésnaplókat szeretne-e lekérni, vagy mindkettőt.
Adja meg, hogy hány napig kell megőrizni az adatokat. A megőrzés csak akkor érvényes, ha Azure Storage-fiókot használ a naplóadatok archiválásához.
Kattintson a Mentés gombra.
Miután engedélyezte a diagnosztikai beállításokat, watch a naplókat a Diagnosztikai naplók lapon.
A Data Lake Storage Gen1-fiók diagnosztikai naplóinak megtekintése
A Data Lake Storage Gen1-fiók naplóadatait kétféleképpen tekintheti meg.
- A Data Lake Storage Gen1 fiókbeállítások nézetből
- Abból az Azure Storage-fiókból, ahol az adatokat tárolják
A Data Lake Storage Gen1 Beállítások nézet használata
A Data Lake Storage Gen1 fiók beállításai panelen kattintson a Diagnosztikai naplók elemre.
A Diagnosztikai naplók panelen az auditnaplók és a kérelemnaplók szerint kategorizált naplóknak kell megjelennie.
- A kérésnaplók rögzítik az Data Lake Storage Gen1-fiókon végrehajtott összes API-kérést.
- A naplók hasonlóak a kérelemnaplókhoz, de sokkal részletesebben részletezik a Data Lake Storage Gen1-fiókon végrehajtott műveleteket. Egy kérelemnaplókban egy feltöltési API-hívás például több "hozzáfűzési" műveletet eredményezhet az auditnaplókban.
A naplók letöltéséhez kattintson az egyes naplóbejegyzések Letöltés hivatkozására.
Naplóadatokat tartalmazó Azure Storage-fiókból
Nyissa meg a naplózáshoz a Data Lake Storage Gen1 társított Azure Storage-fiók panelt, majd kattintson a Blobok elemre. A Blob szolgáltatás panelen két tároló található.
- A container insights-logs-audit tartalmazza az auditnaplókat.
- A container insights-logs-requests tartalmazza a kérelemnaplókat.
Ezekben a tárolókban a naplók a következő struktúrában vannak tárolva.
Példaként egy auditnapló teljes elérési útja a következő lehet:
https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=04/m=00/PT1H.json
Hasonlóképpen, a kérelemnapló teljes elérési útja lehet a következő:
https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=14/m=00/PT1H.json
A naplóadatok szerkezetének megismerése
A naplózási és kérelemnaplók JSON formátumban vannak. Ebben a szakaszban a JSON struktúráját tekintjük át a kérelem- és auditnaplókhoz.
Kérelemnaplók
Íme egy mintabejegyzés a JSON-formátumú kérelemnaplóban. Minden blob rendelkezik egy rekordnak nevezett gyökérobjektummal, amely naplóobjektumok tömböt tartalmaz.
{
"records":
[
. . . .
,
{
"time": "2016-07-07T21:02:53.456Z",
"resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
"category": "Requests",
"operationName": "GETCustomerIngressEgress",
"resultType": "200",
"callerIpAddress": "::ffff:1.1.1.1",
"correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
"identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
"properties": {"HttpMethod":"GET","Path":"/webhdfs/v1/Samples/Outputs/Drivers.csv","RequestContentLength":0,"StoreIngressSize":0 ,"StoreEgressSize":4096,"ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8","StartTime":"2016-07-07T21:02:52.472Z","EndTime":"2016-07-07T21:02:53.456Z","QueryParameters":"api-version=<version>&op=<operationName>"}
}
,
. . . .
]
}
Kérelemnapló-séma
Név | Típus | Description |
---|---|---|
time | Sztring | A napló időbélyege (UTC-ben) |
resourceId | Sztring | Annak az erőforrásnak az azonosítója, amelyen a műveletet végrehajtották |
category | Sztring | A naplókategória. Például Kérések. |
operationName | Sztring | A naplózott művelet neve. Például getfilestatus. |
resultType | Sztring | A művelet állapota, például 200. |
callerIpAddress | Sztring | A kérést küldő ügyfél IP-címe |
correlationId | Sztring | A napló azonosítója, amely a kapcsolódó naplóbejegyzések egy csoportjának csoportosítására használható |
identity | Objektum | A naplót létrehozó identitás |
properties | JSON | Részletekért lásd alább |
Naplótulajdonság-séma kérése
Név | Típus | Description |
---|---|---|
HttpMethod | Sztring | A művelethez használt HTTP-metódus. Például: GET. |
Elérési út | Sztring | A művelet végrehajtásának útvonala a következőn: |
RequestContentLength | int | A HTTP-kérelem tartalomhossza |
ClientRequestId | Sztring | A kérést egyedileg azonosító azonosító |
StartTime | Sztring | Az az időpont, amikor a kiszolgáló megkapta a kérést |
EndTime | Sztring | Az az időpont, amikor a kiszolgáló választ küldött |
StoreIngressSize | Hosszú | A Data Lake Store-ba bejövő bájtok mérete |
StoreEgressSize | Hosszú | Méret a Data Lake Store-ból kimenő bájtokban |
Lekérdezésparaméterek | Sztring | Leírás: Ezek a HTTP-lekérdezési paraméterek. 1. példa: api-version=2014-01-01&op=getfilestatus 2. példa: op=APPEND&append=true&syncFlag=DATA&filesessionid=bee3355a-4925-4435-bb4d-ceea52811aeb&leaseid=bee3355a-4925-4435-bb4d-ceea52811aeb&offset=28313319&api-version=2017-08-01 |
Naplók
Íme egy mintabejegyzés a JSON formátumú auditnaplóban. Minden blob rendelkezik egy rekordnak nevezett gyökérobjektummal, amely naplóobjektumok tömböt tartalmaz
{
"records":
[
. . . .
,
{
"time": "2016-07-08T19:08:59.359Z",
"resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
"category": "Audit",
"operationName": "SeOpenStream",
"resultType": "0",
"resultSignature": "0",
"correlationId": "381110fc03534e1cb99ec52376ceebdf;Append_BrEKAmg;25.66.9.145",
"identity": "A9DAFFAF-FFEE-4BB5-A4A0-1B6CBBF24355",
"properties": {"StreamName":"adl://<data_lake_storage_gen1_account_name>.azuredatalakestore.net/logs.csv"}
}
,
. . . .
]
}
Auditnapló sémája
Név | Típus | Description |
---|---|---|
time | Sztring | A napló időbélyege (UTC-ben) |
resourceId | Sztring | Annak az erőforrásnak az azonosítója, amelyen a műveletet végrehajtották |
category | Sztring | A naplókategória. Például : Naplózás. |
operationName | Sztring | A naplózott művelet neve. Például: getfilestatus. |
resultType | Sztring | A művelet állapota, például 200. |
resultSignature | Sztring | További részletek a műveletről. |
correlationId | Sztring | Annak a naplónak az azonosítója, amely a kapcsolódó naplóbejegyzések egy csoportjának csoportosítására használható |
identity | Objektum | A naplót létrehozó identitás |
properties | JSON | A részletekért lásd alább |
Naplótulajdonságok sémája
Név | Típus | Description |
---|---|---|
StreamName | Sztring | A művelet végrehajtásának útvonala a következőn: |
Minták a naplóadatok feldolgozásához
Amikor naplókat küld Azure Data Lake Storage Gen1-ből az Azure Monitor-naplókba (lásd: Az Azure Monitor-naplókkal gyűjtött adatok megtekintése vagy elemzése, az Azure Monitor-naplók használatával kapcsolatos részletek keresése), a következő lekérdezés egy táblát ad vissza, amely tartalmazza a felhasználói megjelenítendő nevek listáját, az események időpontját és az esemény időpontjának számát, valamint egy vizualizációs diagramot. Egyszerűen módosítható a felhasználói GUID vagy más attribútumok megjelenítéséhez:
search *
| where ( Type == "AzureDiagnostics" )
| summarize count(TimeGenerated) by identity_s, TimeGenerated
Azure Data Lake Storage Gen1 mintát nyújt a naplóadatok feldolgozására és elemzésére. A mintát a következő helyen találja: https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.