Az Azure Data Lake Analytics diagnosztikai naplóinak elérése

Cikk
12/20/2023

Fontos

Az Azure Data Lake Analytics 2024. február 29-én megszűnt. További információ ezzel a bejelentéssel.

Az adatelemzéshez a szervezet használhatja a Azure Synapse Analyticset vagy a Microsoft Fabricet.

A diagnosztikai naplózás lehetővé teszi az adathozzáférési naplók gyűjtését. Ezek a naplók a következőkhöz hasonló információkat tartalmaznak:

Az adatokhoz hozzáférő felhasználók listája.
Az adatok elérésének gyakorisága.
Mennyi adat van tárolva a fiókban.

Naplózás engedélyezése

Jelentkezzen be az Azure Portalra.
Nyissa meg Data Lake Analytics fiókját, és válassza a Diagnosztikai beállítások lehetőséget a Figyelés szakaszban. Ezután válassza a + Diagnosztikai beállítás hozzáadása lehetőséget.
A Diagnosztika beállításban adja meg a naplózási konfiguráció nevét, majd válassza a naplózási beállításokat.
- Az adatokat négy különböző módon tárolhatja/dolgozhatja fel.
  - Válassza az Archiválás tárfiókba lehetőséget a naplók Azure-tárfiókban való tárolásához. Ezt a lehetőséget akkor használja, ha archiválni szeretné az adatokat. Ha ezt a lehetőséget választja, meg kell adnia egy Azure Storage-fiókot a naplók mentéséhez.
  - Válassza az Stream eseményközpontba lehetőséget, hogy naplóadatokat streameljen egy Azure Event Hubs. Akkor használja ezt a lehetőséget, ha olyan alárendelt feldolgozási folyamat van, amely valós időben elemzi a bejövő naplókat. Ha ezt a lehetőséget választja, meg kell adnia a használni kívánt Azure Event Hubs részleteit.
  - Válassza a Küldés a Log Analytics-munkaterületre lehetőséget az adatok Azure Monitor szolgáltatásba való küldéséhez. Ezt a lehetőséget akkor használhatja, ha az Azure Monitor-naplókat szeretné használni a naplók gyűjtéséhez és elemzéséhez.
  - Ha partnerintegrációt szeretne használni, válassza a Küldés partnermegoldásnak lehetőséget. További információért kövesse ezt a hivatkozást.
- Adja meg, hogy auditnaplókat vagy kérésnaplókat szeretne-e lekérni, vagy mindkettőt. A kérésnaplók minden API-kérést rögzítenek. Az auditnapló rögzíti az api-kérés által aktivált összes műveletet.
- A tárfiókba történő archiváláshoz adja meg az adatok megőrzéséhez szükséges napok számát.
- Kattintson a Mentés gombra.
  
  Megjegyzés
  
  A Mentés gomb kiválasztása előtt ki kell választania az Archiválás tárfiókba, Stream egy eseményközpontba, a Küldés a Log Analytics-munkaterületre vagy a Küldés partnermegoldásba lehetőséget.

A naplóadatokat tartalmazó Azure Storage-fiók használata

A naplózási adatokat tároló blobtárolók megjelenítéséhez nyissa meg a naplózáshoz Data Lake Analytics használt Azure Storage-fiókot, majd válassza a Tárolók lehetőséget.
- A container insights-logs-audit tartalmazza az auditnaplókat.
- A container insights-logs-requests tartalmazza a kérelemnaplókat.
A tárolókban a naplók a következő fájlstruktúra szerint vannak tárolva:
```
resourceId=/
  SUBSCRIPTIONS/
    <<SUBSCRIPTION_ID>>/
      RESOURCEGROUPS/
        <<RESOURCE_GRP_NAME>>/
          PROVIDERS/
            MICROSOFT.DATALAKEANALYTICS/
              ACCOUNTS/
                <DATA_LAKE_ANALYTICS_NAME>>/
                  y=####/
                    m=##/
                      d=##/
                        h=##/
                          m=00/
                            PT1H.json
```
Megjegyzés

Az ## elérési út bejegyzései tartalmazzák a napló létrehozásának évét, hónapját, napját és óráját. Data Lake Analytics óránként egy fájlt hoz létre, ezért m= mindig a értékét 00tartalmazza.

Példaként egy auditnapló teljes elérési útja a következő lehet:

https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

Hasonlóképpen a kérelemnapló teljes elérési útja a következő lehet:

https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

A naplóadatok feldolgozása

Az Azure Data Lake Analytics a naplóadatok feldolgozásáról és elemzéséről nyújt mintát. A mintát a következő helyen találja: https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Naplóstruktúra

A naplózási és kérelemnaplók strukturált JSON-formátumban vannak.

Kérelemnaplók

Íme egy mintabejegyzés a JSON-formátumú kérelemnaplóban. Minden blob rendelkezik egy rekordnak nevezett gyökérobjektummal, amely naplóobjektumok tömböt tartalmaz.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

Kérelemnapló-séma

Név	Típus	Description
time	Sztring	A napló időbélyege (UTC-ben)
resourceId	Sztring	Annak az erőforrásnak az azonosítója, amelyen a műveletet végrehajtották
category	Sztring	A naplókategória. Például Kérések.
operationName	Sztring	A naplózott művelet neve. Például: GetAggregatedJobHistory.
resultType	Sztring	A művelet állapota, például 200.
callerIpAddress	Sztring	A kérést küldő ügyfél IP-címe
correlationId	Sztring	A napló azonosítója. Ez az érték a kapcsolódó naplóbejegyzések egy csoportjának csoportosítására használható.
identity	Objektum	A naplót létrehozó identitás
properties	JSON	Részletekért tekintse meg a következő szakaszt (Naplótulajdonság-séma kérése)

Naplótulajdonság-séma kérése

Név	Típus	Description
HttpMethod	Sztring	A művelethez használt HTTP-metódus. Például: GET.
Elérési út	Sztring	A művelet útvonala a következőn:
RequestContentLength	int	A HTTP-kérelem tartalomhossza
ClientRequestId	Sztring	A kérést egyedileg azonosító azonosító
StartTime	Sztring	Az az idő, amikor a kiszolgáló megkapta a kérést
EndTime	Sztring	Az az idő, amikor a kiszolgáló választ küldött

Naplók

Íme egy mintabejegyzés a JSON-formátumú auditnaplóban. Minden blob rendelkezik egy rekordnak nevezett gyökérobjektummal, amely naplóobjektumok tömböt tartalmaz.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

Auditnapló sémája

Név	Típus	Description
time	Sztring	A napló időbélyege (UTC-ben)
resourceId	Sztring	Annak az erőforrásnak az azonosítója, amelyen a műveletet végrehajtották
category	Sztring	A naplókategória. Például : Naplózás.
operationName	Sztring	A naplózott művelet neve. Például: JobSubmitted.
resultType	Sztring	A feladat állapotának (operationName) alállapota.
resultSignature	Sztring	További részletek a feladat állapotáról (operationName).
identity	Sztring	A műveletet kérő felhasználó. Például: susan@contoso.com.
properties	JSON	Részletekért tekintse meg a következő szakaszt (Naplótulajdonságok sémája)

Megjegyzés

resultType és resultSignature információt ad meg egy művelet eredményéről, és csak akkor tartalmaz értéket, ha egy művelet befejeződött. Például csak akkor tartalmaznak értéket, ha az operationNamea JobStarted vagy a JobEnded értéket tartalmazza.

Naplótulajdonságok sémája

Név	Típus	Description
JobId	Sztring	A feladathoz rendelt azonosító
JobName	Sztring	A feladathoz megadott név
JobRunTime	Sztring	A feladat feldolgozásához használt futtatókörnyezet
SubmitTime	Sztring	A feladat elküldésének időpontja (UTC-ben)
StartTime	Sztring	A feladat futásának időpontja a beküldés után (UTC-ben)
EndTime	Sztring	A feladat befejezésének időpontja
Párhuzamosság	Sztring	A feladathoz a beküldés során kért Data Lake Analytics egységek száma