Diagnosztikai naplók elérése az Azure Data Lake Analyticshez

Fontos

Az Azure Data Lake Analytics 2024. február 29-én megszűnt. Tudjon meg többet ezzel a bejelentéssel.

Az adatelemzéshez a szervezet használhatja az Azure Synapse Analyticset vagy a Microsoft Fabricet.

A diagnosztikai naplózás lehetővé teszi az adatelérési naplók gyűjtését. Ezek a naplók olyan információkat tartalmaznak, mint például:

  • Az adatokhoz hozzáférő felhasználók listája.
  • Az adatok elérésének gyakorisága.
  • Mennyi adatot tárol a fiók.

Naplózás engedélyezése

  1. Jelentkezzen be az Azure Portalra.

  2. Nyissa meg a Data Lake Analytics-fiókot, és válassza a Diagnosztikai beállítások lehetőséget a Figyelés szakaszban. Ezután válassza a + Diagnosztikai beállítás hozzáadása lehetőséget.

    Képernyőkép a kijelölt

  3. A Diagnosztika beállításban adja meg a naplózási konfiguráció nevét, majd válassza ki a naplózási beállításokat.

    Képernyőkép a diagnosztikák bekapcsolásáról az audit- és kérelemnaplók gyűjtéséhez

    • Az adatokat négy különböző módon tárolhatja/dolgozhatja fel.

      • Válassza az Archiválás egy tárfiókba lehetőséget a naplók Azure-tárfiókban való tárolásához. Ezt a lehetőséget akkor használja, ha archiválni szeretné az adatokat. Ha ezt a lehetőséget választja, meg kell adnia egy Azure Storage-fiókot a naplók mentéséhez.

      • Válassza a Stream lehetőséget egy eseményközpontba a naplóadatok Azure Event Hubsba való streameléséhez. Ezt a lehetőséget akkor használja, ha olyan alárendelt feldolgozási folyamatokkal rendelkezik, amelyek valós időben elemzik a bejövő naplókat. Ha ezt a lehetőséget választja, meg kell adnia a használni kívánt Azure Event Hubs részleteit.

      • Válassza a Küldés a Log Analytics-munkaterületre lehetőséget az adatok Azure Monitor szolgáltatásba való küldéséhez. Ezt a lehetőséget akkor használja, ha az Azure Monitor-naplókat szeretné használni a naplók gyűjtéséhez és elemzéséhez.

      • Válassza a Küldés partnermegoldásba lehetőséget, ha a partnerintegrációt szeretné használni. További információkért kövesse ezt a hivatkozást.

    • Adja meg, hogy auditnaplókat, kérési naplókat vagy mindkettőt szeretne-e lekérni. A kérelemnapló minden API-kérést rögzít. Az auditnapló rögzíti az API-kérés által aktivált összes műveletet.

    • A tárfiókba való archiváláshoz adja meg az adatok megőrzéséhez szükséges napok számát.

    • Válassza az Mentésgombot.

      Megjegyzés

      A Mentés gomb kiválasztása előtt ki kell választania az Archiválás tárfiókba, Streamelés eseményközpontba, Küldés a Log Analytics-munkaterületre vagy a Küldés partnermegoldásnak lehetőséget.

A naplóadatokat tartalmazó Azure Storage-fiók használata

  1. A naplózási adatokat tartalmazó blobtárolók megjelenítéséhez nyissa meg a Data Lake Analyticshez használt Azure Storage-fiókot naplózáshoz, majd válassza a Tárolók lehetőséget.

    • A tároló insights-logs-audit tartalmazza az auditnaplókat.
    • A tároló insights-logs-requests tartalmazza a kérelemnaplókat.

  2. A tárolókon belül a naplók a következő fájlstruktúra szerint vannak tárolva:

    resourceId=/
  SUBSCRIPTIONS/
    <<SUBSCRIPTION_ID>>/
      RESOURCEGROUPS/
        <<RESOURCE_GRP_NAME>>/
          PROVIDERS/
            MICROSOFT.DATALAKEANALYTICS/
              ACCOUNTS/
                <DATA_LAKE_ANALYTICS_NAME>>/
                  y=####/
                    m=##/
                      d=##/
                        h=##/
                          m=00/
                            PT1H.json

    Megjegyzés

    Az ## elérési út bejegyzései tartalmazzák a napló létrehozásának évét, hónapát, napját és óráját. A Data Lake Analytics óránként létrehoz egy fájlt, ezért m= mindig tartalmaz egy értéket 00.

    Példaként az auditnapló teljes elérési útja a következő lehet:

    https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

    Hasonlóképpen a kérelemnapló teljes elérési útja a következő lehet:

    https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

A naplóadatok feldolgozása

Az Azure Data Lake Analytics mintát nyújt a naplóadatok feldolgozására és elemzésére. A mintát megtalálhatja a https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample-nál.

Naplóstruktúra

A naplózási és kérelemnaplók strukturált JSON-formátumban vannak.

Kérelemnaplók

Íme egy mintabejegyzés a JSON-formátumú kérelemnaplóban. Minden blob rendelkezik egy rekordnak nevezett gyökérobjektummal,, amely naplóobjektumokat tartalmazó tömböt tartalmaz.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

Kérelemnapló-séma

Név Típus szerint Leírás
Idő Lánc A napló időbélyege (UTC-ben)
erőforrás-azonosító Lánc Annak az erőforrásnak az azonosítója, amelyen a művelet történt
kategória Lánc Naplókategória. Például kérések.
műveletNév Lánc A naplózott művelet neve. Például: GetAggregatedJobHistory.
eredménytípus Lánc A művelet státusza, például 200.
hívóIpCím Lánc A kérelmet küldő ügyfél IP-címe
correlationId Lánc A napló azonosítója. Ez az érték a kapcsolódó naplóbejegyzések egy készletének csoportosítására használható.
azonosság Objektum A naplót létrehozó identitás
tulajdonságok JSON Részletekért tekintse meg a következő szakaszt (Kérelemnapló tulajdonságainak sémája)

Kérelemnapló tulajdonságainak sémája

Név Típus szerint Leírás
HttpMethod Lánc A művelethez használt HTTP-metódus. Például: GET.
Útvonal Lánc A művelet végrehajtásának útvonala
KérelemTartalomHossz Int A HTTP-kérelem tartalomhossza
ClientRequestId Lánc A kérést egyedileg azonosító azonosító
KezdésiIdő Lánc Az az időpont, amikor a kiszolgáló megkapta a kérést
Befejezés ideje Lánc A kiszolgáló válaszküldésének időpontja

Ellenőrzési naplók

Íme egy mintabejegyzés a JSON-formátumú naplózási naplóban. Minden blob rendelkezik egy rekordnak nevezett gyökérobjektummal,, amely naplóobjektumokat tartalmazó tömböt tartalmaz.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

Audit naplóséma

Név Típus szerint Leírás
Idő Lánc A napló időbélyege (UTC-ben)
erőforrás-azonosító Lánc Annak az erőforrásnak az azonosítója, amelyen a művelet történt
kategória Lánc Naplókategória. Például Audit.
műveletNév Lánc A naplózott művelet neve. Például: JobSubmitted.
eredménytípus Lánc A feladatállapot (operationName) alállapota.
eredményaláírás Lánc További részletek a feladat állapotáról (operationName).
azonosság Lánc A műveletet kérő felhasználó. Például: susan@contoso.com.
tulajdonságok JSON Részletekért tekintse meg a következő szakaszt, a napló tulajdonságainak sémáját.

Megjegyzés

A resultType és a resultSignature egy művelet eredményéről ad információt, és csak akkor tartalmaz értéket, ha egy művelet befejeződött. Például csak akkor tartalmaznak értéket, ha az operationName a JobStarted vagy a JobEnded értéket tartalmazza.

Ellenőrzési napló tulajdonságainak sémája

Név Típus szerint Leírás
Munkaazonosító Lánc A feladathoz rendelt azonosító
Munkanév Lánc A feladathoz megadott név
Futási idő Lánc A feladat feldolgozásához használt futtatókörnyezet
BeküldésiIdő Lánc A feladat elküldése időpontja (UTC-ben)
KezdésiIdő Lánc A feladat futásának kezdési időpontja a küldés után (UTC-ben)
Befejezés ideje Lánc A feladat befejezésének időpontja
Párhuzamosság Lánc A feladathoz kért Data Lake Analytics-egységek száma a beküldés során

Megjegyzés

A SubmitTime, a StartTime, az EndTime és a Parallelism információt nyújt egy műveletről. Ezek a bejegyzések csak akkor tartalmaznak értéket, ha a művelet elindult vagy befejeződött. A SubmitTime például csak akkor tartalmaz értéket, ha az operationName értéke a JobSubmitted.

Következő lépések

  • Last updated on