Åtkomst till diagnostikloggar för Azure Data Lake Analytics

Artikel
12/20/2023

Viktigt

Azure Data Lake Analytics drog sig tillbaka den 29 februari 2024. Läs mer med det här meddelandet.

För dataanalys kan din organisation använda Azure Synapse Analytics eller Microsoft Fabric.

Med diagnostikloggning kan du samla in spårningsloggar för dataåtkomst. Dessa loggar innehåller information som:

En lista över användare som har åtkomst till data.
Hur ofta data används.
Hur mycket data som lagras i kontot.

Aktivera loggning

Logga in på Azure Portal.
Öppna ditt Data Lake Analytics konto och välj Diagnostikinställningar i avsnittet Övervakning. Välj sedan + Lägg till diagnostikinställning.
Från diagnostikinställningen anger du ett namn för den här loggningskonfigurationen och väljer sedan loggningsalternativ.
- Du kan välja att lagra/bearbeta data på fyra olika sätt.
  - Välj Arkivera till ett lagringskonto för att lagra loggar i ett Azure-lagringskonto. Använd det här alternativet om du vill arkivera data. Om du väljer det här alternativet måste du ange ett Azure Storage-konto för att spara loggarna.
  - Välj Stream till en händelsehubb för att strömma loggdata till en Azure Event Hubs. Använd det här alternativet om du har en pipeline för nedströmsbearbetning som analyserar inkommande loggar i realtid. Om du väljer det här alternativet måste du ange information om de Azure Event Hubs du vill använda.
  - Välj Skicka till Log Analytics-arbetsyta för att skicka data till Azure Monitor-tjänsten. Använd det här alternativet om du vill använda Azure Monitor-loggar för att samla in och analysera loggar.
  - Välj skicka till partnerlösning om du vill använda vår partnerintegrering. Mer information finns i den här länken.
- Ange om du vill hämta granskningsloggar eller begärandeloggar eller båda. En begärandelogg samlar in varje API-begäran. En granskningslogg registrerar alla åtgärder som utlöses av den API-begäran.
- För Arkivera till ett lagringskonto anger du hur många dagar data ska behållas.
- Välj Spara.
  
  Anteckning
  
  Du måste välja antingen Arkiv till ett lagringskonto, Stream till en händelsehubb, Skicka till Log Analytics-arbetsyta eller Skicka till partnerlösning innan du väljer knappen Spara.

Använda Azure Storage-kontot som innehåller loggdata

Om du vill visa de blobcontainrar som innehåller loggningsdata öppnar du det Azure Storage-konto som används för Data Lake Analytics för loggning och väljer sedan Containrar.
- Container insights-logs-audit innehåller granskningsloggarna.
- Container insights-logs-requests innehåller begärandeloggarna.
I containrarna lagras loggarna under följande filstruktur:
```
resourceId=/
  SUBSCRIPTIONS/
    <<SUBSCRIPTION_ID>>/
      RESOURCEGROUPS/
        <<RESOURCE_GRP_NAME>>/
          PROVIDERS/
            MICROSOFT.DATALAKEANALYTICS/
              ACCOUNTS/
                <DATA_LAKE_ANALYTICS_NAME>>/
                  y=####/
                    m=##/
                      d=##/
                        h=##/
                          m=00/
                            PT1H.json
```
Anteckning

Posterna ## i sökvägen innehåller det år, den månad, den dag och den timme då loggen skapades. Data Lake Analytics skapar en fil varje timme, så m= innehåller alltid värdet 00.

Till exempel kan den fullständiga sökvägen till en granskningslogg vara:

https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

På samma sätt kan den fullständiga sökvägen till en begärandelogg vara:

https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Bearbeta loggdata

Azure Data Lake Analytics innehåller ett exempel på hur du bearbetar och analyserar loggdata. Du hittar exemplet på https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Loggstruktur

Gransknings- och begärandeloggarna har ett strukturerat JSON-format.

Begärandeloggar

Här är en exempelpost i JSON-formaterad begärandelogg. Varje blob har ett rotobjekt som kallas poster som innehåller en matris med loggobjekt.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

Schema för begärandelogg

Namn	Typ	Description
time	Sträng	Tidsstämpeln (i UTC) för loggen
resourceId	Sträng	Identifieraren för resursen som åtgärden ägde rum på
category	Sträng	Loggkategorin. Till exempel Begäranden.
operationName	Sträng	Namnet på den åtgärd som loggas. Till exempel GetAggregatedJobHistory.
resultType	Sträng	Status för åtgärden, till exempel 200.
callerIpAddress	Sträng	IP-adressen för klienten som gör begäran
correlationId	Sträng	Loggens identifierare. Det här värdet kan användas för att gruppera en uppsättning relaterade loggposter.
identity	Objekt	Identiteten som genererade loggen
properties	JSON	Mer information finns i nästa avsnitt (schema för egenskaper för begärandeloggar)

Schema för egenskaper för begärandelogg

Namn	Typ	Description
HttpMethod	Sträng	DEN HTTP-metod som används för åtgärden. Till exempel GET.
Sökväg	Sträng	Sökvägen som åtgärden utfördes på
RequestContentLength	int	Innehållslängden för HTTP-begäran
ClientRequestId	Sträng	Identifieraren som unikt identifierar den här begäran
StartTime	Sträng	Den tid då servern tog emot begäran
EndTime	Sträng	Tiden då servern skickade ett svar

Granskningsloggar

Här är en exempelpost i den JSON-formaterade granskningsloggen. Varje blob har ett rotobjekt som kallas poster som innehåller en matris med loggobjekt.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

Schema för spårningslogg

Namn	Typ	Description
time	Sträng	Tidsstämpeln (i UTC) för loggen
resourceId	Sträng	Identifieraren för resursen som åtgärden ägde rum på
category	Sträng	Loggkategorin. Till exempel Granskning.
operationName	Sträng	Namnet på den åtgärd som loggas. Till exempel JobSubmitted.
resultType	Sträng	En understatus för jobbstatusen (operationName).
resultSignature	Sträng	Extra information om jobbstatus (operationName).
identity	Sträng	Användaren som begärde åtgärden. Till exempel susan@contoso.com.
properties	JSON	Mer information finns i nästa avsnitt (schema för granskningsloggegenskaper)

Anteckning

resultType och resultSignature innehåller information om resultatet av en åtgärd och innehåller bara ett värde om en åtgärd har slutförts. De innehåller till exempel bara ett värde när operationName innehåller värdet JobStarted eller JobEnded.

Schema för granskningsloggegenskaper

Namn	Typ	Description
JobId	Sträng	Det ID som tilldelats jobbet
JobName	Sträng	Namnet som angavs för jobbet
JobRunTime	Sträng	Körningen som används för att bearbeta jobbet
SubmitTime	Sträng	Den tid (i UTC) som jobbet skickades
StartTime	Sträng	Den tid då jobbet började köras efter sändning (i UTC)
EndTime	Sträng	Den tid då jobbet avslutades
Parallellitet	Sträng	Antalet Data Lake Analytics enheter som begärdes för det här jobbet under sändningen