Dela via

Åtkomst till diagnostikloggar för Azure Data Lake Analytics

Viktigt!

Azure Data Lake Analytics drogs tillbaka den 29 februari 2024. Lär dig mer med det här tillkännagivandet.

För dataanalys kan din organisation använda Azure Synapse Analytics eller Microsoft Fabric.

Med diagnostikloggning kan du samla in spårningsloggar för dataåtkomst. Dessa loggar innehåller information som:

  • En lista över användare som har åtkomst till data.
  • Hur ofta data används.
  • Hur mycket data som lagras i kontot.

Aktivera loggning

  1. Logga in på Azure Portal.

  2. Öppna ditt Data Lake Analytics-konto och välj Diagnostikinställningar i avsnittet Övervakning . Välj sedan + Lägg till diagnostikinställning.

    Skärmbild som visar åtgärden

  3. Från diagnostikinställningen anger du ett namn för den här loggningskonfigurationen och väljer sedan loggningsalternativ.

    Skärmbild som visar inställningar för att aktivera diagnostik för att samla in gransknings- och begärandeloggar

    • Du kan välja att lagra/bearbeta data på fyra olika sätt.

      • Välj Arkivera till ett lagringskonto för att lagra loggar i ett Azure-lagringskonto. Använd det här alternativet om du vill arkivera data. Om du väljer det här alternativet måste du ange ett Azure-lagringskonto för att spara loggarna till.

      • Välj Stream till en händelsehubb för att strömma loggdata till en Azure Event Hubs. Använd det här alternativet om du har en pipeline för nedströmsbearbetning som analyserar inkommande loggar i realtid. Om du väljer det här alternativet måste du ange information för de Azure Event Hubs som du vill använda.

      • Välj Skicka till Log Analytics-arbetsytan för att skicka data till Azure Monitor-tjänsten. Använd det här alternativet om du vill använda Azure Monitor-loggar för att samla in och analysera loggar.

      • Välj skicka till partnerlösning om du vill använda vår partnerintegrering. Om du vill ha mer information kan du följa den här länken.

    • Ange om du vill hämta granskningsloggar eller begärandeloggar eller båda. En begärandelogg samlar in varje API-begäran. En granskningslogg registrerar alla åtgärder som utlöses av den API-begäran.

    • För Arkivera till ett lagringskonto anger du hur många dagar data ska behållas.

    • Välj Spara.

      Anmärkning

      Du måste välja antingen Arkivera till ett lagringskonto, Strömma till en händelsehubb, Skicka till Log Analytics-arbetsyta eller Skicka till partnerlösning innan du väljer knappen Spara .

Använda Azure Storage-kontot som innehåller loggdata

  1. Om du vill visa blobcontainrar som innehåller loggningsdata öppnar du det Azure Storage-konto som används för Data Lake Analytics för loggning och väljer sedan Containrar.

    • Containern insights-logs-audit innehåller granskningsloggarna.
    • Containern insights-logs-requests innehåller begärandeloggarna.

  2. I containrarna lagras loggarna under följande filstruktur:

    resourceId=/
  SUBSCRIPTIONS/
    <<SUBSCRIPTION_ID>>/
      RESOURCEGROUPS/
        <<RESOURCE_GRP_NAME>>/
          PROVIDERS/
            MICROSOFT.DATALAKEANALYTICS/
              ACCOUNTS/
                <DATA_LAKE_ANALYTICS_NAME>>/
                  y=####/
                    m=##/
                      d=##/
                        h=##/
                          m=00/
                            PT1H.json

    Anmärkning

    Posterna ## i sökvägen innehåller det år, den månad, den dag och den timme då loggen skapades. Data Lake Analytics skapar en fil varje timme, så m= innehåller alltid värdet 00.

    Den fullständiga sökvägen till en granskningslogg kan till exempel vara:

    https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

    På samma sätt kan den fullständiga sökvägen till en begärandelogg vara:

    https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Bearbeta loggdata

Azure Data Lake Analytics innehåller ett exempel på hur du bearbetar och analyserar loggdata. Du hittar exemplet på https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Loggstruktur

Gransknings- och begärandeloggarna är i ett strukturerat JSON-format.

Förfrågningsloggar

Här är en exempelpost i den JSON-formaterade begärandeloggen. Varje blob har ett rotobjekt som heter poster som innehåller en matris med loggobjekt.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

Schema för begärandelogg

Namn Typ Beskrivning
Tid Sträng Tidsstämpeln (i UTC) för loggen
resursId Sträng Identifieraren för den resurs som åtgärden ägde rum på
kategori Sträng Loggkategorin. Till exempel Begäranden.
operatörsnamn Sträng Namnet på den åtgärd som loggas. Till exempel GetAggregatedJobHistory.
resultattyp Sträng Status för operationen, till exempel 200.
anroparensIpAdress Sträng IP-adressen för klienten som skickar begäran
correlationId Sträng Loggens identifierare. Det här värdet kan användas för att gruppera en uppsättning relaterade loggposter.
identitet Objekt Identiteten som genererade loggen
egenskaper JSON Mer information finns i nästa avsnitt (schema för begärandeloggegenskaper)

Schema för egenskaper för begärandelogg

Namn Typ Beskrivning
HTTP-metod Sträng DEN HTTP-metod som används för åtgärden. Till exempel GET.
Väg Sträng Vägen som åtgärden utfördes på
Begärans innehållslängd Int Innehållslängden för HTTP-begäran
ClientRequestId Sträng Identifieraren som unikt identifierar den här begäran
Starttid Sträng Den tid då servern tog emot begäran
Sluttid Sträng Den tid då servern skickade ett svar

Granskningsloggar

Här är en exempelpost i den JSON-formaterade granskningsloggen. Varje blob har ett rotobjekt som heter records som innehåller en array med loggobjekt.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

Schema för granskningslogg

Namn Typ Beskrivning
Tid Sträng Tidsstämpeln (i UTC) för loggen
resursId Sträng Identifieraren för den resurs som åtgärden ägde rum på
kategori Sträng Loggkategorin. Till exempel Revision.
operatörsnamn Sträng Namnet på den åtgärd som loggas. Till exempel JobSubmitted.
resultattyp Sträng En understatus för jobbstatusen (operationName).
resultatsignatur Sträng Extra information om jobbstatus (operationName).
identitet Sträng Användaren som begärde åtgärden. Till exempel susan@contoso.com.
egenskaper JSON Mer information finns i nästa avsnitt (schema för granskningsloggegenskaper)

Anmärkning

resultType och resultSignature innehåller information om resultatet av en åtgärd och innehåller endast ett värde om en åtgärd har slutförts. De innehåller till exempel bara ett värde när operationName innehåller värdet JobStarted eller JobEnded.

Schema för granskningsloggegenskaper

Namn Typ Beskrivning
JobId Sträng Det ID som tilldelats jobbet
Jobbnamn Sträng Namnet som angavs för jobbet
Jobbkörtid Sträng Körsystemet som används för att bearbeta jobbet
SkickaTid Sträng Den tid (i UTC) som jobbet skickades
Starttid Sträng Den tid då jobbet började köras efter inskickning (i UTC)
Sluttid Sträng Den tid då jobbet avslutades
Parallellitet Sträng Antalet Data Lake Analytics-enheter som begärdes för detta jobb vid inlämning

Anmärkning

SubmitTime, StartTime, EndTime och Parallelism ger information om en åtgärd. Dessa poster innehåller bara ett värde om åtgärden har startats eller slutförts. Till exempel innehåller SubmitTime bara ett värde när operationName har värdet JobSubmitted.

Nästa steg