Přístup k protokolům diagnostiky pro Azure Data Lake Analytics

Článek
12/20/2023

Důležité

Azure Data Lake Analytics vyřazena 29. února 2024. Další informace najdete v tomto oznámení.

K analýze dat může vaše organizace použít Azure Synapse Analytics nebo Microsoft Fabric.

Protokolování diagnostiky umožňuje shromažďovat záznamy auditu přístupu k datům. Tyto protokoly poskytují informace, jako například:

Seznam uživatelů, kteří k datům přistupovali.
Jak často se k datům přistupuje.
Kolik dat je v účtu uloženo.

Povolit protokolování

Přihlaste se k portálu Azure Portal.
Otevřete účet Data Lake Analytics a v části Monitorování vyberte Nastavení diagnostiky. Pak vyberte + Přidat nastavení diagnostiky.
V nastavení diagnostiky zadejte název pro tuto konfiguraci protokolování a pak vyberte možnosti protokolování.
- Data můžete ukládat nebo zpracovávat čtyřmi různými způsoby.
  - Vyberte Archivovat do účtu úložiště , aby se protokoly ukládaly do účtu úložiště Azure. Tuto možnost použijte, pokud chcete data archivovat. Pokud vyberete tuto možnost, musíte zadat účet úložiště Azure, do které se protokoly uloží.
  - Vyberte Stream do centra událostí a streamujte data protokolu do Azure Event Hubs. Tuto možnost použijte, pokud máte kanál podřízeného zpracování, který analyzuje příchozí protokoly v reálném čase. Pokud vyberete tuto možnost, musíte zadat podrobnosti o Azure Event Hubs, který chcete použít.
  - Výběrem možnosti Odeslat do pracovního prostoru služby Log Analytics odešlete data do služby Azure Monitor. Tuto možnost použijte, pokud chcete ke shromažďování a analýze protokolů používat protokoly služby Azure Monitor.
  - Pokud chcete použít naši integraci partnerů, vyberte Odeslat do partnerského řešení . Další informace najdete na tomto odkazu.
- Určete, jestli chcete získat protokoly auditu, protokoly požadavků, případně obojí. Protokol požadavků zaznamenává všechny požadavky rozhraní API. Protokol auditu zaznamenává všechny operace aktivované tímto požadavkem rozhraní API.
- V části Archivovat do účtu úložiště zadejte počet dnů, po které se mají data uchovávat.
- Vyberte Uložit.
  
  Poznámka
  
  Než vyberete tlačítko Uložit, musíte vybrat možnost Archivovat do účtu úložiště, Stream do centra událostí, Odeslat do pracovního prostoru služby Log Analytics nebo Odeslat partnerskému řešení.

Použijte účet Azure Storage, který obsahuje data protokolů.

Pokud chcete zobrazit kontejnery objektů blob, které obsahují data protokolování, otevřete účet Azure Storage, který se používá pro Data Lake Analytics pro protokolování, a pak vyberte Kontejnery.
- Kontejner insights-logs-audit obsahuje protokoly auditu.
- Kontejner insights-logs-requests obsahuje protokoly požadavků.
V rámci kontejnerů se protokoly ukládají v následující struktuře souborů:
```
resourceId=/
  SUBSCRIPTIONS/
    <<SUBSCRIPTION_ID>>/
      RESOURCEGROUPS/
        <<RESOURCE_GRP_NAME>>/
          PROVIDERS/
            MICROSOFT.DATALAKEANALYTICS/
              ACCOUNTS/
                <DATA_LAKE_ANALYTICS_NAME>>/
                  y=####/
                    m=##/
                      d=##/
                        h=##/
                          m=00/
                            PT1H.json
```
Poznámka

## Položky v cestě obsahují rok, měsíc, den a hodinu, ve kterých byl protokol vytvořen. Data Lake Analytics vytvoří jeden soubor každou hodinu, takže m= vždy obsahuje hodnotu 00.

Úplná cesta k protokolu auditu může být například následující:

https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

Podobně může být úplná cesta k protokolu požadavků následující:

https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Zpracování dat protokolu

Azure Data Lake Analytics poskytuje ukázku zpracování a analýzy dat protokolu. Ukázku najdete na adrese https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Struktura protokolu

Protokoly auditu a požadavků jsou ve strukturovaném formátu JSON.

Protokoly požadavků

Tady je ukázková položka v protokolu požadavků ve formátu JSON. Každý objekt blob má jeden kořenový objekt označovaný jako záznamy , který obsahuje pole objektů protokolu.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

Schéma protokolu požadavků

Název	Typ	Description
time	Řetězec	Časové razítko protokolu (v UTC)
resourceId	Řetězec	Identifikátor prostředku, u kterého proběhla operace
category	Řetězec	Kategorie protokolu. Například Požadavky.
operationName	Řetězec	Název operace, která se protokoluje. Například GetAggregatedJobHistory.
resultType	Řetězec	Stav operace, například 200.
callerIpAddress	Řetězec	IP adresa klienta, který vytváří požadavek
correlationId	Řetězec	Identifikátor protokolu. Tuto hodnotu lze použít k seskupení sady souvisejících položek protokolu.
identity	Objekt	Identita, která vygenerovala protokol
properties	JSON	Podrobnosti najdete v další části (Schéma vlastností protokolu požadavků).

Schéma vlastností protokolu požadavků

Název	Typ	Description
Metoda HTTP	Řetězec	Metoda HTTP použitá pro operaci. Například GET.
Cesta	Řetězec	Cesta, na které se operace provedla
RequestContentLength	int	Délka obsahu požadavku HTTP
ClientRequestId	Řetězec	Identifikátor, který jednoznačně identifikuje tento požadavek
StartTime	Řetězec	Čas, kdy server přijal požadavek
EndTime	Řetězec	Čas, kdy server odeslal odpověď

Protokoly auditu

Tady je ukázková položka v protokolu auditu ve formátu JSON. Každý objekt blob má jeden kořenový objekt označovaný jako záznamy , který obsahuje pole objektů protokolu.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

Schéma protokolu auditu

Název	Typ	Description
time	Řetězec	Časové razítko (v UTC) protokolu
resourceId	Řetězec	Identifikátor prostředku, u kterého proběhla operace
category	Řetězec	Kategorie protokolu. Například Audit.
operationName	Řetězec	Název operace, která se protokoluje. Například JobSubmitted.
resultType	Řetězec	Dílčí stav pro stav úlohy (operationName).
resultSignature	Řetězec	Další podrobnosti o stavu úlohy (operationName).
identity	Řetězec	Uživatel, který požádal o operaci. Například, susan@contoso.com.
properties	JSON	Podrobnosti najdete v další části (Schéma vlastností protokolu auditu).

Poznámka

resultType a resultSignature poskytují informace o výsledku operace a obsahují hodnotu pouze v případě, že byla operace dokončena. Například obsahují hodnotu pouze tehdy, když operationName obsahuje hodnotu JobStarted nebo JobEnded.

Schéma vlastností protokolu auditu

Název	Typ	Description
JobId	Řetězec	ID přiřazené úloze
Název úlohy	Řetězec	Název, který byl zadaný pro úlohu
JobRunTime	Řetězec	Modul runtime použitý ke zpracování úlohy
SubmitTime	Řetězec	Čas odeslání úlohy (v UTC)
StartTime	Řetězec	Čas spuštění úlohy po odeslání (v UTC)
EndTime	Řetězec	Čas ukončení úlohy
Paralelnost	Řetězec	Počet jednotek Data Lake Analytics požadovaných pro tuto úlohu během odesílání