Sdílet prostřednictvím


Přístup k protokolům diagnostiky pro Azure Data Lake Analytics

Důležité

Azure Data Lake Analytics vyřazena 29. února 2024. Další informace najdete v tomto oznámení.

K analýze dat může vaše organizace použít Azure Synapse Analytics nebo Microsoft Fabric.

Protokolování diagnostiky umožňuje shromažďovat záznamy auditu přístupu k datům. Tyto protokoly poskytují informace, jako například:

  • Seznam uživatelů, kteří k datům přistupovali.
  • Jak často se k datům přistupuje.
  • Kolik dat je v účtu uloženo.

Povolit protokolování

  1. Přihlaste se k portálu Azure Portal.

  2. Otevřete účet Data Lake Analytics a v části Monitorování vyberte Nastavení diagnostiky. Pak vyberte + Přidat nastavení diagnostiky.

    Snímek obrazovky znázorňující vybranou akci Nastavení diagnostiky a zvýrazněnou možnost + Přidat nastavení diagnostiky

  3. V nastavení diagnostiky zadejte název pro tuto konfiguraci protokolování a pak vyberte možnosti protokolování.

    Snímek obrazovky s nastavením pro zapnutí diagnostiky pro shromažďování protokolů auditu a požadavků

    • Data můžete ukládat nebo zpracovávat čtyřmi různými způsoby.

      • Vyberte Archivovat do účtu úložiště , aby se protokoly ukládaly do účtu úložiště Azure. Tuto možnost použijte, pokud chcete data archivovat. Pokud vyberete tuto možnost, musíte zadat účet úložiště Azure, do které se protokoly uloží.

      • Vyberte Stream do centra událostí a streamujte data protokolu do Azure Event Hubs. Tuto možnost použijte, pokud máte kanál podřízeného zpracování, který analyzuje příchozí protokoly v reálném čase. Pokud vyberete tuto možnost, musíte zadat podrobnosti o Azure Event Hubs, který chcete použít.

      • Výběrem možnosti Odeslat do pracovního prostoru služby Log Analytics odešlete data do služby Azure Monitor. Tuto možnost použijte, pokud chcete ke shromažďování a analýze protokolů používat protokoly služby Azure Monitor.

      • Pokud chcete použít naši integraci partnerů, vyberte Odeslat do partnerského řešení . Další informace najdete na tomto odkazu.

    • Určete, jestli chcete získat protokoly auditu, protokoly požadavků, případně obojí. Protokol požadavků zaznamenává všechny požadavky rozhraní API. Protokol auditu zaznamenává všechny operace aktivované tímto požadavkem rozhraní API.

    • V části Archivovat do účtu úložiště zadejte počet dnů, po které se mají data uchovávat.

    • Vyberte Uložit.

      Poznámka

      Než vyberete tlačítko Uložit, musíte vybrat možnost Archivovat do účtu úložiště, Stream do centra událostí, Odeslat do pracovního prostoru služby Log Analytics nebo Odeslat partnerskému řešení.

Použijte účet Azure Storage, který obsahuje data protokolů.

  1. Pokud chcete zobrazit kontejnery objektů blob, které obsahují data protokolování, otevřete účet Azure Storage, který se používá pro Data Lake Analytics pro protokolování, a pak vyberte Kontejnery.

    • Kontejner insights-logs-audit obsahuje protokoly auditu.
    • Kontejner insights-logs-requests obsahuje protokoly požadavků.
  2. V rámci kontejnerů se protokoly ukládají v následující struktuře souborů:

    resourceId=/
      SUBSCRIPTIONS/
        <<SUBSCRIPTION_ID>>/
          RESOURCEGROUPS/
            <<RESOURCE_GRP_NAME>>/
              PROVIDERS/
                MICROSOFT.DATALAKEANALYTICS/
                  ACCOUNTS/
                    <DATA_LAKE_ANALYTICS_NAME>>/
                      y=####/
                        m=##/
                          d=##/
                            h=##/
                              m=00/
                                PT1H.json
    

    Poznámka

    ## Položky v cestě obsahují rok, měsíc, den a hodinu, ve kterých byl protokol vytvořen. Data Lake Analytics vytvoří jeden soubor každou hodinu, takže m= vždy obsahuje hodnotu 00.

    Úplná cesta k protokolu auditu může být například následující:

    https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

    Podobně může být úplná cesta k protokolu požadavků následující:

    https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Zpracování dat protokolu

Azure Data Lake Analytics poskytuje ukázku zpracování a analýzy dat protokolu. Ukázku najdete na adrese https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Struktura protokolu

Protokoly auditu a požadavků jsou ve strukturovaném formátu JSON.

Protokoly požadavků

Tady je ukázková položka v protokolu požadavků ve formátu JSON. Každý objekt blob má jeden kořenový objekt označovaný jako záznamy , který obsahuje pole objektů protokolu.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

Schéma protokolu požadavků

Název Typ Description
time Řetězec Časové razítko protokolu (v UTC)
resourceId Řetězec Identifikátor prostředku, u kterého proběhla operace
category Řetězec Kategorie protokolu. Například Požadavky.
operationName Řetězec Název operace, která se protokoluje. Například GetAggregatedJobHistory.
resultType Řetězec Stav operace, například 200.
callerIpAddress Řetězec IP adresa klienta, který vytváří požadavek
correlationId Řetězec Identifikátor protokolu. Tuto hodnotu lze použít k seskupení sady souvisejících položek protokolu.
identity Objekt Identita, která vygenerovala protokol
properties JSON Podrobnosti najdete v další části (Schéma vlastností protokolu požadavků).

Schéma vlastností protokolu požadavků

Název Typ Description
Metoda HTTP Řetězec Metoda HTTP použitá pro operaci. Například GET.
Cesta Řetězec Cesta, na které se operace provedla
RequestContentLength int Délka obsahu požadavku HTTP
ClientRequestId Řetězec Identifikátor, který jednoznačně identifikuje tento požadavek
StartTime Řetězec Čas, kdy server přijal požadavek
EndTime Řetězec Čas, kdy server odeslal odpověď

Protokoly auditu

Tady je ukázková položka v protokolu auditu ve formátu JSON. Každý objekt blob má jeden kořenový objekt označovaný jako záznamy , který obsahuje pole objektů protokolu.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

Schéma protokolu auditu

Název Typ Description
time Řetězec Časové razítko (v UTC) protokolu
resourceId Řetězec Identifikátor prostředku, u kterého proběhla operace
category Řetězec Kategorie protokolu. Například Audit.
operationName Řetězec Název operace, která se protokoluje. Například JobSubmitted.
resultType Řetězec Dílčí stav pro stav úlohy (operationName).
resultSignature Řetězec Další podrobnosti o stavu úlohy (operationName).
identity Řetězec Uživatel, který požádal o operaci. Například, susan@contoso.com.
properties JSON Podrobnosti najdete v další části (Schéma vlastností protokolu auditu).

Poznámka

resultType a resultSignature poskytují informace o výsledku operace a obsahují hodnotu pouze v případě, že byla operace dokončena. Například obsahují hodnotu pouze tehdy, když operationName obsahuje hodnotu JobStarted nebo JobEnded.

Schéma vlastností protokolu auditu

Název Typ Description
JobId Řetězec ID přiřazené úloze
Název úlohy Řetězec Název, který byl zadaný pro úlohu
JobRunTime Řetězec Modul runtime použitý ke zpracování úlohy
SubmitTime Řetězec Čas odeslání úlohy (v UTC)
StartTime Řetězec Čas spuštění úlohy po odeslání (v UTC)
EndTime Řetězec Čas ukončení úlohy
Paralelnost Řetězec Počet jednotek Data Lake Analytics požadovaných pro tuto úlohu během odesílání

Poznámka

SubmitTime, StartTime, EndTime a Parallelism poskytují informace o operaci. Tyto položky obsahují hodnotu pouze v případě, že byla operace spuštěna nebo dokončena. Například SubmitTime obsahuje hodnotu pouze po operaci Název operace má hodnotu JobSubmitted.

Další kroky