Accessing diagnostic logs for Azure Data Lake Analytics (Dostęp do dzienników diagnostycznych usługi Azure Data Lake Analytics)

Artykuł
12/20/2023

Ważne

Usługa Azure Data Lake Analytics wycofana 29 lutego 2024 r. Dowiedz się więcej z tego ogłoszenia.

Na potrzeby analizy danych organizacja może używać usługi Azure Synapse Analytics lub Microsoft Fabric.

Rejestrowanie diagnostyczne umożliwia zbieranie dzienników inspekcji dostępu do danych. Te dzienniki zawierają informacje, takie jak:

Lista użytkowników, którzy uzyskiwali dostęp do danych.
Jak często uzyskuje się dostęp do danych.
Ile danych jest przechowywanych na koncie.

Włącz rejestrowanie

Zaloguj się w witrynie Azure Portal.
Otwórz konto Data Lake Analytics i wybierz pozycję Ustawienia diagnostyczne w sekcji Monitorowanie. Następnie wybierz pozycję + Dodaj ustawienie diagnostyczne.
W obszarze Ustawienia diagnostyki wprowadź nazwę dla tej konfiguracji rejestrowania, a następnie wybierz pozycję Opcje rejestrowania.
- Dane można przechowywać/przetwarzać na cztery różne sposoby.
  - Wybierz pozycję Archiwum na koncie magazynu , aby przechowywać dzienniki na koncie usługi Azure Storage. Użyj tej opcji, jeśli chcesz zarchiwizować dane. Jeśli wybierzesz tę opcję, musisz podać konto usługi Azure Storage, aby zapisać dzienniki.
  - Wybierz Stream do centrum zdarzeń, aby przesyłać strumieniowo dane dzienników do Azure Event Hubs. Użyj tej opcji, jeśli masz potok przetwarzania podrzędnego, który analizuje przychodzące dzienniki w czasie rzeczywistym. Jeśli wybierzesz tę opcję, musisz podać szczegóły Azure Event Hubs, których chcesz użyć.
  - Wybierz pozycję Wyślij do obszaru roboczego usługi Log Analytics , aby wysłać dane do usługi Azure Monitor. Użyj tej opcji, jeśli chcesz użyć dzienników usługi Azure Monitor do zbierania i analizowania dzienników.
  - Wybierz pozycję Wyślij do rozwiązania partnerskiego , jeśli chcesz użyć integracji z naszym partnerem. Aby uzyskać więcej informacji, możesz skorzystać z tego linku.
- Określ, czy chcesz pobrać dzienniki inspekcji, dzienniki żądań, czy oba te dzienniki. Dziennik żądań przechwytuje każde żądanie interfejsu API. Dziennik inspekcji rejestruje wszystkie operacje wyzwalane przez to żądanie interfejsu API.
- W obszarze Archiwum na koncie magazynu określ liczbę dni przechowywania danych.
- Wybierz pozycję Zapisz.
  
  Uwaga
  
  Przed wybraniem przycisku Zapisz musisz wybrać pozycję Archiwum na konto magazynu, Stream do centrum zdarzeń, wysłać do obszaru roboczego usługi Log Analytics lub wysłać do rozwiązania partnerskiego.

Korzystanie z konta usługi Azure Storage zawierającego dane dziennika

Aby wyświetlić kontenery obiektów blob przechowujące dane rejestrowania, otwórz konto usługi Azure Storage używane do Data Lake Analytics na potrzeby rejestrowania, a następnie wybierz pozycję Kontenery.
- Kontener insights-logs-audit zawiera dzienniki inspekcji.
- Kontener insights-logs-requests zawiera dzienniki żądań.
W kontenerach dzienniki są przechowywane w następującej strukturze plików:
```
resourceId=/
  SUBSCRIPTIONS/
    <<SUBSCRIPTION_ID>>/
      RESOURCEGROUPS/
        <<RESOURCE_GRP_NAME>>/
          PROVIDERS/
            MICROSOFT.DATALAKEANALYTICS/
              ACCOUNTS/
                <DATA_LAKE_ANALYTICS_NAME>>/
                  y=####/
                    m=##/
                      d=##/
                        h=##/
                          m=00/
                            PT1H.json
```
Uwaga

Wpisy ## w ścieżce zawierają rok, miesiąc, dzień i godzinę, w których utworzono dziennik. Data Lake Analytics tworzy jeden plik co godzinę, więc m= zawsze zawiera wartość 00.

Na przykład pełna ścieżka do dziennika inspekcji może być następująca:

https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

Podobnie pełna ścieżka do dziennika żądań może być następująca:

https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Przetwarzanie danych dziennika

Usługa Azure Data Lake Analytics udostępnia przykład przetwarzania i analizowania danych dziennika. Przykład można znaleźć na stronie https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Struktura dziennika

Dzienniki inspekcji i żądań są w formacie JSON ze strukturą.

Dzienniki żądań

Oto przykładowy wpis w dzienniku żądań w formacie JSON. Każdy obiekt blob ma jeden obiekt główny nazywany rekordami , który zawiera tablicę obiektów dziennika.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

Schemat dziennika żądań

Nazwa	Typ	Opis
time	Ciąg	Sygnatura czasowa dziennika (w formacie UTC)
resourceId	Ciąg	Identyfikator zasobu, na który miała miejsce operacja
category	Ciąg	Kategoria dziennika. Na przykład Żądania.
operationName	Ciąg	Nazwa zarejestrowanej operacji. Na przykład GetAggregatedJobHistory.
resultType	Ciąg	Stan operacji, na przykład 200.
callerIpAddress	Ciąg	Adres IP klienta wysyłającego żądanie
correlationId	Ciąg	Identyfikator dziennika. Ta wartość może służyć do grupowania zestawu powiązanych wpisów dziennika.
identity	Obiekt	Tożsamość, która wygenerowała dziennik
properties	JSON	Aby uzyskać szczegółowe informacje, zobacz następną sekcję (Schemat właściwości dziennika żądań)

Schemat właściwości dziennika żądań

Nazwa	Typ	Opis
HttpMethod	Ciąg	Metoda HTTP używana na potrzeby operacji. Na przykład GET.
Ścieżka	Ciąg	Ścieżka, na którą wykonano operację
RequestContentLength	int	Długość zawartości żądania HTTP
ClientRequestId	Ciąg	Identyfikator, który jednoznacznie identyfikuje to żądanie
StartTime	Ciąg	Czas odebrania żądania przez serwer
EndTime	Ciąg	Czas wysłania odpowiedzi przez serwer

Dzienniki inspekcji

Oto przykładowy wpis w dzienniku inspekcji sformatowanym w formacie JSON. Każdy obiekt blob ma jeden obiekt główny o nazwie rekordy zawierające tablicę obiektów dziennika.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

Schemat dziennika inspekcji

Nazwa	Typ	Opis
time	Ciąg	Sygnatura czasowa dziennika (w formacie UTC)
resourceId	Ciąg	Identyfikator zasobu, na który miała miejsce operacja
category	Ciąg	Kategoria dziennika. Na przykład Inspekcja.
operationName	Ciąg	Nazwa zarejestrowanej operacji. Na przykład JobSubmitted.
resultType	Ciąg	Podstatuj stan zadania (operationName).
resultSignature	Ciąg	Dodatkowe szczegóły dotyczące stanu zadania (operationName).
identity	Ciąg	Użytkownik, który zażądał operacji. Na przykład susan@contoso.com.
properties	JSON	Aby uzyskać szczegółowe informacje, zobacz następną sekcję (schemat właściwości dziennika inspekcji)

Uwaga

resultType i resultSignature zawierają informacje o wyniku operacji i zawierają tylko wartość, jeśli operacja została ukończona. Na przykład zawierają one tylko wartość, gdy operationName zawiera wartość JobStarted lub JobEnded.

Schemat właściwości dziennika inspekcji

Nazwa	Typ	Opis
JobId	Ciąg	Identyfikator przypisany do zadania
Jobname	Ciąg	Nazwa podana dla zadania
JobRunTime	Ciąg	Środowisko uruchomieniowe używane do przetwarzania zadania
SubmitTime	Ciąg	Godzina przesłania zadania (w formacie UTC)
StartTime	Ciąg	Czas uruchomienia zadania po przesłaniu (w formacie UTC)
EndTime	Ciąg	Czas zakończenia zadania
Równoległości prostych	Ciąg	Liczba jednostek Data Lake Analytics żądanych dla tego zadania podczas przesyłania