Přístup k diagnostickým protokolům pro Azure Data Lake Storage Gen1

  • Článek

Zjistěte, jak povolit protokolování diagnostiky pro účet Azure Data Lake Storage Gen1 a jak zobrazit protokoly shromážděné pro váš účet.

Organizace můžou pro svůj účet Azure Data Lake Storage Gen1 povolit protokolování diagnostiky a shromažďovat záznamy auditu přístupu k datům, které poskytují informace, jako je seznam uživatelů, kteří k datům přistupují, jak často se k datům přistupuje, kolik dat se v účtu ukládá atd. Pokud je tato možnost povolená, diagnostika a/nebo požadavky se protokolují s maximálním úsilím. Položky protokolu Požadavků i Diagnostiky se vytvoří pouze v případě, že se na koncový bod služby provádějí požadavky.

Požadavky

Povolení protokolování diagnostiky pro účet Data Lake Storage Gen1

  1. Přihlaste se k novému webu Azure Portal.

  2. Otevřete účet Data Lake Storage Gen1 a v okně účtu Data Lake Storage Gen1 klikněte na Nastavení diagnostiky.

  3. V okně Nastavení diagnostiky klikněte na Zapnout diagnostiku.

    Snímek obrazovky s účtem Data Lake Storage Gen1 se zaškrtnutou možností nastavení Diagnostika a možností Zapnout diagnostiku

  4. V okně Nastavení diagnostiky proveďte následující změny a nakonfigurujte protokolování diagnostiky.

    Snímek obrazovky s oddílem Nastavení diagnostiky se zaškrtnutým textovým polem Název a možností Uložit

    • Do pole Název zadejte hodnotu konfigurace diagnostického protokolu.

    • Data můžete ukládat nebo zpracovávat různými způsoby.

      • Vyberte možnost Archivovat do účtu úložiště , aby se protokoly ukládaly do účtu služby Azure Storage. Tuto možnost použijte, pokud chcete archivovat data, která budou později dávkově zpracována. Pokud vyberete tuto možnost, musíte zadat účet Azure Storage, do které se protokoly uloží.

      • Vyberte možnost Stream do centra událostí a streamovat data protokolů do centra událostí Azure. Tuto možnost s největší pravděpodobností použijete, pokud máte kanál pro zpracování podřízeného procesu, který analyzuje příchozí protokoly v reálném čase. Pokud vyberete tuto možnost, musíte zadat podrobnosti pro centrum událostí Azure, které chcete použít.

      • Pokud chcete použít službu Azure Monitor k analýze vygenerovaných dat protokolu, vyberte možnost Odeslat do Log Analytics . Pokud vyberete tuto možnost, musíte zadat podrobnosti pracovního prostoru služby Log Analytics, které byste použili k provedení analýzy protokolů. Podrobnosti o používání protokolů služby Azure Monitor najdete v tématu Zobrazení nebo analýza dat shromážděných pomocí protokolů služby Azure Monitor .

    • Určete, jestli chcete získat protokoly auditu, protokoly požadavků, případně obojí.

    • Zadejte počet dnů, po které se musí data uchovávat. Uchovávání dat protokolů se dá uchovávat jenom v případě, že k archivaci dat protokolů používáte účet úložiště Azure.

    • Klikněte na Uložit.

Po povolení nastavení diagnostiky můžete protokoly watch na kartě Diagnostické protokoly.

Zobrazení diagnostických protokolů pro účet Data Lake Storage Gen1

Data protokolu pro účet Data Lake Storage Gen1 můžete zobrazit dvěma způsoby.

  • V zobrazení nastavení účtu Data Lake Storage Gen1
  • Z účtu Azure Storage, kde jsou data uložená

Použití zobrazení nastavení Data Lake Storage Gen1

  1. V okně Nastavení účtu Data Lake Storage Gen1 klikněte na Diagnostické protokoly.

    Zobrazení diagnostických protokolů

  2. V okně Diagnostické protokoly byste měli vidět protokoly rozdělené do kategorií podle protokolů auditu a protokolů požadavků.

    • Protokoly požadavků zaznamenávají všechny požadavky rozhraní API provedené v účtu Data Lake Storage Gen1.
    • Protokoly auditu se podobají protokolům požadavků, ale poskytují mnohem podrobnější rozpis operací prováděných na Data Lake Storage Gen1 účtu. Například jedno volání rozhraní API pro nahrávání v protokolech požadavků může vést k několika operacím připojení v protokolech auditu.

  3. Protokoly stáhnete kliknutím na odkaz Stáhnout u každé položky protokolu.

Z účtu Azure Storage, který obsahuje data protokolů

  1. Otevřete okno účtu Azure Storage přidružené k Data Lake Storage Gen1 pro protokolování a pak klikněte na Objekty blob. V okně Blob Service jsou uvedeny dva kontejnery.

    Snímek obrazovky s oknem Data Lake Storage Gen1, vybranou možností Objekty blob a oknem Služba blogu s názvy dvou služeb objektů blob

    • Kontejner insights-logs-audit obsahuje protokoly auditu.
    • Kontejner insights-logs-requests obsahuje protokoly požadavků.

  2. V těchto kontejnerech se protokoly ukládají v následující struktuře.

    Snímek obrazovky se strukturou protokolu, která je uložená v kontejneru

    Úplná cesta k protokolu auditování může být například https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=04/m=00/PT1H.json

    Podobně může být úplná cesta k protokolu požadavků https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Vysvětlení struktury dat protokolu

Protokoly auditu a požadavků jsou ve formátu JSON. V této části se podíváme na strukturu JSON pro protokoly požadavků a auditu.

Protokoly požadavků

Tady je ukázková položka v protokolu požadavků ve formátu JSON. Každý objekt blob má jeden kořenový objekt označovaný jako záznamy , který obsahuje pole objektů protokolu.

{
"records": 
  [        
    . . . .
    ,
    {
        "time": "2016-07-07T21:02:53.456Z",
        "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
        "category": "Requests",
        "operationName": "GETCustomerIngressEgress",
        "resultType": "200",
        "callerIpAddress": "::ffff:1.1.1.1",
        "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
        "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
        "properties": {"HttpMethod":"GET","Path":"/webhdfs/v1/Samples/Outputs/Drivers.csv","RequestContentLength":0,"StoreIngressSize":0 ,"StoreEgressSize":4096,"ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8","StartTime":"2016-07-07T21:02:52.472Z","EndTime":"2016-07-07T21:02:53.456Z","QueryParameters":"api-version=<version>&op=<operationName>"}
    }
    ,
    . . . .
  ]
}

Schéma protokolu požadavků

Název Typ Description
time Řetězec Časové razítko protokolu (v UTC)
resourceId Řetězec ID prostředku, u kterého proběhla operace
category Řetězec Kategorie protokolu. Například Požadavky.
operationName Řetězec Název operace, která se protokoluje. Například getfilestatus.
resultType Řetězec Stav operace, například 200.
callerIpAddress Řetězec IP adresa klienta, který vytváří požadavek
correlationId Řetězec ID protokolu, které lze použít k seskupení sady souvisejících položek protokolu
identity Objekt Identita, která vygenerovala protokol
properties JSON Podrobnosti najdete níže.

Schéma vlastností protokolu požadavků

Název Typ Description
Metoda HTTP Řetězec Metoda HTTP použitá pro operaci. Například GET.
Cesta Řetězec Cesta, na které byla operace provedena
RequestContentLength int Délka obsahu požadavku HTTP
ClientRequestId Řetězec ID, které jednoznačně identifikuje tento požadavek
StartTime Řetězec Čas, kdy server přijal požadavek
EndTime Řetězec Čas, kdy server odeslal odpověď
StoreIngressSize Dlouhé Velikost v bajtech příchozích dat do Data Lake Store
StoreEgressSize Dlouhé Velikost v bajtech výchozích dat z Data Lake Store
QueryParameters Řetězec Popis: Toto jsou parametry dotazu http. Příklad 1: api-version=2014-01-01&op=getfilestatus Příklad 2: op=APPEND&append=true&syncFlag=DATA&filesessionid=bee3355a-4925-4435--bb4d-ceea52811aeb&leaseid=bee3355a-4925-4435-bb4d-ceea52811aeb&offset=28313319&api-version=2017-08-01

Protokoly auditu

Tady je ukázková položka v protokolu auditu ve formátu JSON. Každý objekt blob má jeden kořenový objekt označovaný jako záznamy , který obsahuje pole objektů protokolu.

{
"records": 
  [        
    . . . .
    ,
    {
        "time": "2016-07-08T19:08:59.359Z",
        "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
        "category": "Audit",
        "operationName": "SeOpenStream",
        "resultType": "0",
        "resultSignature": "0",
        "correlationId": "381110fc03534e1cb99ec52376ceebdf;Append_BrEKAmg;25.66.9.145",
        "identity": "A9DAFFAF-FFEE-4BB5-A4A0-1B6CBBF24355",
        "properties": {"StreamName":"adl://<data_lake_storage_gen1_account_name>.azuredatalakestore.net/logs.csv"}
    }
    ,
    . . . .
  ]
}

Schéma protokolu auditu

Název Typ Description
time Řetězec Časové razítko (v UTC) protokolu
resourceId Řetězec ID prostředku, u kterého proběhla operace
category Řetězec Kategorie protokolu. Například Audit.
operationName Řetězec Název operace, která se protokoluje. Například getfilestatus.
resultType Řetězec Stav operace, například 200.
resultSignature Řetězec Další podrobnosti o operaci
correlationId Řetězec ID protokolu, které lze použít k seskupení sady souvisejících položek protokolu
identity Objekt Identita, která vygenerovala protokol
properties JSON Podrobnosti najdete níže.

Schéma vlastností protokolu auditu

Název Typ Description
Název streamu Řetězec Cesta, na které byla operace provedena

Ukázky pro zpracování dat protokolu

Při odesílání protokolů z Azure Data Lake Storage Gen1 do protokolů Služby Azure Monitor (viz Zobrazení nebo analýza dat shromážděných pomocí protokolů Azure Monitoru vyhledejte podrobnosti o používání protokolů služby Azure Monitor), následující dotaz vrátí tabulku obsahující seznam zobrazovaných jmen uživatelů, čas událostí a počet událostí pro čas události spolu s vizuálním grafem. Můžete ho snadno upravit tak, aby zobrazoval identifikátor GUID uživatele nebo jiné atributy:

search *
| where ( Type == "AzureDiagnostics" )
| summarize count(TimeGenerated) by identity_s, TimeGenerated

Azure Data Lake Storage Gen1 poskytuje ukázku zpracování a analýzy dat protokolu. Ukázku najdete na adrese https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Viz také