Kurz: Ingestování dat a dotazování na data monitorování v Azure Data Exploreru

V tomto kurzu se dozvíte, jak ingestovat data z diagnostických protokolů a protokolů aktivit do clusteru Azure Data Exploreru bez psaní kódu. Pomocí této jednoduché metody příjmu dat můžete rychle začít dotazovat Azure Data Explorer na analýzu dat.

V tomto návodu se naučíte, jak:

  • Vytvořte tabulky a mapování příjmu dat v databázi Azure Data Exploreru.
  • Naformátujte ingestována data pomocí zásad aktualizace.
  • Vytvořte centrum událostí a připojte ho k Azure Data Exploreru.
  • Streamování dat do centra událostí ze služby Azure Monitor diagnostických metrik a protokolů a protokolů aktivit.
  • Dotazování přijatých dat pomocí Azure Data Exploreru

Poznámka:

Vytvořte všechny prostředky ve stejné lokalitě nebo oblasti Azure.

Požadavky

Zprostředkovatel dat služby Azure Monitor: Diagnostické metriky a protokoly aktivit

Prohlédněte si a seznamte se s daty poskytovanými diagnostickými metrikami a protokoly aktivit služby Azure Monitor v následujících částech. Na základě těchto schémat dat vytvoříte kanál příjmu dat. Každá událost v protokolu má pole záznamů. Toto pole záznamů rozdělíte později v tomto kurzu.

Příklady diagnostických metrik a protokolů a protokolů aktivit

Služba Azure generuje diagnostické metriky, protokoly a protokoly aktivit. Tyto protokoly poskytují data o provozu této služby.

Příklad diagnostických metrik

Diagnostické metriky agregují data s časovým intervalem jedné minuty. Následující příklad ukazuje schéma událostí metrik Azure Data Exploreru pro dobu trvání dotazu:

{
    "records": [
    {
        "count": 14,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-20T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    },
    {
        "count": 12,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-21T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    }
    ]
}

Nastavení kanálu příjmu dat v Azure Data Exploreru

Nastavení kanálu Azure Data Exploreru zahrnuje několik kroků, například vytvoření tabulky a vložení dat. Můžete také manipulovat s daty, mapovat je a aktualizovat.

Připojení k webovému uživatelskému rozhraní Azure Data Exploreru

V databázi TestDatabase Azure Data Exploreru vyberte Dotaz a otevřete webové uživatelské rozhraní Azure Data Exploreru.

Stránka dotazu

Vytvoření cílových tabulek

Struktura protokolů služby Azure Monitor není tabulková. Potřebujete manipulovat s daty a rozbalit každou událost na jeden nebo více záznamů. Načtení nezpracovaných dat do zprostředkující tabulky pojmenované jako ActivityLogsRawRecords pro záznamy aktivit a DiagnosticRawRecords pro diagnostické metriky a protokoly. V tu chvíli data zpracováváte a rozšiřujete. Pomocí zásad aktualizace ingestujte rozbalená data do tabulky ActivityLogs pro protokoly aktivit, DiagnosticMetrics pro diagnostické metriky a DiagnosticLogs pro diagnostické protokoly. Tento proces znamená, že potřebujete vytvořit dvě samostatné tabulky pro ingestování protokolů aktivit a tři samostatné tabulky pro ingestování diagnostických metrik a protokolů.

Pomocí webového uživatelského rozhraní Azure Data Exploreru vytvořte cílové tabulky v databázi Azure Data Exploreru.

Vytvoření tabulek pro diagnostické metriky

  1. V databázi TestDatabase vytvořte tabulku s názvem DiagnosticMetrics pro ukládání záznamů diagnostických metrik. Použijte následující .create table příkaz pro správu:

    .create table DiagnosticMetrics (Timestamp:datetime, ResourceId:string, MetricName:string, Count:int, Total:double, Minimum:double, Maximum:double, Average:double, TimeGrain:string)

  2. Vyberte Spustit a vytvořte tabulku.

    Spustit dotaz.

  3. Pomocí následujícího dotazu vytvořte zprostředkující tabulku dat s názvem DiagnosticRawRecords v databázi TestDatabase pro manipulaci s daty. Vyberte Spustit a vytvořte tabulku.

    .create table DiagnosticRawRecords (Records:dynamic)

  4. Nastavte zásady nulového uchovávání informací pro zprostředkující tabulku:

    .alter-merge table DiagnosticRawRecords policy retention softdelete = 0d

Vytvořit mapování tabulek

Vzhledem k tomu, že formát dat je json, musíte vytvořit mapování dat. Mapování json připojí každou cestu JSON k názvu sloupce tabulky. Pokud cesta JSON obsahuje speciální znaky, je uzavřete jako ['Název vlastnosti']. Další informace najdete v syntaxi JSONPath.

Mapujte diagnostické metriky a protokoly do tabulky

Pomocí následujícího dotazu namapujte diagnostickou metriku a data protokolu na tabulku:

.create table DiagnosticRawRecords ingestion json mapping 'DiagnosticRawRecordsMapping' '[{"column":"Records","Properties":{"path":"$.records"}}]'

Vytvořte zásady aktualizace pro metrická a protokolová data

Vytvoření zásad aktualizace dat pro diagnostické metriky

  1. Vytvořte funkci , která rozšiřuje kolekci diagnostických záznamů metrik, aby každá hodnota v kolekci získala samostatný řádek. Použijte operátor mv-expand:

    .create function DiagnosticMetricsExpand() {
   DiagnosticRawRecords
   | mv-expand events = Records
   | where isnotempty(events.metricName)
   | project
       Timestamp = todatetime(events['time']),
       ResourceId = tostring(events.resourceId),
       MetricName = tostring(events.metricName),
       Count = toint(events['count']),
       Total = todouble(events.total),
       Minimum = todouble(events.minimum),
       Maximum = todouble(events.maximum),
       Average = todouble(events.average),
       TimeGrain = tostring(events.timeGrain)
}

  2. Přidejte zásadu aktualizace do cílové tabulky. Tato zásada automaticky spustí dotaz na všechna nově přijatá data v tabulce DiagnosticRawRecords intermediate data a ingestuje výsledky do tabulky DiagnosticMetrics :

    .alter table DiagnosticMetrics policy update @'[{"Source": "DiagnosticRawRecords", "Query": "DiagnosticMetricsExpand()", "IsEnabled": "True", "IsTransactional": true}]'

Vytvořit obor názvů pro Azure Event Hubs

Nastavení diagnostiky Azure umožňuje exportovat metriky a protokoly do účtu úložiště nebo do centra událostí. V tomto kurzu budete směrovat metriky a protokoly prostřednictvím centra událostí. V následujících krocích vytvoříte obor názvů centra událostí a centrum událostí pro diagnostické metriky a protokoly. Azure Monitor vytvoří centrum událostí insights-operational-logs pro protokoly aktivit.

  1. Vytvořte centrum událostí pomocí šablony Azure Resource Manageru na webu Azure Portal. Pokud chcete postupovat podle zbývajících kroků v tomto článku, klikněte pravým tlačítkem na tlačítko Nasadit do Azure a pak vyberte Otevřít v novém okně. Tlačítko Nasadit do Azure vás přejde na web Azure Portal.

    Tlačítko Nasadit do Azure

  2. Vytvořte obor názvů služby Event Hubs a centrum událostí pro diagnostické protokoly. Zjistěte, jak vytvořit obor názvů Event Hubs.

  3. Do formuláře zadejte následující informace. Pro všechna nastavení, která nejsou uvedená v následující tabulce, použijte výchozí hodnoty.

    Nastavení Navrhovaná hodnota Popis
    Předplatné Vaše předplatné Vyberte předplatné Azure, které chcete použít pro svoje centrum událostí.
    Skupina prostředků test-resource-group Vytvořte novou skupinu prostředků.
    Místo Vyberte oblast, která nejlépe vyhovuje vašim potřebám. Vytvořte obor názvů centra událostí ve stejném umístění jako jiné prostředky.
    Název jmenného prostoru AzureMonitoringData Zvolte jedinečný název, který identifikuje váš obor názvů.
    Název centra událostí DiagnosticData Centrum událostí se nachází pod oborem názvů, který poskytuje jedinečný rozsahový kontejner.
    Název skupiny příjemců adxpipeline Vytvořte název skupiny příjemců. Skupiny příjemců umožňují více aplikacím spotřebovávajícím data mít samostatný pohled na proud událostí.

Připojení metrik a protokolů služby Azure Monitor k centru událostí

Teď potřebujete připojit diagnostické metriky a protokoly a protokoly aktivit k centru událostí.

Připojení diagnostických metrik a protokolů k centru událostí

Vyberte prostředek, ze kterého chcete exportovat metriky. Několik typů prostředků podporuje export diagnostických dat, včetně jmenného prostoru Centrum událostí, služby Azure Key Vault, Azure IoT Hub a clusterů Azure Data Explorer. V tomto kurzu použijte klastr Azure Data Explorer jako svůj zdroj. Můžete zkontrolovat metriky výkonu dotazů a protokoly výsledků příjmu dat.

  1. Na webu Azure Portal vyberte svůj cluster Kusto.

  2. Vyberte Nastavení diagnostiky a pak vyberte odkaz Zapnout diagnostiku .

    Nastavení diagnostiky

  3. Otevře se podokno Nastavení diagnostiky. Postupujte následovně:

    1. Přiřaďte svým datům diagnostického protokolu název ADXExportedData.

    2. Pod LOG zaškrtněte políčka SucceededIngestion a FailedIngestion.

    3. V části Metrika zaškrtněte políčko Výkon dotazu.

    4. Zaškrtněte políčko Stream do centra událostí.

    5. Vyberte Konfigurovat.

      Podokno nastavení diagnostiky

  4. V podokně Vybrat centrum událostí nakonfigurujte, jak exportovat data z diagnostických protokolů do centra událostí, které jste vytvořili:

    1. V seznamu Vybrat obor názvů centra událostí vyberte AzureMonitoringData.
    2. V seznamu Vyberte název centra událostí vyberte DiagnosticData.
    3. V seznamu Vybrat název zásady centra událostí vyberte RootManagerSharedAccessKey.
    4. Vyberte OK.

  5. Zvolte Uložit.

Viz tok dat do centra událostí

  1. Počkejte několik minut, než se připojení definuje, a export protokolu aktivit do centra událostí se dokončí. Přejděte do oboru názvů Event Hubs a podívejte se na event huby, které jste vytvořili.

    Služba Event Hubs byla vytvořena.

  2. Podívejte se na tok dat do centra událostí:

    Data centra událostí

Připojení centra událostí k Azure Data Exploreru

Teď potřebujete vytvořit datová připojení pro diagnostické metriky a protokoly aktivit.

Vytvořte datové připojení pro diagnostické metriky a protokoly a protokoly aktivit.

  1. V clusteru Azure Data Exploreru s názvem Kustodocs vyberte Databáze v nabídce vlevo.

  2. V okně Databáze vyberte databázi TestDatabase.

  3. V nabídce vlevo vyberte Příjem dat.

  4. V okně Pro příjem dat vyberte + Přidat datové připojení.

  5. V okně Datové připojení zadejte následující informace:

    Připojení k datovému centru událostí

  1. V okně datového připojení použijte následující nastavení:

    Zdroj dat:

    Nastavení Navrhovaná hodnota Popis pole
    Název datového připojení DiagnosticsLogsConnection Název připojení, které chcete vytvořit v Azure Data Exploreru
    Obor názvů Event Hub AzureMonitoringData Název, který jste zvolili dříve a který identifikuje váš obor názvů
    Centrum událostí DiagnosticData Centrum událostí, které jste vytvořili
    Skupina příjemců adxpipeline Skupina uživatelů, kterou jste definovali v centrum událostí, které jste vytvořili

    Cílová tabulka:

    Existují dvě možnosti směrování: statické a dynamické. V tomto kurzu použijete statické směrování (výchozí), kde zadáte název tabulky, formát dat a mapování. Možnost Moje data zahrnují informace o směrování ponechte nevybranou.

    Nastavení Navrhovaná hodnota Popis pole
    Tabulka Diagnostické záznamy Tabulka, kterou jste vytvořili v databázi TestDatabase .
    Formát dat JSON Formát použitý v tabulce.
    Mapování sloupců DiagnosticRawRecordsMapping Mapování, které jste vytvořili v databázi TestDatabase, která mapuje příchozí data JSON na názvy sloupců a datové typy tabulky DiagnosticRawRecords.

  2. Vyberte Vytvořit.

Proveďte dotaz na nové tabulky

Teď máte kanál s tokem dat. Příjem dat přes cluster ve výchozím nastavení trvá pět minut, takže počkejte několik minut, než začnete dotazovat.

Proveďte dotaz na tabulku diagnostických metrik

Následující dotaz analyzuje data doby trvání dotazu ze záznamů diagnostických metrik v Azure Data Exploreru:

DiagnosticMetrics
| where Timestamp > ago(15m) and MetricName == 'QueryDuration'
| summarize avg(Average)

Výsledky dotazu:

avg_Průměr
00:06.156

Související obsah

  • Poslední aktualizace v