Dela via

Azure Data Explorer-utdata från Azure Stream Analytics

  • Artikel

Du kan använda Azure Data Explorer som utdata för att analysera stora mängder olika data från alla datakällor, till exempel webbplatser, program och IoT-enheter (Internet of Things). Azure Data Explorer är en snabb och mycket skalbar datautforskningstjänst för logg- och telemetridata. Det hjälper dig att hantera de många dataströmmar som modern programvara genererar, så att du kan samla in, lagra och analysera data. Dessa data används för diagnostik, övervakning, rapportering, maskininlärning och ytterligare analysfunktioner.

Azure Data Explorer stöder flera inmatningsmetoder, inklusive anslutningsappar till vanliga tjänster som Azure Event Hubs, programmatisk inmatning via SDK:er som .NET och Python och direkt åtkomst till motorn i utforskningssyfte. Azure Data Explorer integreras med tjänster för analys och modellering för ytterligare analys och visualisering av data.

Mer information om Azure Data Explorer finns i Vad är Azure Data Explorer?.

Mer information om hur du skapar ett Azure Data Explorer-kluster med hjälp av Azure-portalen finns i Snabbstart: Skapa ett Azure Data Explorer-kluster och en databas.

Kommentar

Azure Data Explorer från Azure Stream Analytics stöder utdata till Azure Synapse Data Explorer. Om du vill skriva till dina kluster i Azure Synapse Data Explorer anger du URL:en för klustret i konfigurationsfönstret för Azure Data Explorer-utdata i ditt Azure Stream Analytics-jobb.

Utdatakonfiguration

I följande tabell visas egenskapsnamnen och deras beskrivningar för att skapa ett Azure Data Explorer-utdata.

Egenskapsnamn Description
Utdataalias Ett eget namn som används i frågor för att dirigera frågeutdata till den här databasen.
Prenumeration Den Azure-prenumeration som du vill använda för klustret.
Kluster Ett unikt namn som identifierar klustret. Domännamnsregionen.kusto.windows.net <>läggs till i det klusternamn som du anger. Namnet får bara innehålla gemena bokstäver och siffror. Den måste innehålla 4 till 22 tecken.
Databas Namnet på databasen där du skickar utdata. Databasnamnet måste vara unikt inom klustret.
Autentisering En hanterad identitet från Microsoft Entra-ID som gör att klustret enkelt kan komma åt andra Microsoft Entra-skyddade resurser, till exempel Azure Key Vault. Identiteten hanteras av Azure-plattformen och du behöver inte etablera eller rotera några hemligheter. Konfiguration av hanterad identitet stöds för närvarande endast för att aktivera kundhanterade nycklar för klustret.
Register Tabellnamnet där utdata skrivs. Tabellnamnet är skiftlägeskänsligt. Schemat för den här tabellen ska exakt matcha antalet fält och deras typer som dina jobbutdata genererar.

Partitionering

Partitionering måste aktiveras och baseras på PARTITION BY -satsen i frågan. När alternativet Ärv partitionering är aktiverat följer det indatapartitioneringen för fullständigt parallelliserbara frågor.

När du ska använda Azure Stream Analytics och Azure Data Explorer

Egenskaperna för Azure Stream Analytics är:

  • Strömbearbetningsmotor: kontinuerlig, strömmande realtidsanalys
  • Jobbbaserat
  • Tillbakablicksfönster på 1 millisekunder till 7 dagar för minnesintern temporal analys och dataströmbearbetning
  • Inmatning från Azure Event Hubs och Azure IoT Hub med fördröjning under sek

Egenskaper för Azure Data Explorer är:

  • Analysmotor: interaktiv realtidsanalys på begäran
  • Strömma datainmatning till ett beständigt datalager, tillsammans med frågefunktioner
  • Datainmatning från Event Hubs, IoT Hub, Azure Blob Storage, Azure Data Lake Storage, Kafka, Logstash, Spark och Azure Data Factory
  • Svarstid på 10 sekunder till 5 minuter för arbetsbelastningar med högt dataflöde
  • Enkel datatransformering via en uppdateringsprincip under inmatning

Du kan avsevärt öka omfattningen för realtidsanalys med hjälp av Azure Stream Analytics och Azure Data Explorer tillsammans. Här följer några scenarier:

  • Stream Analytics identifierar avvikelser i realtid och Azure Data Explorer hjälper till att avgöra hur och varför de inträffade genom interaktiv utforskning.
  • Stream Analytics deserialiserar inkommande dataströmmar för användning i Azure Data Explorer (till exempel mata in Protobuf-format med hjälp av en anpassad deserialiserare eller anpassade binära format).
  • Stream Analytics kan aggregera, filtrera, berika och transformera inkommande dataströmmar för användning i Azure Data Explorer.

Andra scenarier och begränsningar

  • Namnet på kolumnerna och datatypen ska matcha mellan Azure Stream Analytics SQL-frågan och Azure Data Explorer-tabellen. Jämförelsen är skiftlägeskänslig.
  • Kolumner som finns i dina Azure Data Explorer-kluster men som saknas i Azure Stream Analytics ignoreras. Kolumner som saknas i Azure Stream Analytics skapar ett fel.
  • Ordningen på dina kolumner i Azure Stream Analytics-frågan spelar ingen roll. Schemat för Azure Data Explorer-tabellen avgör ordningen.
  • Azure Data Explorer har en aggregeringsprincip (batchbearbetning) för datainmatning som är utformad för att optimera inmatningsprocessen. Principen är konfigurerad till 5 minuter, 1 000 objekt eller 1 GB data som standard, så du kan få svarstider. För att minska svarstiden aktiverar du strömningsinmatning i klustret och sedan tabell eller databas genom att följa stegen i Konfigurera strömmande inmatning i azure data explorer-klustret. Aggregeringsalternativ finns i IngestionBatching-princip.

Nästa steg