Så här fungerar Azure Data Explorer
I den här lektionen tittar vi på hur Azure Data Explorer fungerar i bakgrunden genom att diskutera de viktigaste komponenterna i systemet. Sedan lär du dig hur du interagerar med tjänsten genom att utforska ett gemensamt arbetsflöde:
- Datainsamling
- Kusto Query Language
- Datavisualisering
Den här kunskapen hjälper dig att avgöra om Azure Data Explorer passar bra för dina databehov.
Viktiga komponenter
Ett Azure Data Explorer-kluster utför allt arbete för att mata in, bearbeta och köra frågor mot dina data. Klustren kan beräknas automatiskt efter dina behov. Azure Data Explorer lagrar även data i Azure Storage och cachelagrar en del av dessa data på klusterberäkningsnoderna för att uppnå optimal frågeprestanda.
Vad finns i ett Azure Data Explorer-kluster?
Varje Azure Data Explorer-kluster kan innehålla upp till 10 000 databaser och varje databas upp till 10 000 tabeller. Data i varje tabell lagras i datashards som även kallas omfattningar. Alla data indexeras och partitioneras automatiskt baserat på inmatningstiden. Till skillnad från en relationsdatabas finns det inga primära begränsningar för sekundärnyckeln eller andra begränsningar, till exempel unikhet. Den här designen innebär att du kan lagra stora mängder olika data. Och på grund av hur det lagras får du snabb åtkomst till att köra frågor mot den.
Den logiska strukturen för en databas liknar många andra relationsdatabaser. En Azure Data Explorer-databas kan innehålla:
- Tabeller: Består av en uppsättning kolumner. Varje kolumn har en av nio olika datatyper.
- Externa tabeller: Tabeller vars underliggande lagring finns på andra platser, till exempel Azure Data Lake.
Lär känna det allmänna arbetsflödet
När du interagerar med Azure Data Explorer går du i allmänhet igenom följande arbetsflöde: Först matar du in dina data för att hämta dem i systemet. Sedan analyserar du dina data. Därefter visualiserar du resultatet av analysen. När som helst kan du också engagera dig i funktionerna för datahantering. Det här arbetet med Azure Data Explorer utförs genom interaktion med klustret. Du kan komma åt dessa resurser antingen i webbgränssnittet eller med hjälp av SDK:er.
Hur gör jag för att hämta mina data till Azure Data Explorer?
Datainmatning är den process som används för att läsa in dataposter från en eller flera källor till en tabell i Azure Data Explorer. Ytterligare datamanipulering omfattar matchande schema, organisering, indexering, kodning och komprimering av data. Datahanteraren checkar sedan in datainmatningen till motorn, där den är tillgänglig för frågor.
Förutom den interna guiden för webbgränssnitt finns det olika inmatningsverktyg tillgängliga. Inklusive hanterade pipelines, Event Grid, IoT Hub och Azure Data Factory. Du kan använda anslutningsappar och plugin-program som Logstash-plugin-programmet, Kafka-anslutningsappen, Power Automate och Apache Spark-anslutningsappen. Du kan också använda programmatisk inmatning med hjälp av SDK:er eller LightIngest.
Data kan matas in i två lägen: Batchbearbetning eller direktuppspelning. Batchinmatning är optimerad för dataflöde med hög inmatning och snabba frågeresultat. Direktuppspelningsinmatning möjliggör kort svarstid i realtid för små datauppsättningar per tabell.
Hur gör jag för att analysera mina data?
Azure Data Explorer använder den upphovsrättsskyddade Kusto-frågespråk (KQL) för att analysera data. Den används ofta i Microsoft (Azure Monitor – Log Analytics och Application Insights, Microsoft Sentinel och Microsoft Defender XDR). KQL är optimerat för snabbflytande, varierad stordatautforskning. Frågor refererar till tabeller, vyer, funktioner och andra tabelluttryck. Inkludera tabeller i olika databaser eller till och med kluster. Frågor kan köras med hjälp av webbgränssnittet, olika frågeverktyg eller med någon av SDK:erna för Azure Data Explorer.
Hur fungerar Kusto-frågespråk?
Kusto-frågespråk är ett uttrycksfullt, intuitivt och mycket produktivt frågespråk. Den erbjuder en smidig övergång från enkla one-liners till komplexa databearbetningsskript och stöder frågor mot strukturerade, halvstrukturerade och ostrukturerade data (textsökning). Det finns en mängd olika frågespråksoperatorer och funktioner (sammansättning, filtrering, tidsseriefunktioner, geospatiala funktioner, kopplingar, fackföreningar med mera) på språket. KQL stöder frågor mellan kluster och mellan databaser och är funktionsrika ur ett parsningsperspektiv (json, XML osv.). Dessutom har språket inbyggt stöd för avancerad analys.
Hur visar jag mina frågeresultat?
Webbgränssnittet för Azure Data Explorer har utformats med stordata i åtanke, så att du kan köra frågor och skapa instrumentpaneler. Den stöder en visning av upp till 500 K poster och tusentals kolumner. Den är mycket skalbar och rik på funktioner som hjälper dig att få snabba insikter från dina data. Du kan också använda olika visuella visningar av dina data i instrumentpanelerna i Azure Data Explorer. Du kan också visa dina resultat med hjälp av interna anslutningsappar till några av de ledande visualiseringstjänster som är tillgängliga idag, till exempel Power BI och Grafana. Azure Data Explorer har även stöd för ODBC- och JDBC-anslutningsprogram till verktyg som Tableau och Qlik.
Hur gör jag för att hantera mina data?
Administratörer vill utföra olika underhålls- och principuppgifter i sina Azure Data Explorer-kluster och kontrollkommandon ger dem möjlighet att göra det. Med hjälp av kontrollkommandon kan de skapa nya kluster eller databaser, upprätta dataanslutningar, utföra automatisk skalning och justera klusterkonfigurationer. De kan också styra och ändra entiteter, metadataobjekt, hantera behörigheter och säkerhetsprinciper. Dessutom kan de ändra materialiserade vyer (kontinuerligt uppdaterade filtrerade vyer av andra tabeller), funktioner (lagrade funktioner och användardefinierade funktioner) och uppdateringsprincipen (funktioner som utlöses efter inmatning).
Kontrollkommandon körs direkt på motorn med hjälp av webbgränssnittet, Azure-portalen, olika frågeverktyg eller någon av SDK:erna för Azure Data Explorer.