Lösningsidéer
Den här artikeln är en lösningsidé. Om du vill att vi utökar innehållet med mer information, till exempel potentiella användningsfall, alternativa tjänster, implementeringsöverväganden eller prisvägledning, kan du berätta för oss genom att ge GitHub-feedback.
Den här lösningsidén visar datainmatning med låg latens och högt dataflöde för stora volymer av CDN-loggar (Content Delivery Network). Du kan använda dessa data för att skapa instrumentpaneler för analys i nära realtid.
Arkitektur
Ladda ned en Visio-fil med den här arkitekturen.
Dataflöde
- Content Delivery Network-leverantörer som Verizon och Snabbt matar in stora mängder CDN-loggar i Azure Data Explorer för att analysera svarstider, hälsa och prestanda för CDN-tillgångar.
- De flesta CDN-scenarier matar in data via Azure Storage (Blob eller ADLS Gen2), som använder Azure Event Grid och utlöser inmatningspipelinen till Azure Data Explorer. Du kan också massinmata data med hjälp av lightingest-verktyget. Du kan också kontinuerligt exportera data till Azure Storage i komprimerat, partitionerat parquet-format och sömlöst köra frågor mot dessa data enligt beskrivningen i Översikt över löpande dataexport.
- Azure Data Explorer tillhandahåller enkla inbyggda operatorer och funktioner för att bearbeta, aggregera och analysera tidsserie- och loggdata samt tillhandahålla insikter med blixthastighet. Du kan skapa analysinstrumentpaneler i nära realtid med hjälp av Azure Data Explorer instrumentpaneler, Power BI eller Grafana.
- Skapa och schemalägga aviseringar och meddelanden med hjälp av Azure Data Explorer-anslutningsappen för Azure Logic Apps.
Komponenter
- Azure Storage Azure Data Explorer-anslutningsprogram: Kontinuerlig inmatning från Azure Storage (Blob Storage och ADLSv2) med Azure Event Grid prenumeration för att strömma dessa meddelanden till Azure Data Explorer.
- Azure Data Explorer: Snabb, fullständigt hanterad och mycket skalbar dataanalystjänst för realtidsanalys på stora mängder dataströmmar från program, webbplatser, IoT-enheter med mera.
- Azure Data Explorer-instrumentpaneler: Exportera Kusto-frågor internt som utforskades i webbgränssnittet till optimerade instrumentpaneler.
- Azure Logic Apps Azure Data Explorer-anslutningsprogram: Kör Kusto-frågor och kommandon automatiskt som en del av en schemalagd eller utlöst uppgift.
Scenarioinformation
Du kan använda den här lösningen för att mata in stora volymer cdn-loggar i syfte att skapa instrumentpaneler för analys i nästan realtid.
Potentiella användningsfall
- Log Analytics
- Analys av tidsserier
- IoT
- Undersökande analys för generell användning
Deltagare
Den här artikeln underhålls av Microsoft. Den skrevs ursprungligen av följande deltagare.
Huvudförfattare:
- Ornat Spodek | Senior Content Manager
Nästa steg
Mer information finns i Dokumentation om Azure Data Explorer.