Azure Data Explorer-uitvoer van Azure Stream Analytics
U kunt Azure Data Explorer gebruiken als uitvoer voor het analyseren van grote hoeveelheden verschillende gegevens uit elke gegevensbron, zoals websites, toepassingen en IoT-apparaten (Internet of Things). Azure Data Explorer is een snelle en zeer schaalbare service voor gegevensverkenning voor telemetrische gegevens en gegevens uit logboeken. Het helpt u bij het afhandelen van de vele gegevensstromen die moderne software verzendt, zodat u gegevens kunt verzamelen, opslaan en analyseren. Deze gegevens worden gebruikt voor diagnose, bewaking, rapportage, machine learning en aanvullende analysemogelijkheden.
Azure Data Explorer ondersteunt verschillende opnamemethoden, waaronder connectors voor algemene services zoals Azure Event Hubs, programmatische opname via SDK's zoals .NET en Python, en directe toegang tot de engine voor verkenningsdoeleinden. Azure Data Explorer kan worden geïntegreerd met analyse- en modelleringsservices voor aanvullende analyse en visualisatie van gegevens.
Zie Wat is Azure Data Explorer? voor meer informatie over Azure Data Explorer.
Zie de quickstart: Een Azure Data Explorer-cluster en -database maken voor meer informatie over het maken van een Azure Data Explorer-cluster met behulp van Azure Portal.
Notitie
Azure Data Explorer van Azure Stream Analytics ondersteunt uitvoer naar Azure Synapse Data Explorer. Als u naar uw clusters wilt schrijven in Azure Synapse Data Explorer, geeft u de URL van uw cluster op in het configuratiedeelvenster voor Azure Data Explorer-uitvoer in uw Azure Stream Analytics-taak.
Uitvoerconfiguratie
De volgende tabel bevat de eigenschapsnamen en de bijbehorende beschrijvingen voor het maken van een Azure Data Explorer-uitvoer.
| Eigenschapsnaam | Omschrijving |
|---|---|
| Uitvoeralias | Een beschrijvende naam die wordt gebruikt in query's om de queryuitvoer naar deze database te leiden. |
| Abonnement | Het Azure-abonnement dat u wilt gebruiken voor uw cluster. |
| Cluster | Een unieke naam waarmee uw cluster wordt geïdentificeerd. De domeinnaam <region.kusto.windows.net> wordt toegevoegd aan de clusternaam die u opgeeft. De naam mag alleen kleine letters en cijfers bevatten. Het moet 4 tot 22 tekens bevatten. |
| Database | De naam van de database waar u de uitvoer verzendt. De databasenaam moet uniek zijn binnen het cluster. |
| Verificatie | Een beheerde identiteit van Microsoft Entra ID, waarmee uw cluster eenvoudig toegang heeft tot andere met Microsoft Entra beveiligde resources, zoals Azure Key Vault. De identiteit wordt beheerd door het Azure-platform en u hoeft geen geheimen in te richten of te laten rouleren. De configuratie van beheerde identiteiten wordt momenteel alleen ondersteund om door de klant beheerde sleutels voor uw cluster in te schakelen. |
| Tabel | De tabelnaam waarin de uitvoer wordt geschreven. De tabelnaam is hoofdlettergevoelig. Het schema van deze tabel moet exact overeenkomen met het aantal velden en de typen die uw taakuitvoer genereert. |
Partitionering
Partitionering moet zijn ingeschakeld en is gebaseerd op de PARTITION BY component in de query. Wanneer de optie Partitioneren overnemen is ingeschakeld, volgt deze de invoerpartitionering voor volledig parallelle query's.
Wanneer u Azure Stream Analytics en Azure Data Explorer gebruikt
Kenmerken van Azure Stream Analytics zijn:
- Stroomverwerkingsengine: continue analyse in realtime streamen
- Op basis van een taak
- Lookback-venster van 1 milliseconden tot 7 dagen voor tijdelijke analyses en stroomverwerking in het geheugen
- Opname van Azure Event Hubs en Azure IoT Hub met latentie van subseconden
Kenmerken van Azure Data Explorer zijn:
- Analytische engine: on-demand, interactieve realtime analyse
- Gegevensopname streamen naar een permanent gegevensarchief, samen met querymogelijkheden
- Opname van gegevens uit Event Hubs, IoT Hub, Azure Blob Storage, Azure Data Lake Storage, Kafka, Logstash, Spark en Azure Data Factory
- Latentie van 10 seconden tot 5 minuten voor workloads met hoge doorvoer
- Eenvoudige gegevenstransformatie via een updatebeleid tijdens opname
U kunt het bereik van realtime analyses aanzienlijk vergroten met behulp van Azure Stream Analytics en Azure Data Explorer. Hier volgen enkele scenario's:
- Stream Analytics identificeert afwijkingen in realtime en Azure Data Explorer helpt te bepalen hoe en waarom ze zich hebben voorgedaan via interactieve verkenning.
- Stream Analytics deserializeert binnenkomende gegevensstromen voor gebruik in Azure Data Explorer (neem bijvoorbeeld Protobuf-indeling op met behulp van een aangepaste deserializer of aangepaste binaire indelingen).
- Stream Analytics kan binnenkomende gegevensstromen aggregeren, filteren, verrijken en transformeren voor gebruik in Azure Data Explorer.
Andere scenario's en beperkingen
- De naam van de kolommen en het gegevenstype moet overeenkomen met de Azure Stream Analytics SQL-query en de Azure Data Explorer-tabel. De vergelijking is hoofdlettergevoelig.
- Kolommen die aanwezig zijn in uw Azure Data Explorer-clusters, maar ontbreken in Azure Stream Analytics, worden genegeerd. Kolommen die ontbreken in Azure Stream Analytics veroorzaken een fout.
- De volgorde van uw kolommen in uw Azure Stream Analytics-query maakt niet uit. Het schema van de Azure Data Explorer-tabel bepaalt de volgorde.
- Azure Data Explorer heeft een aggregatiebeleid (batchverwerking) voor gegevensopname dat is ontworpen om het opnameproces te optimaliseren. Het beleid is standaard geconfigureerd op 5 minuten, 1000 items of 1 GB aan gegevens, zodat u mogelijk een latentie ondervindt. Als u de latentie wilt verminderen, schakelt u streamingopname in op uw cluster en volgt u de stappen in Streamingopname configureren in uw Azure Data Explorer-cluster. Zie IngestionBatching-beleid voor aggregatieopties.