IoT-gegevens exporteren naar Azure Data Explorer
In dit artikel wordt beschreven hoe u gegevensexport configureert om gegevens naar Azure Data Explorer te verzenden.
Gebruik deze functie om gefilterde en verrijkte IoT-gegevens continu te exporteren uit uw IoT Central-toepassing. Gegevensexport pusht wijzigingen in bijna realtime naar andere onderdelen van uw cloudoplossing voor inzichten, analyses en opslag op warm pad.
U kunt bijvoorbeeld:
- Continu telemetrie exporteren, eigenschappenwijzigingen, apparaatconnectiviteit, apparaatlevenscyclus, levenscyclus van apparaatsjablonen en auditlogboekgegevens in JSON-indeling in bijna realtime.
- Filter de gegevensstromen om gegevens te exporteren die overeenkomen met aangepaste voorwaarden.
- Verrijk de gegevensstromen met aangepaste waarden en eigenschapswaarden van het apparaat.
- Transformeer de gegevensstromen om hun vorm en inhoud te wijzigen.
Tip
Wanneer u gegevensexport inschakelt, krijgt u alleen de gegevens vanaf dat moment. Als u meer historische gegevens wilt behouden, schakelt u gegevensexport vroeg in. Als u gegevens handmatig wilt exporteren vanaf tijdstippen waarop gegevensexport is uitgeschakeld, raadpleegt u Hoe u de Rest API van IoT Central gebruikt om query's uit te voeren op apparaten.
Notitie
In sommige gevallen kan het tot 60 seconden duren voordat de berichten worden geëxporteerd. Deze tijd wordt gemeten vanaf wanneer IoT Central het bericht van de onderliggende IoT-hub ontvangt tot wanneer het bericht wordt bezorgd bij het doeleindpunt.
Vereisten
Als u functies voor gegevensexport wilt gebruiken, moet u beschikken over de machtiging Gegevensexport .
Een Azure Data Explorer-exportbestemming instellen
U kunt een Azure Data Explorer-cluster of een Azure Synapse Data Explorer-pool gebruiken. Zie Wat is het verschil tussen Azure Synapse Data Explorer en Azure Data Explorer? voor meer informatie.
IoT Central exporteert gegevens in bijna realtime naar een databasetabel in het Azure Data Explorer-cluster. De gegevens bevinden zich in de berichttekst en hebben een JSON-indeling die is gecodeerd als UTF-8. U kunt een transformatie in IoT Central toevoegen om gegevens te exporteren die overeenkomen met het tabelschema.
Als u een query wilt uitvoeren op de geëxporteerde gegevens in de Azure Data Explorer-portal, gaat u naar de database en selecteert u Query.
De volgende video begeleidt u bij het exporteren van gegevens naar Azure Data Explorer:
Verbindingsopties
Met Azure Data Explorer-bestemmingen kunt u de verbinding met een service-principal of een beheerde identiteit configureren.
Beheerde identiteiten zijn veiliger omdat:
- U slaat de referenties voor uw resource niet op in een verbindingsreeks in uw IoT Central-toepassing.
- De referenties worden automatisch gekoppeld aan de levensduur van uw IoT Central-toepassing.
- Beheerde identiteiten draaien hun beveiligingssleutels automatisch regelmatig.
IoT Central maakt momenteel gebruik van door het systeem toegewezen beheerde identiteiten.
Wanneer u een beheerde identiteit configureert, bevat de configuratie een bereik en een rol:
- Het bereik definieert waar u de beheerde identiteit kunt gebruiken. U kunt bijvoorbeeld een Azure-resourcegroep gebruiken als bereik. In dit geval moeten zowel de IoT Central-toepassing als de bestemming zich in dezelfde resourcegroep bevinden.
- De rol bepaalt welke machtigingen de IoT Central-toepassing wordt verleend in de doelservice. Voor een IoT Central-toepassing voor het verzenden van gegevens naar een Event Hub heeft de beheerde identiteit bijvoorbeeld de roltoewijzing Azure Event Hubs-gegevenszender nodig.
De volgende video bevat meer informatie over door het systeem toegewezen beheerde identiteiten:
Let op
Als u wilt exporteren naar blobopslag, gebruikt u de bijdrager voor het opslagaccount niet, zoals wordt weergegeven in de video. Gebruik in plaats daarvan de rol Inzender voor opslagblobgegevens.
Een Azure Data Explorer-bestemming maken
In dit artikel wordt beschreven hoe u een beheerde identiteit maakt met behulp van de Azure CLI. U kunt azure Portal ook gebruiken om een beheerde identiteit te maken.
Als u geen bestaande Azure Data Explorer-database hebt waarnaar u wilt exporteren, volgt u deze stappen. U hebt twee opties om een Azure Data Explorer-database te maken:
- Maak een nieuw Azure Data Explorer-cluster en -database. Zie de quickstart voor Azure Data Explorer voor meer informatie. Noteer de cluster-URI en de naam van de database die u maakt. U hebt deze waarden nodig in de volgende stappen.
- Maak een nieuwe Azure Synapse Data Explorer-pool en -database. Zie de quickstart voor Azure Data Explorer voor meer informatie. Noteer de pool-URI en de naam van de database die u maakt. U hebt deze waarden nodig in de volgende stappen.
De beheerde identiteit configureren waarmee uw IoT Central-toepassing veilig gegevens naar uw Azure-resource kan exporteren:
Maak een beheerde identiteit voor uw IoT Central-toepassing om verbinding te maken met uw database. Gebruik Azure Cloud Shell om de volgende opdracht uit te voeren:
az iot central app identity assign --name {your IoT Central app name} \ --resource-group {resource group name} \ --system-assigned
Noteer de
principalId
entenantId
uitvoer door de opdracht. U gebruikt deze waarden in de volgende stap.Configureer de databasemachtigingen om verbindingen vanuit uw IoT Central-toepassing toe te staan. Gebruik Azure Cloud Shell om de volgende opdracht uit te voeren:
az kusto database-principal-assignment create --cluster-name {name of your cluster} \ --database-name {name of your database} \ --resource-group {resource group name} \ --principal-assignment-name {name of your IoT Central application} \ --principal-id {principal id from the previous step} \ --principal-type App --role Admin \ --tenant-id {tenant id from the previous step}
Tip
Als u Azure Synapse gebruikt, raadpleegt
az synapse kusto database-principal-assignment
u .Maak een tabel in uw database met een geschikt schema voor de gegevens die u exporteert. Met de volgende voorbeeldquery wordt een tabel gemaakt met de naam
smartvitalspatch
. Zie Gegevens transformeren in uw IoT Central-toepassing voor meer informatie voor export:.create table smartvitalspatch ( EnqueuedTime:datetime, Message:string, Application:string, Device:string, Simulated:boolean, Template:string, Module:string, Component:string, Capability:string, Value:dynamic )
(Optioneel) Ga als volgt te werk om de opname van gegevens in uw Azure Data Explorer-database te versnellen:
Navigeer naar de pagina Configuraties voor uw Azure Data Explorer-cluster. Schakel vervolgens de optie Streamingopname in.
Voer de volgende query uit om het tabelbeleid te wijzigen om streamingopname in te schakelen:
.alter table smartvitalspatch policy streamingingestion enable
De Azure Data Explorer-bestemming maken in IoT Central op de pagina Gegevensexport :
Selecteer + Nieuwe bestemming.
Selecteer Azure Data Explorer als doeltype.
Voer uw Azure Data Explorer-cluster- of pool-URL, databasenaam en tabelnaam in. Selecteer Door het systeem toegewezen beheerde identiteit als autorisatietype.
Tip
De cluster-URL voor een zelfstandige Azure Data Explorer ziet er als volgt uit
https://<ClusterName>.<AzureRegion>.kusto.windows.net
. De cluster-URL voor een Azure Synapse Data Explorer-pool ziet er als volgthttps://<DataExplorerPoolName>.<SynapseWorkspaceName>.kusto.azuresynapse.net
uit.
Als u geen gegevens ziet die binnenkomen in uw doelservice, raadpleegt u Problemen met gegevensexports vanuit uw Azure IoT Central-toepassing oplossen.
Een gegevensexport instellen
Nu u een bestemming hebt om uw gegevens naar te exporteren, stelt u de gegevensexport in uw IoT Central-toepassing in:
Meld u aan bij uw IoT Central-toepassing.
Selecteer Gegevensexport in het linkerdeelvenster.
Tip
Als u gegevensexport niet ziet in het linkerdeelvenster, hebt u geen machtigingen om gegevensexport in uw app te configureren. Neem contact op met een beheerder om gegevensexport in te stellen.
Selecteer + Nieuwe export.
Voer een weergavenaam in voor de nieuwe export en zorg ervoor dat de gegevensexport is ingeschakeld.
Kies het type gegevens dat u wilt exporteren. De volgende tabel bevat de ondersteunde typen gegevensexport:
Gegevenstype Beschrijving Gegevensopmaak Telemetrie Telemetrieberichten exporteren van apparaten in bijna realtime. Elk geëxporteerd bericht bevat de volledige inhoud van het oorspronkelijke apparaatbericht, genormaliseerd. Telemetrieberichtindeling Eigenschapswijzigingen Exporteer wijzigingen in apparaat- en cloudeigenschappen in bijna realtime. Voor alleen-lezen apparaateigenschappen worden wijzigingen in de gerapporteerde waarden geëxporteerd. Voor eigenschappen voor lezen/schrijven worden zowel gerapporteerde als gewenste waarden geëxporteerd. Berichtindeling wijzigen van eigenschap Connectiviteit van apparaten Verbonden en verbroken gebeurtenissen van het apparaat exporteren. Berichtindeling voor apparaatconnectiviteit Levenscyclus van apparaat Exporteer apparaat geregistreerd, verwijderd, ingericht, ingeschakeld, uitgeschakeld, displayNameChanged en deviceTemplateChanged-gebeurtenissen. Berichtindeling van apparaatlevenscyclus wordt gewijzigd Levenscyclus van apparaatsjabloon Gepubliceerde apparaatsjabloonwijzigingen exporteren, waaronder gemaakt, bijgewerkt en verwijderd. De levenscyclus van apparaatsjablonen verandert de berichtindeling Auditlogboeken Logboeken van door de gebruiker geïnitieerde updates voor entiteiten in de toepassing. Zie Auditlogboeken gebruiken om activiteiten in uw IoT Central-toepassing bij te houden voor meer informatie Berichtindeling auditlogboek Voeg eventueel filters toe om de hoeveelheid geëxporteerde gegevens te verminderen. Er zijn verschillende typen filters beschikbaar voor elk type gegevensexport:
Type gegevens Beschikbare filters Telemetrie - Filteren op apparaatnaam, apparaat-id, apparaatsjabloon en of het apparaat is gesimuleerd
- Filterstroom om alleen telemetrie te bevatten die voldoet aan de filtervoorwaarden
- Filterstroom zodat deze alleen telemetrie van apparaten bevat met eigenschappen die overeenkomen met de filtervoorwaarden
- Filterstroom zodat deze alleen telemetrie bevat met berichteigenschappen die voldoen aan de filtervoorwaarde. Berichteigenschappen (ook wel toepassingseigenschappen genoemd) worden verzonden in een zak sleutel-waardeparen op elk telemetriebericht. Als u een berichteigenschapsfilter wilt maken, voert u de eigenschapssleutel van het bericht in die u zoekt en geeft u een voorwaarde op. Alleen telemetrieberichten met eigenschappen die overeenkomen met de opgegeven filtervoorwaarde worden geëxporteerd. Meer informatie over toepassingseigenschappen uit IoT Hub-documenten
Eigenschapswijzigingen - Filteren op apparaatnaam, apparaat-id, apparaatsjabloon en of het apparaat is gesimuleerd
- Filterstroom om alleen eigenschapswijzigingen te bevatten die voldoen aan de filtervoorwaarden
Connectiviteit van apparaten - Filteren op apparaatnaam, apparaat-id, apparaatsjabloon, organisaties en of het apparaat is gesimuleerd
- Filterstroom zodat deze alleen wijzigingen van apparaten bevat met eigenschappen die overeenkomen met de filtervoorwaarden
Levenscyclus van apparaat - Filteren op apparaatnaam, apparaat-id, apparaatsjabloon en of het apparaat is ingericht, ingeschakeld of gesimuleerd
- Filterstroom zodat deze alleen wijzigingen van apparaten bevat met eigenschappen die overeenkomen met de filtervoorwaarden
Levenscyclus van apparaatsjabloon - Filteren op apparaatsjabloon
Auditlogboeken N.v.t. Verrijk eventueel geëxporteerde berichten met extra metagegevens van sleutel-waardepaar. De volgende verrijkingen zijn beschikbaar voor de telemetrie, eigenschappenwijzigingen, apparaatconnectiviteit en gegevensexporttypen voor de levenscyclus van apparaten:
- Aangepaste tekenreeks: voegt een aangepaste statische tekenreeks toe aan elk bericht. Voer een willekeurige sleutel in en voer een tekenreekswaarde in.
- Eigenschap, die aan elk bericht wordt toegevoegd:
- Metagegevens van apparaten, zoals apparaatnaam, apparaatsjabloonnaam, ingeschakeld, organisaties, ingericht en gesimuleerd.
- De gerapporteerde eigenschap of cloudeigenschapswaarde van het huidige apparaat voor elk bericht. Als het geëxporteerde bericht afkomstig is van een apparaat dat niet de opgegeven eigenschap heeft, krijgt het geëxporteerde bericht de verrijking niet.
Configureer de exportbestemming:
Selecteer + Bestemming om een bestemming toe te voegen die u al hebt gemaakt of selecteer Een nieuwe maken.
Als u uw gegevens wilt transformeren voordat deze worden geëxporteerd, selecteert u + Transformeren. Zie Gegevens transformeren in uw IoT Central-toepassing voor export voor meer informatie.
Selecteer + Bestemming om maximaal vijf bestemmingen toe te voegen aan één export.
Wanneer u klaar bent met het instellen van de export, selecteert u Opslaan. Na een paar minuten worden uw gegevens weergegeven in uw bestemmingen.
Uw export bewaken
Op de pagina Gegevensexport in IoT Central kunt u de status van uw exports controleren. U kunt Ook Azure Monitor gebruiken om te zien hoeveel gegevens u exporteert en eventuele exportfouten. U hebt toegang tot metrische gegevens over export- en apparaatstatus in grafieken in Azure Portal met behulp van de REST API, query's in PowerShell of de Azure CLI. Op dit moment kunt u de volgende metrische gegevens voor gegevensexport bewaken in Azure Monitor:
- Aantal berichten dat binnenkomt om te exporteren voordat filters worden toegepast.
- Aantal berichten dat filters doorgeeft.
- Het aantal berichten dat naar bestemmingen is geëxporteerd.
- Aantal gevonden fouten.
Zie Toepassingsstatus bewaken voor meer informatie.
Bestandsindelingen
In de volgende secties worden de indelingen van de geëxporteerde gegevens beschreven:
Telemetrie-indeling
Elk geëxporteerd bericht bevat een genormaliseerde vorm van het volledige bericht dat het apparaat in de hoofdtekst van het bericht heeft verzonden. Het bericht heeft de JSON-indeling en is gecodeerd als UTF-8. Informatie in elk bericht bevat:
applicationId
: De id van de IoT Central-toepassing.messageSource
: De bron voor het bericht -telemetry
.deviceId
: De id van het apparaat dat het telemetriebericht heeft verzonden.schema
: de naam en versie van het nettoladingschema.templateId
: De id van de apparaatsjabloon die is toegewezen aan het apparaat.enqueuedTime
: Het tijdstip waarop IoT Central dit bericht heeft ontvangen.enrichments
: Alle verrijkingen die voor de export zijn ingesteld.module
: De IoT Edge-module die dit bericht heeft verzonden. Dit veld wordt alleen weergegeven als het bericht afkomstig is van een IoT Edge-module.component
: het onderdeel dat dit bericht heeft verzonden. Dit veld wordt alleen weergegeven als de mogelijkheden die in het bericht zijn verzonden, zijn gemodelleerd als onderdeel in de apparaatsjabloonmessageProperties
: Andere eigenschappen die het apparaat met het bericht heeft verzonden. Deze eigenschappen worden soms toepassingseigenschappen genoemd. Meer informatie vindt u in IoT Hub-documenten.
Berichteigenschappen
Telemetrieberichten hebben eigenschappen voor metagegevens en de nettolading van telemetrie. In het vorige fragment ziet u voorbeelden van systeemberichten zoals deviceId
en enqueuedTime
. Zie Systeemeigenschappen van IoT Hub-berichten in de apparaat-naar-cloud voor meer informatie over de eigenschappen van systeemberichten.
U kunt eigenschappen toevoegen aan telemetrieberichten als u aangepaste metagegevens wilt toevoegen aan uw telemetrieberichten. U moet bijvoorbeeld een tijdstempel toevoegen wanneer het apparaat het bericht maakt.
In het volgende codefragment ziet u hoe u de iothub-creation-time-utc
eigenschap aan het bericht toevoegt wanneer u het op het apparaat maakt:
Belangrijk
De notatie van deze tijdstempel moet UTC zijn zonder tijdzonegegevens. Is bijvoorbeeld 2021-04-21T11:30:16Z
geldig, 2021-04-21T11:30:16-07:00
is ongeldig.
async function sendTelemetry(deviceClient, index) {
console.log('Sending telemetry message %d...', index);
const msg = new Message(
JSON.stringify(
deviceTemperatureSensor.updateSensor().getCurrentTemperatureObject()
)
);
msg.properties.add("iothub-creation-time-utc", new Date().toISOString());
msg.contentType = 'application/json';
msg.contentEncoding = 'utf-8';
await deviceClient.sendEvent(msg);
}
Opmaak van eigenschapswijzigingen
Elk bericht of elke record vertegenwoordigt wijzigingen in apparaat- en cloudeigenschappen. Informatie in het geëxporteerde bericht bevat:
applicationId
: De id van de IoT Central-toepassing.messageSource
: De bron voor het bericht -properties
.messageType
: OfwelcloudPropertyChange
,devicePropertyDesiredChange
ofdevicePropertyReportedChange
.deviceId
: De id van het apparaat dat het telemetriebericht heeft verzonden.schema
: de naam en versie van het nettoladingschema.enqueuedTime
: Het tijdstip waarop IoT Central deze wijziging heeft gedetecteerd.templateId
: De id van de apparaatsjabloon die is toegewezen aan het apparaat.properties
: Een matrix met eigenschappen die zijn gewijzigd, inclusief de namen van de eigenschappen en waarden die zijn gewijzigd. De onderdeel- en modulegegevens worden opgenomen als de eigenschap is gemodelleerd binnen een onderdeel of een IoT Edge-module.enrichments
: Alle verrijkingen die voor de export zijn ingesteld.
Indeling van apparaatverbindingswijzigingen
Elk bericht of elke record vertegenwoordigt een connectiviteitsgebeurtenis van één apparaat. Informatie in het geëxporteerde bericht bevat:
applicationId
: De id van de IoT Central-toepassing.messageSource
: De bron voor het bericht -deviceConnectivity
.messageType
: Ofconnected
disconnected
.deviceId
: De id van het apparaat dat is gewijzigd.schema
: de naam en versie van het nettoladingschema.templateId
: De id van de apparaatsjabloon die is toegewezen aan het apparaat.enqueuedTime
: Het tijdstip waarop deze wijziging heeft plaatsgevonden in IoT Central.enrichments
: Alle verrijkingen die voor de export zijn ingesteld.
Indeling voor wijzigingen in de levenscyclus van apparaten
Elk bericht of elke record vertegenwoordigt één wijziging in één apparaat. Informatie in het geëxporteerde bericht bevat:
applicationId
: De id van de IoT Central-toepassing.messageSource
: De bron voor het bericht -deviceLifecycle
.messageType
: Het type wijziging dat is opgetreden. Een van:registered
, ,deleted
,provisioned
,enabled
, ,disabled
, , endisplayNameChanged
deviceTemplateChanged
.deviceId
: De id van het apparaat dat is gewijzigd.schema
: de naam en versie van het nettoladingschema.templateId
: De id van de apparaatsjabloon die is toegewezen aan het apparaat.enqueuedTime
: Het tijdstip waarop deze wijziging heeft plaatsgevonden in IoT Central.enrichments
: Alle verrijkingen die voor de export zijn ingesteld.
Indeling voor levenscycluswijzigingen van apparaatsjablonen
Elk bericht of elke record vertegenwoordigt één wijziging in één gepubliceerde apparaatsjabloon. Informatie in het geëxporteerde bericht bevat:
applicationId
: De id van de IoT Central-toepassing.messageSource
: De bron voor het bericht -deviceTemplateLifecycle
.messageType
: Ofwelcreated
,updated
ofdeleted
.schema
: de naam en versie van het nettoladingschema.templateId
: De id van de apparaatsjabloon die is toegewezen aan het apparaat.enqueuedTime
: Het tijdstip waarop deze wijziging heeft plaatsgevonden in IoT Central.enrichments
: Alle verrijkingen die voor de export zijn ingesteld.
Indeling van auditlogboek
Elk auditlogboekbericht vertegenwoordigt een door de gebruiker geïnitieerde wijziging in een controleerbare entiteit in de IoT Central-toepassing. Informatie in het geëxporteerde bericht bevat:
actor
: Informatie over de gebruiker die de entiteit heeft gewijzigd.applicationId
: De id van de IoT Central-toepassing.messageSource
: De bron voor het bericht -audit
.messageType
: Het type wijziging dat is opgetreden. Een van:updated
,created
,deleted
.updated
: Alleen aanwezig alsmessageType
dat het isupdated
. Biedt meer informatie over de update.resource
: Details van de gewijzigde entiteit.schema
: de naam en versie van het nettoladingschema.deviceId
: De id van het apparaat dat is gewijzigd.enqueuedTime
: Het tijdstip waarop deze wijziging heeft plaatsgevonden in IoT Central.enrichments
: Alle verrijkingen die voor de export zijn ingesteld.
Volgende stappen
Nu u weet hoe u kunt exporteren naar Azure Data Explorer, is een voorgestelde volgende stap het leren exporteren naar webhook.