IoT-gegevens exporteren naar Azure Data Explorer

In dit artikel wordt beschreven hoe u gegevensexport configureert om gegevens naar Azure Data Explorer te verzenden.

Gebruik deze functie om gefilterde en verrijkte IoT-gegevens continu te exporteren uit uw IoT Central-toepassing. Gegevensexport pusht wijzigingen in bijna realtime naar andere onderdelen van uw cloudoplossing voor inzichten, analyses en opslag op warm pad.

U kunt bijvoorbeeld:

  • Continu telemetrie exporteren, eigenschappenwijzigingen, apparaatconnectiviteit, apparaatlevenscyclus, levenscyclus van apparaatsjablonen en auditlogboekgegevens in JSON-indeling in bijna realtime.
  • Filter de gegevensstromen om gegevens te exporteren die overeenkomen met aangepaste voorwaarden.
  • Verrijk de gegevensstromen met aangepaste waarden en eigenschapswaarden van het apparaat.
  • Transformeer de gegevensstromen om hun vorm en inhoud te wijzigen.

Tip

Wanneer u gegevensexport inschakelt, krijgt u alleen de gegevens vanaf dat moment. Als u meer historische gegevens wilt behouden, schakelt u gegevensexport vroeg in. Als u gegevens handmatig wilt exporteren vanaf tijdstippen waarop gegevensexport is uitgeschakeld, raadpleegt u Hoe u de Rest API van IoT Central gebruikt om query's uit te voeren op apparaten.

Notitie

In sommige gevallen kan het tot 60 seconden duren voordat de berichten worden geëxporteerd. Deze tijd wordt gemeten vanaf wanneer IoT Central het bericht van de onderliggende IoT-hub ontvangt tot wanneer het bericht wordt bezorgd bij het doeleindpunt.

Vereisten

Als u functies voor gegevensexport wilt gebruiken, moet u beschikken over de machtiging Gegevensexport .

Een Azure Data Explorer-exportbestemming instellen

U kunt een Azure Data Explorer-cluster of een Azure Synapse Data Explorer-pool gebruiken. Zie Wat is het verschil tussen Azure Synapse Data Explorer en Azure Data Explorer? voor meer informatie.

IoT Central exporteert gegevens in bijna realtime naar een databasetabel in het Azure Data Explorer-cluster. De gegevens bevinden zich in de berichttekst en hebben een JSON-indeling die is gecodeerd als UTF-8. U kunt een transformatie in IoT Central toevoegen om gegevens te exporteren die overeenkomen met het tabelschema.

Als u een query wilt uitvoeren op de geëxporteerde gegevens in de Azure Data Explorer-portal, gaat u naar de database en selecteert u Query.

De volgende video begeleidt u bij het exporteren van gegevens naar Azure Data Explorer:

opties voor Verbinding maken ion

Met Azure Data Explorer-bestemmingen kunt u de verbinding met een service-principal of een beheerde identiteit configureren.

Beheerde identiteiten zijn veiliger omdat:

  • U slaat de referenties voor uw resource niet op in een verbindingsreeks in uw IoT Central-toepassing.
  • De referenties worden automatisch gekoppeld aan de levensduur van uw IoT Central-toepassing.
  • Beheerde identiteiten draaien hun beveiligingssleutels automatisch regelmatig.

IoT Central maakt momenteel gebruik van door het systeem toegewezen beheerde identiteiten.

Wanneer u een beheerde identiteit configureert, bevat de configuratie een bereik en een rol:

  • Het bereik definieert waar u de beheerde identiteit kunt gebruiken. U kunt bijvoorbeeld een Azure-resourcegroep gebruiken als bereik. In dit geval moeten zowel de IoT Central-toepassing als de bestemming zich in dezelfde resourcegroep bevinden.
  • De rol bepaalt welke machtigingen de IoT Central-toepassing wordt verleend in de doelservice. Voor een IoT Central-toepassing voor het verzenden van gegevens naar een Event Hub heeft de beheerde identiteit bijvoorbeeld de roltoewijzing Azure Event Hubs-gegevenszender nodig.

De volgende video bevat meer informatie over door het systeem toegewezen beheerde identiteiten:

Let op

Als u wilt exporteren naar blobopslag, gebruikt u de bijdrager voor het opslagaccount niet, zoals wordt weergegeven in de video. Gebruik in plaats daarvan de rol Inzender voor opslagblobgegevens.

Een Azure Data Explorer-bestemming maken

In dit artikel wordt beschreven hoe u een beheerde identiteit maakt met behulp van de Azure CLI. U kunt azure Portal ook gebruiken om een beheerde identiteit te maken.

Als u geen bestaande Azure Data Explorer-database hebt waarnaar u wilt exporteren, volgt u deze stappen. U hebt twee opties om een Azure Data Explorer-database te maken:

  • Maak een nieuw Azure Data Explorer-cluster en -database. Zie de quickstart voor Azure Data Explorer voor meer informatie. Noteer de cluster-URI en de naam van de database die u maakt. U hebt deze waarden nodig in de volgende stappen.
  • Maak een nieuwe Azure Synapse Data Explorer-pool en -database. Zie de quickstart voor Azure Data Explorer voor meer informatie. Noteer de pool-URI en de naam van de database die u maakt. U hebt deze waarden nodig in de volgende stappen.

De beheerde identiteit configureren waarmee uw IoT Central-toepassing veilig gegevens naar uw Azure-resource kan exporteren:

  1. Maak een beheerde identiteit voor uw IoT Central-toepassing om verbinding te maken met uw database. Gebruik Azure Cloud Shell om de volgende opdracht uit te voeren:

    az iot central app identity assign --name {your IoT Central app name} \
        --resource-group {resource group name} \
        --system-assigned
    

    Noteer de principalId en tenantId uitvoer door de opdracht. U gebruikt deze waarden in de volgende stap.

  2. Configureer de databasemachtigingen om verbindingen vanuit uw IoT Central-toepassing toe te staan. Gebruik Azure Cloud Shell om de volgende opdracht uit te voeren:

    az kusto database-principal-assignment create --cluster-name {name of your cluster} \
        --database-name {name of your database}    \
        --resource-group {resource group name} \
        --principal-assignment-name {name of your IoT Central application} \
        --principal-id {principal id from the previous step} \
        --principal-type App --role Admin \
        --tenant-id {tenant id from the previous step}
    

    Tip

    Als u Azure Synapse gebruikt, raadpleegt az synapse kusto database-principal-assignmentu .

  3. Maak een tabel in uw database met een geschikt schema voor de gegevens die u exporteert. Met de volgende voorbeeldquery wordt een tabel gemaakt met de naam smartvitalspatch. Zie Gegevens transformeren in uw IoT Central-toepassing voor meer informatie voor export:

    .create table smartvitalspatch (
      EnqueuedTime:datetime,
      Message:string,
      Application:string,
      Device:string,
      Simulated:boolean,
      Template:string,
      Module:string,
      Component:string,
      Capability:string,
      Value:dynamic
    )
    
  4. (Optioneel) Ga als volgt te werk om de opname van gegevens in uw Azure Data Explorer-database te versnellen:

    1. Navigeer naar de pagina Configuraties voor uw Azure Data Explorer-cluster. Schakel vervolgens de optie Streamingopname in.

    2. Voer de volgende query uit om het tabelbeleid te wijzigen om streamingopname in te schakelen:

      .alter table smartvitalspatch policy streamingingestion enable
      

De Azure Data Explorer-bestemming maken in IoT Central op de pagina Gegevensexport :

  1. Selecteer + Nieuwe bestemming.

  2. Selecteer Azure Data Explorer als doeltype.

  3. Voer uw Azure Data Explorer-cluster- of pool-URL, databasenaam en tabelnaam in. Selecteer Door het systeem toegewezen beheerde identiteit als autorisatietype.

    Tip

    De cluster-URL voor een zelfstandige Azure Data Explorer ziet er als volgt uit https://<ClusterName>.<AzureRegion>.kusto.windows.net. De cluster-URL voor een Azure Synapse Data Explorer-pool ziet er als volgt https://<DataExplorerPoolName>.<SynapseWorkspaceName>.kusto.azuresynapse.netuit.

    Schermopname van azure Data Explorer-exportbestemming die gebruikmaakt van een beheerde identiteit.

Als u geen gegevens ziet die binnenkomen in uw doelservice, raadpleegt u Problemen met gegevensexports vanuit uw Azure IoT Central-toepassing oplossen.

Een gegevensexport instellen

Nu u een bestemming hebt om uw gegevens naar te exporteren, stelt u de gegevensexport in uw IoT Central-toepassing in:

  1. Meld u aan bij uw IoT Central-toepassing.

  2. Selecteer Gegevensexport in het linkerdeelvenster.

    Tip

    Als u gegevensexport niet ziet in het linkerdeelvenster, hebt u geen machtigingen om gegevensexport in uw app te configureren. Neem contact op met een beheerder om gegevensexport in te stellen.

  3. Selecteer + Nieuwe export.

  4. Voer een weergavenaam in voor de nieuwe export en zorg ervoor dat de gegevensexport is ingeschakeld.

  5. Kies het type gegevens dat u wilt exporteren. De volgende tabel bevat de ondersteunde typen gegevensexport:

    Gegevenstype Beschrijving Gegevensopmaak
    Telemetrie Telemetrieberichten exporteren van apparaten in bijna realtime. Elk geëxporteerd bericht bevat de volledige inhoud van het oorspronkelijke apparaatbericht, genormaliseerd. Telemetrieberichtindeling
    Eigenschapswijzigingen Exporteer wijzigingen in apparaat- en cloudeigenschappen in bijna realtime. Voor alleen-lezen apparaateigenschappen worden wijzigingen in de gerapporteerde waarden geëxporteerd. Voor eigenschappen voor lezen/schrijven worden zowel gerapporteerde als gewenste waarden geëxporteerd. Berichtindeling wijzigen van eigenschap
    Connectiviteit van apparaten Verbonden en verbroken gebeurtenissen van het apparaat exporteren. Berichtindeling voor apparaatconnectiviteit
    Levenscyclus van apparaat Exporteer apparaat geregistreerd, verwijderd, ingericht, ingeschakeld, uitgeschakeld, displayNameChanged en deviceTemplateChanged-gebeurtenissen. Berichtindeling van apparaatlevenscyclus wordt gewijzigd
    Levenscyclus van apparaatsjabloon Gepubliceerde apparaatsjabloonwijzigingen exporteren, waaronder gemaakt, bijgewerkt en verwijderd. De levenscyclus van apparaatsjablonen verandert de berichtindeling
    Auditlogboeken Logboeken van door de gebruiker geïnitieerde updates voor entiteiten in de toepassing. Zie Auditlogboeken gebruiken om activiteiten in uw IoT Central-toepassing bij te houden voor meer informatie Berichtindeling auditlogboek
  6. Voeg eventueel filters toe om de hoeveelheid geëxporteerde gegevens te verminderen. Er zijn verschillende typen filters beschikbaar voor elk type gegevensexport:

    Type gegevens Beschikbare filters
    Telemetrie
    • Filteren op apparaatnaam, apparaat-id, apparaatsjabloon en of het apparaat is gesimuleerd
    • Filterstroom om alleen telemetrie te bevatten die voldoet aan de filtervoorwaarden
    • Filterstroom zodat deze alleen telemetrie van apparaten bevat met eigenschappen die overeenkomen met de filtervoorwaarden
    • Filterstroom zodat deze alleen telemetrie bevat met berichteigenschappen die voldoen aan de filtervoorwaarde. Berichteigenschappen (ook wel toepassingseigenschappen genoemd) worden verzonden in een zak sleutel-waardeparen op elk telemetriebericht. Als u een berichteigenschapsfilter wilt maken, voert u de eigenschapssleutel van het bericht in die u zoekt en geeft u een voorwaarde op. Alleen telemetrieberichten met eigenschappen die overeenkomen met de opgegeven filtervoorwaarde worden geëxporteerd. Meer informatie over toepassingseigenschappen uit IoT Hub-documenten
    Eigenschapswijzigingen
    • Filteren op apparaatnaam, apparaat-id, apparaatsjabloon en of het apparaat is gesimuleerd
    • Filterstroom om alleen eigenschapswijzigingen te bevatten die voldoen aan de filtervoorwaarden
    Connectiviteit van apparaten
    • Filteren op apparaatnaam, apparaat-id, apparaatsjabloon, organisaties en of het apparaat is gesimuleerd
    • Filterstroom zodat deze alleen wijzigingen van apparaten bevat met eigenschappen die overeenkomen met de filtervoorwaarden
    Levenscyclus van apparaat
    • Filteren op apparaatnaam, apparaat-id, apparaatsjabloon en of het apparaat is ingericht, ingeschakeld of gesimuleerd
    • Filterstroom zodat deze alleen wijzigingen van apparaten bevat met eigenschappen die overeenkomen met de filtervoorwaarden
    Levenscyclus van apparaatsjabloon
    • Filteren op apparaatsjabloon
    Auditlogboeken N.v.t.
  7. Verrijk eventueel geëxporteerde berichten met extra metagegevens van sleutel-waardepaar. De volgende verrijkingen zijn beschikbaar voor de telemetrie, eigenschappenwijzigingen, apparaatconnectiviteit en gegevensexporttypen voor de levenscyclus van apparaten:

    • Aangepaste tekenreeks: voegt een aangepaste statische tekenreeks toe aan elk bericht. Voer een willekeurige sleutel in en voer een tekenreekswaarde in.
    • Eigenschap, die aan elk bericht wordt toegevoegd:
      • Metagegevens van apparaten, zoals apparaatnaam, apparaatsjabloonnaam, ingeschakeld, organisaties, ingericht en gesimuleerd.
      • De gerapporteerde eigenschap of cloudeigenschapswaarde van het huidige apparaat voor elk bericht. Als het geëxporteerde bericht afkomstig is van een apparaat dat niet de opgegeven eigenschap heeft, krijgt het geëxporteerde bericht de verrijking niet.

Configureer de exportbestemming:

  1. Selecteer + Bestemming om een bestemming toe te voegen die u al hebt gemaakt of selecteer Een nieuwe maken.

  2. Als u uw gegevens wilt transformeren voordat deze worden geëxporteerd, selecteert u + Transformeren. Zie Gegevens transformeren in uw IoT Central-toepassing voor export voor meer informatie.

  3. Selecteer + Bestemming om maximaal vijf bestemmingen toe te voegen aan één export.

  4. Wanneer u klaar bent met het instellen van de export, selecteert u Opslaan. Na een paar minuten worden uw gegevens weergegeven in uw bestemmingen.

Uw export bewaken

Op de pagina Gegevensexport in IoT Central kunt u de status van uw exports controleren. U kunt Ook Azure Monitor gebruiken om te zien hoeveel gegevens u exporteert en eventuele exportfouten. U hebt toegang tot metrische gegevens over export- en apparaatstatus in grafieken in Azure Portal met behulp van de REST API, query's in PowerShell of de Azure CLI. Op dit moment kunt u de volgende metrische gegevens voor gegevensexport bewaken in Azure Monitor:

  • Aantal berichten dat binnenkomt om te exporteren voordat filters worden toegepast.
  • Aantal berichten dat filters doorgeeft.
  • Het aantal berichten dat naar bestemmingen is geëxporteerd.
  • Aantal gevonden fouten.

Zie Toepassingsstatus bewaken voor meer informatie.

Bestandsindelingen

In de volgende secties worden de indelingen van de geëxporteerde gegevens beschreven:

Telemetrie-indeling

Elk geëxporteerd bericht bevat een genormaliseerde vorm van het volledige bericht dat het apparaat in de hoofdtekst van het bericht heeft verzonden. Het bericht heeft de JSON-indeling en is gecodeerd als UTF-8. Informatie in elk bericht bevat:

  • applicationId: De id van de IoT Central-toepassing.
  • messageSource: De bron voor het bericht - telemetry.
  • deviceId: De id van het apparaat dat het telemetriebericht heeft verzonden.
  • schema: de naam en versie van het nettoladingschema.
  • templateId: De id van de apparaatsjabloon die is toegewezen aan het apparaat.
  • enqueuedTime: Het tijdstip waarop IoT Central dit bericht heeft ontvangen.
  • enrichments: Alle verrijkingen die voor de export zijn ingesteld.
  • module: De IoT Edge-module die dit bericht heeft verzonden. Dit veld wordt alleen weergegeven als het bericht afkomstig is van een IoT Edge-module.
  • component: het onderdeel dat dit bericht heeft verzonden. Dit veld wordt alleen weergegeven als de mogelijkheden die in het bericht zijn verzonden, zijn gemodelleerd als onderdeel in de apparaatsjabloon
  • messageProperties: Andere eigenschappen die het apparaat met het bericht heeft verzonden. Deze eigenschappen worden soms toepassingseigenschappen genoemd. Meer informatie vindt u in IoT Hub-documenten.

Berichteigenschappen

Telemetrieberichten hebben eigenschappen voor metagegevens en de nettolading van telemetrie. In het vorige fragment ziet u voorbeelden van systeemberichten zoals deviceId en enqueuedTime. Zie Systeemeigenschappen van D2C IoT Hub-berichten voor meer informatie over de eigenschappen van systeemberichten.

U kunt eigenschappen toevoegen aan telemetrieberichten als u aangepaste metagegevens wilt toevoegen aan uw telemetrieberichten. U moet bijvoorbeeld een tijdstempel toevoegen wanneer het apparaat het bericht maakt.

In het volgende codefragment ziet u hoe u de iothub-creation-time-utc eigenschap aan het bericht toevoegt wanneer u het op het apparaat maakt:

Belangrijk

De notatie van deze tijdstempel moet UTC zijn zonder tijdzonegegevens. Is bijvoorbeeld 2021-04-21T11:30:16Z geldig, 2021-04-21T11:30:16-07:00 is ongeldig.

async function sendTelemetry(deviceClient, index) {
  console.log('Sending telemetry message %d...', index);
  const msg = new Message(
    JSON.stringify(
      deviceTemperatureSensor.updateSensor().getCurrentTemperatureObject()
    )
  );
  msg.properties.add("iothub-creation-time-utc", new Date().toISOString());
  msg.contentType = 'application/json';
  msg.contentEncoding = 'utf-8';
  await deviceClient.sendEvent(msg);
}

Opmaak van eigenschapswijzigingen

Elk bericht of elke record vertegenwoordigt wijzigingen in apparaat- en cloudeigenschappen. Informatie in het geëxporteerde bericht bevat:

  • applicationId: De id van de IoT Central-toepassing.
  • messageSource: De bron voor het bericht - properties.
  • messageType: Ofwel cloudPropertyChange, devicePropertyDesiredChangeof devicePropertyReportedChange.
  • deviceId: De id van het apparaat dat het telemetriebericht heeft verzonden.
  • schema: de naam en versie van het nettoladingschema.
  • enqueuedTime: Het tijdstip waarop IoT Central deze wijziging heeft gedetecteerd.
  • templateId: De id van de apparaatsjabloon die is toegewezen aan het apparaat.
  • properties: Een matrix met eigenschappen die zijn gewijzigd, inclusief de namen van de eigenschappen en waarden die zijn gewijzigd. De onderdeel- en modulegegevens worden opgenomen als de eigenschap is gemodelleerd binnen een onderdeel of een IoT Edge-module.
  • enrichments: Alle verrijkingen die voor de export zijn ingesteld.

Indeling van apparaatverbindingswijzigingen

Elk bericht of elke record vertegenwoordigt een connectiviteitsgebeurtenis van één apparaat. Informatie in het geëxporteerde bericht bevat:

  • applicationId: De id van de IoT Central-toepassing.
  • messageSource: De bron voor het bericht - deviceConnectivity.
  • messageType: Of connecteddisconnected.
  • deviceId: De id van het apparaat dat is gewijzigd.
  • schema: de naam en versie van het nettoladingschema.
  • templateId: De id van de apparaatsjabloon die is toegewezen aan het apparaat.
  • enqueuedTime: Het tijdstip waarop deze wijziging heeft plaatsgevonden in IoT Central.
  • enrichments: Alle verrijkingen die voor de export zijn ingesteld.

Indeling voor wijzigingen in de levenscyclus van apparaten

Elk bericht of elke record vertegenwoordigt één wijziging in één apparaat. Informatie in het geëxporteerde bericht bevat:

  • applicationId: De id van de IoT Central-toepassing.
  • messageSource: De bron voor het bericht - deviceLifecycle.
  • messageType: Het type wijziging dat is opgetreden. Een van: registered, , deleted, provisioned, enabled, , disabled, , en displayNameChangeddeviceTemplateChanged.
  • deviceId: De id van het apparaat dat is gewijzigd.
  • schema: de naam en versie van het nettoladingschema.
  • templateId: De id van de apparaatsjabloon die is toegewezen aan het apparaat.
  • enqueuedTime: Het tijdstip waarop deze wijziging heeft plaatsgevonden in IoT Central.
  • enrichments: Alle verrijkingen die voor de export zijn ingesteld.

Indeling voor levenscycluswijzigingen van apparaatsjablonen

Elk bericht of elke record vertegenwoordigt één wijziging in één gepubliceerde apparaatsjabloon. Informatie in het geëxporteerde bericht bevat:

  • applicationId: De id van de IoT Central-toepassing.
  • messageSource: De bron voor het bericht - deviceTemplateLifecycle.
  • messageType: Ofwel created, updatedof deleted.
  • schema: de naam en versie van het nettoladingschema.
  • templateId: De id van de apparaatsjabloon die is toegewezen aan het apparaat.
  • enqueuedTime: Het tijdstip waarop deze wijziging heeft plaatsgevonden in IoT Central.
  • enrichments: Alle verrijkingen die voor de export zijn ingesteld.

Indeling van auditlogboek

Elk auditlogboekbericht vertegenwoordigt een door de gebruiker geïnitieerde wijziging in een controleerbare entiteit in de IoT Central-toepassing. Informatie in het geëxporteerde bericht bevat:

  • actor: Informatie over de gebruiker die de entiteit heeft gewijzigd.
  • applicationId: De id van de IoT Central-toepassing.
  • messageSource: De bron voor het bericht - audit.
  • messageType: Het type wijziging dat is opgetreden. Een van: updated, created, deleted.
  • updated: Alleen aanwezig als messageType dat het is updated. Biedt meer informatie over de update.
  • resource: Details van de gewijzigde entiteit.
  • schema: de naam en versie van het nettoladingschema.
  • deviceId: De id van het apparaat dat is gewijzigd.
  • enqueuedTime: Het tijdstip waarop deze wijziging heeft plaatsgevonden in IoT Central.
  • enrichments: Alle verrijkingen die voor de export zijn ingesteld.

Volgende stappen

Nu u weet hoe u kunt exporteren naar Azure Data Explorer, is een voorgestelde volgende stap het leren exporteren naar webhook.