Exportera IoT-data till Azure Data Explorer

Artikel
03/05/2024

I den här artikeln beskrivs hur du konfigurerar dataexport för att skicka data till Azure Data Explorer.

Använd den här funktionen för att kontinuerligt exportera filtrerade och berikade IoT-data från ditt IoT Central-program. Dataexport överför ändringar i nära realtid till andra delar av molnlösningen för insikter, analyser och lagring med varma vägar.

Du kan till exempel:

Exportera kontinuerligt telemetri, egenskapsändringar, enhetsanslutning, enhetens livscykel, livscykel för enhetsmallar och granskningsloggdata i JSON-format nästan i realtid.
Filtrera dataströmmarna för att exportera data som matchar anpassade villkor.
Utöka dataströmmarna med anpassade värden och egenskapsvärden från enheten.
Transformera dataströmmarna för att ändra form och innehåll.

Dricks

När du aktiverar dataexport får du bara data från det ögonblicket och framåt. Om du vill behålla mer historiska data aktiverar du dataexport tidigt. Information om hur du exporterar data manuellt från tidpunkter då dataexporten stängdes av finns i Så här använder du REST-API:et för IoT Central för att fråga enheter.

Kommentar

I vissa fall kan det ta upp till 60 sekunder innan meddelandena exporteras. Den här tiden mäts från när IoT Central tar emot meddelandet från den underliggande IoT-hubben till när meddelandet levereras till målslutpunkten.

Förutsättningar

Om du vill använda dataexportfunktioner måste du ha behörigheten Dataexport .

Konfigurera ett Exportmål för Azure Data Explorer

Du kan använda ett Azure Data Explorer-kluster eller en Azure Synapse Data Explorer-pool. Mer information finns i Vad är skillnaden mellan Azure Synapse Data Explorer och Azure Data Explorer?.

IoT Central exporterar data nästan i realtid till en databastabell i Azure Data Explorer-klustret. Data finns i meddelandetexten och är i JSON-format som kodas som UTF-8. Du kan lägga till en transformering i IoT Central för att exportera data som matchar tabellschemat.

Om du vill köra frågor mot exporterade data i Azure Data Explorer-portalen går du till databasen och väljer Fråga.

Följande video visar hur du exporterar data till Azure Data Explorer:

Anslutningsalternativ

Med Azure Data Explorer-mål kan du konfigurera anslutningen med ett huvudnamn för tjänsten eller en hanterad identitet.

Hanterade identiteter är säkrare eftersom:

Du lagrar inte autentiseringsuppgifterna för resursen i en anslutningssträng i IoT Central-programmet.
Autentiseringsuppgifterna kopplas automatiskt till livslängden för ditt IoT Central-program.
Hanterade identiteter roterar automatiskt sina säkerhetsnycklar regelbundet.

IoT Central använder för närvarande systemtilldelade hanterade identiteter.

När du konfigurerar en hanterad identitet innehåller konfigurationen ett omfång och en roll:

Omfånget definierar var du kan använda den hanterade identiteten. Du kan till exempel använda en Azure-resursgrupp som omfång. I det här fallet måste både IoT Central-programmet och målet finnas i samma resursgrupp.
Rollen definierar vilka behörigheter IoT Central-programmet beviljas i måltjänsten. För att ett IoT Central-program till exempel ska kunna skicka data till en händelsehubb behöver den hanterade identiteten rolltilldelningen Azure Event Hubs Data Sender .

Följande video innehåller mer information om systemtilldelade hanterade identiteter:

Varning

Om du vill exportera till bloblagring ska du inte använda lagringskontodeltagaren enligt videon. Använd rollen Storage Blob Data Contributor i stället.

Den här artikeln visar hur du skapar en hanterad identitet med hjälp av Azure CLI. Du kan också använda Azure Portal för att skapa en hanterad identitet.

Följ dessa steg om du inte har någon befintlig Azure Data Explorer-databas att exportera till. Du har två alternativ för att skapa en Azure Data Explorer-databas:

Skapa ett nytt Azure Data Explorer-kluster och en ny databas. Mer information finns i snabbstarten för Azure Data Explorer. Anteckna kluster-URI:n och namnet på databasen du skapar. Du behöver dessa värden i följande steg.
Skapa en ny Azure Synapse Data Explorer-pool och databas. Mer information finns i snabbstarten för Azure Data Explorer. Anteckna pool-URI:n och namnet på databasen du skapar. Du behöver dessa värden i följande steg.

Så här konfigurerar du den hanterade identitet som gör det möjligt för ditt IoT Central-program att på ett säkert sätt exportera data till din Azure-resurs:

Skapa en hanterad identitet för ditt IoT Central-program som ska användas för att ansluta till databasen. Använd Azure Cloud Shell för att köra följande kommando:
```
az iot central app identity assign --name {your IoT Central app name} \
    --resource-group {resource group name} \
    --system-assigned
```
Anteckna principalId och tenantId skriv ut med kommandot . Du använder dessa värden i följande steg.

Konfigurera databasbehörigheterna för att tillåta anslutningar från ditt IoT Central-program. Använd Azure Cloud Shell för att köra följande kommando:

az kusto database-principal-assignment create --cluster-name {name of your cluster} \
    --database-name {name of your database}    \
    --resource-group {resource group name} \
    --principal-assignment-name {name of your IoT Central application} \
    --principal-id {principal id from the previous step} \
    --principal-type App --role Admin \
    --tenant-id {tenant id from the previous step}

Dricks

Om du använder Azure Synapse läser az synapse kusto database-principal-assignmentdu .

Skapa en tabell i databasen med ett lämpligt schema för de data som du exporterar. Följande exempelfråga skapar en tabell med namnet smartvitalspatch. Mer information finns i Transformera data i ditt IoT Central-program för export:
```
.create table smartvitalspatch (
  EnqueuedTime:datetime,
  Message:string,
  Application:string,
  Device:string,
  Simulated:boolean,
  Template:string,
  Module:string,
  Component:string,
  Capability:string,
  Value:dynamic
)
```
(Valfritt) Så här påskyndar du inmatningen av data i Azure Data Explorer-databasen:
1. Gå till sidan Konfigurationer för ditt Azure Data Explorer-kluster. Aktivera sedan alternativet För direktuppspelningsinmatning .
2. Kör följande fråga för att ändra tabellprincipen för att aktivera strömmande inmatning:
```
.alter table smartvitalspatch policy streamingingestion enable
```

Så här skapar du Azure Data Explorer-målet i IoT Central på sidan Dataexport :

Välj + Nytt mål.
Välj Azure Data Explorer som måltyp.
Ange ditt Azure Data Explorer-kluster eller din pool-URL, databasnamn och tabellnamn. Välj Systemtilldelad hanterad identitet som auktoriseringstyp.

Dricks

Kluster-URL:en för en fristående Azure Data Explorer ser ut som https://<ClusterName>.<AzureRegion>.kusto.windows.net. Kluster-URL:en för en Azure Synapse Data Explorer-pool ser ut som https://<DataExplorerPoolName>.<SynapseWorkspaceName>.kusto.azuresynapse.net.

Om du inte ser data som kommer till måltjänsten kan du läsa Felsöka problem med dataexporter från ditt Azure IoT Central-program.

Om du inte har någon befintlig Azure Data Explorer-databas att exportera till följer du dessa steg:

Du har två alternativ för att skapa en Azure Data Explorer-databas:
- Skapa ett nytt Azure Data Explorer-kluster och en ny databas. Mer information finns i snabbstarten för Azure Data Explorer. Anteckna kluster-URI:n och namnet på databasen du skapar. Du behöver dessa värden i följande steg.
- Skapa en ny Azure Synapse Data Explorer-pool och databas. Mer information finns i snabbstarten för Azure Data Explorer. Anteckna pool-URI:n och namnet på databasen du skapar. Du behöver dessa värden i följande steg.
Skapa ett huvudnamn för tjänsten som du kan använda för att ansluta ditt IoT Central-program till Azure Data Explorer. Använd Azure Cloud Shell för att köra följande kommando:
```
az ad sp create-for-rbac --skip-assignment --name "My SP for IoT Central" --scopes /subscriptions/<SubscriptionId>
```
Anteckna appIdvärdena , passwordoch tenant i kommandoutdata behöver du dem i följande steg.
Om du vill lägga till tjänstens huvudnamn i databasen går du till Azure Data Explorer-portalen och kör följande fråga i databasen. Ersätt platshållarna med de värden som du antecknade tidigare:
```
.add database ['<YourDatabaseName>'] admins ('aadapp=<YourAppId>;<YourTenant>');
```
Skapa en tabell i databasen med ett lämpligt schema för de data som du exporterar. Följande exempelfråga skapar en tabell med namnet smartvitalspatch. Mer information finns i Transformera data i ditt IoT Central-program för export:
```
.create table smartvitalspatch (
  EnqueuedTime:datetime,
  Message:string,
  Application:string,
  Device:string,
  Simulated:boolean,
  Template:string,
  Module:string,
  Component:string,
  Capability:string,
  Value:dynamic
)
```
(Valfritt) Så här påskyndar du inmatningen av data i Azure Data Explorer-databasen:
1. Gå till sidan Konfigurationer för ditt Azure Data Explorer-kluster. Aktivera sedan alternativet För direktuppspelningsinmatning .
2. Kör följande fråga för att ändra tabellprincipen för att aktivera strömmande inmatning:
```
.alter table smartvitalspatch policy streamingingestion enable
```

Så här skapar du Azure Data Explorer-målet i IoT Central på sidan Dataexport :

Välj + Nytt mål.
Välj Azure Data Explorer som måltyp.
Ange ditt Azure Data Explorer-kluster eller din pool-URL, databasnamn och tabellnamn. I följande tabell visas de värden för tjänstens huvudnamn som ska användas för auktoriseringen:

Tjänstens huvudnamnsvärde Målkonfiguration

appId ClientID

klientorganisation Klientorganisations-ID

password Klienthemlighet

Dricks

Kluster-URL:en för en fristående Azure Data Explorer ser ut som https://<ClusterName>.<AzureRegion>.kusto.windows.net. Kluster-URL:en för en Azure Synapse Data Explorer-pool ser ut som https://<DataExplorerPoolName>.<SynapseWorkspaceName>.kusto.azuresynapse.net.

Tjänstens huvudnamnsvärde	Målkonfiguration
appId	ClientID
klientorganisation	Klientorganisations-ID
password	Klienthemlighet

Konfigurera en dataexport

Nu när du har ett mål att exportera dina data till konfigurerar du dataexport i ditt IoT Central-program:

Logga in på ditt IoT Central-program.
I den vänstra rutan väljer du Dataexport.

Dricks

Om du inte ser dataexport i den vänstra rutan har du inte behörighet att konfigurera dataexport i din app. Prata med en administratör för att konfigurera dataexport.
Välj + Ny export.
Ange ett visningsnamn för den nya exporten och kontrollera att dataexporten är Aktiverad.

Välj vilken typ av data som ska exporteras. I följande tabell visas de dataexporttyper som stöds:

Datatyp	beskrivning	Dataformat
Telemetri	Exportera telemetrimeddelanden från enheter nästan i realtid. Varje exporterat meddelande innehåller det fullständiga innehållet i det ursprungliga enhetsmeddelandet, normaliserat.	Meddelandeformat för telemetri
Egenskapsändringar	Exportera ändringar av enhets- och molnegenskaper nästan i realtid. För skrivskyddade enhetsegenskaper exporteras ändringar av de rapporterade värdena. För skrivskyddade egenskaper exporteras både rapporterade och önskade värden.	Meddelandeformat för egenskapsändring
Enhetsanslutning	Exportera enhetsanslutna och frånkopplade händelser.	Meddelandeformat för enhetsanslutning
Enhetens livscykel	Exportera registrerade, borttagna, etablerade, aktiverade, inaktiverade, displayNameChanged- och deviceTemplateChanged-händelser.	Enhetens livscykel ändrar meddelandeformat
Livscykel för enhetsmall	Exportera publicerade enhetsmalländringar, inklusive skapade, uppdaterade och borttagna.	Meddelandeformat för ändring av meddelandeformat för enhetsmallens livscykel
Granskningsloggar	Loggar över användarinitierade uppdateringar av entiteter i programmet. Mer information finns i Använda granskningsloggar för att spåra aktivitet i ditt IoT Central-program	Format för granskningsloggmeddelande

Du kan också lägga till filter för att minska mängden data som exporteras. Det finns olika typer av filter för varje dataexporttyp:

Typ av data	Tillgängliga filter
Telemetri	Filtrera efter enhetsnamn, enhets-ID, enhetsmall och om enheten simuleras Filterströmmen får endast innehålla telemetri som uppfyller filtervillkoren Filtrera dataström så att den endast innehåller telemetri från enheter med egenskaper som matchar filtervillkoren Filtrera dataström så att den endast innehåller telemetri som har meddelandeegenskaper som uppfyller filtervillkoret. Meddelandeegenskaper (även kallade programegenskaper) skickas i en påse nyckel/värde-par på varje telemetrimeddelande. Om du vill skapa ett filter för meddelandeegenskap anger du den meddelandeegenskapsnyckel som du letar efter och anger ett villkor. Endast telemetrimeddelanden med egenskaper som matchar det angivna filtervillkoret exporteras. Läs mer om programegenskaper från IoT Hub-dokument
Egenskapsändringar	Filtrera efter enhetsnamn, enhets-ID, enhetsmall och om enheten simuleras Filterström för att endast innehålla egenskapsändringar som uppfyller filtervillkoren
Enhetsanslutning	Filtrera efter enhetsnamn, enhets-ID, enhetsmall, organisationer och om enheten simuleras Filtrera dataström så att den endast innehåller ändringar från enheter med egenskaper som matchar filtervillkoren
Enhetens livscykel	Filtrera efter enhetsnamn, enhets-ID, enhetsmall och om enheten har etablerats, aktiverats eller simulerats Filtrera dataström så att den endast innehåller ändringar från enheter med egenskaper som matchar filtervillkoren
Livscykel för enhetsmall	Filtrera efter enhetsmall
Granskningsloggar	Ej tillämpligt

Du kan också utöka exporterade meddelanden med extra nyckel/värde-parmetadata. Följande berikanden är tillgängliga för dataexporttyperna telemetri, egenskapsändringar, enhetsanslutning och enhetslivscykel:
- Anpassad sträng: Lägger till en anpassad statisk sträng i varje meddelande. Ange valfri nyckel och ange valfritt strängvärde.
- Egenskap som lägger till i varje meddelande:
  - Enhetsmetadata som enhetsnamn, enhetsmallnamn, aktiverat, organisationer, etablerade och simulerade.
  - Den aktuella enheten rapporterade egenskaps- eller molnegenskapsvärdet för varje meddelande. Om det exporterade meddelandet kommer från en enhet som inte har den angivna egenskapen får det exporterade meddelandet inte berikningen.

Konfigurera exportmålet:

Välj + Mål för att lägga till ett mål som du redan har skapat eller välj Skapa ett nytt.
Om du vill transformera dina data innan de exporteras väljer du + Transformera. Mer information finns i Transformera data i ditt IoT Central-program för export.
Välj + Mål för att lägga till upp till fem mål för en enskild export.
När du har konfigurerat exporten väljer du Spara. Efter några minuter visas dina data i dina mål.

Övervaka exporten

På sidan Dataexport i IoT Central kan du kontrollera statusen för dina exporter. Du kan också använda Azure Monitor för att se hur mycket data du exporterar och eventuella exportfel. Du kan komma åt export- och enhetshälsomått i diagram i Azure Portal med hjälp av REST-API:et, frågor i PowerShell eller Azure CLI. För närvarande kan du övervaka följande dataexportmått i Azure Monitor:

Antal meddelanden som ska exporteras innan filter tillämpas.
Antal meddelanden som passerar genom filter.
Antal meddelanden som har exporterats till mål.
Antal fel som hittades.

Mer information finns i Övervaka programmets hälsa.

Dataformat

I följande avsnitt beskrivs formaten för exporterade data:

Telemetriformat

Varje exporterat meddelande innehåller en normaliserad form av det fullständiga meddelandet som enheten skickade i meddelandetexten. Meddelandet är i JSON-format och kodat som UTF-8. Information i varje meddelande innehåller:

applicationId: ID för IoT Central-programmet.
messageSource: Källan för meddelandet – telemetry.
deviceId: ID för enheten som skickade telemetrimeddelandet.
schema: Namnet och versionen av nyttolastschemat.
templateId: ID för enhetsmallen som tilldelats enheten.
enqueuedTime: Den tidpunkt då IoT Central tog emot det här meddelandet.
enrichments: Alla berikningar som har konfigurerats vid exporten.
module: IoT Edge-modulen som skickade det här meddelandet. Det här fältet visas bara om meddelandet kom från en IoT Edge-modul.
component: Komponenten som skickade det här meddelandet. Det här fältet visas bara om funktionerna som skickades i meddelandet modellerades som en komponent i enhetsmallen
messageProperties: Andra egenskaper som enheten skickade med meddelandet. Dessa egenskaper kallas ibland för programegenskaper. Läs mer i IoT Hub-dokument.

Meddelandeegenskaper

Telemetrimeddelanden har egenskaper för metadata och telemetrinyttolasten. Föregående kodfragment visar exempel på systemmeddelanden som deviceId och enqueuedTime. Mer information om systemmeddelandeegenskaper finns i Systemegenskaper för IoT Hub-meddelanden från enhet till moln.

Du kan lägga till egenskaper i telemetrimeddelanden om du behöver lägga till anpassade metadata i dina telemetrimeddelanden. Du måste till exempel lägga till en tidsstämpel när enheten skapar meddelandet.

Följande kodfragment visar hur du lägger iothub-creation-time-utc till egenskapen i meddelandet när du skapar den på enheten:

Viktigt!

Formatet för den här tidsstämpeln måste vara UTC utan tidszonsinformation. Är till exempel 2021-04-21T11:30:16Z giltigt, 2021-04-21T11:30:16-07:00 är ogiltigt.

async function sendTelemetry(deviceClient, index) {
  console.log('Sending telemetry message %d...', index);
  const msg = new Message(
    JSON.stringify(
      deviceTemperatureSensor.updateSensor().getCurrentTemperatureObject()
    )
  );
  msg.properties.add("iothub-creation-time-utc", new Date().toISOString());
  msg.contentType = 'application/json';
  msg.contentEncoding = 'utf-8';
  await deviceClient.sendEvent(msg);
}

private static void sendTemperatureTelemetry() {
  String telemetryName = "temperature";
  String telemetryPayload = String.format("{\"%s\": %f}", telemetryName, temperature);

  Message message = new Message(telemetryPayload);
  message.setContentEncoding(StandardCharsets.UTF_8.name());
  message.setContentTypeFinal("application/json");
  message.setProperty("iothub-creation-time-utc", Instant.now().toString());

  deviceClient.sendEventAsync(message, new MessageIotHubEventCallback(), message);
  log.debug("My Telemetry: Sent - {\"{}\": {}°C} with message Id {}.", telemetryName, temperature, message.getMessageId());
  temperatureReadings.put(new Date(), temperature);
}

private async Task SendTemperatureTelemetryAsync()
{
  const string telemetryName = "temperature";

  string telemetryPayload = $"{{ \"{telemetryName}\": {_temperature} }}";
  using var message = new Message(Encoding.UTF8.GetBytes(telemetryPayload))
  {
      ContentEncoding = "utf-8",
      ContentType = "application/json",
  };
  message.Properties.Add("iothub-creation-time-utc", DateTime.UtcNow.ToString("yyyy-MM-ddTHH:mm:ssZ"));
  await _deviceClient.SendEventAsync(message);
  _logger.LogDebug($"Telemetry: Sent - {{ \"{telemetryName}\": {_temperature}°C }}.");
}

async def send_telemetry_from_thermostat(device_client, telemetry_msg):
    msg = Message(json.dumps(telemetry_msg))
    msg.custom_properties["iothub-creation-time-utc"] = datetime.now(timezone.utc).isoformat()
    msg.content_encoding = "utf-8"
    msg.content_type = "application/json"
    print("Sent message")
    await device_client.send_message(msg)

Format för egenskapsändringar

Varje meddelande eller post representerar ändringar i enhets- och molnegenskaper. Informationen i det exporterade meddelandet innehåller:

applicationId: ID för IoT Central-programmet.
messageSource: Källan för meddelandet – properties.
messageType: Antingen cloudPropertyChange, devicePropertyDesiredChangeeller devicePropertyReportedChange.
deviceId: ID för enheten som skickade telemetrimeddelandet.
schema: Namnet och versionen av nyttolastschemat.
enqueuedTime: Den tidpunkt då IoT Central identifierade den här ändringen.
templateId: ID för enhetsmallen som tilldelats enheten.
properties: En matris med egenskaper som har ändrats, inklusive namnen på de egenskaper och värden som har ändrats. Komponent- och modulinformationen ingår om egenskapen modelleras inom en komponent eller en IoT Edge-modul.
enrichments: Alla berikningar som har konfigurerats vid exporten.

Format för enhetsanslutningsändringar

Varje meddelande eller post representerar en anslutningshändelse från en enda enhet. Informationen i det exporterade meddelandet innehåller:

applicationId: ID för IoT Central-programmet.
messageSource: Källan för meddelandet – deviceConnectivity.
messageType: Antingen connected eller disconnected.
deviceId: ID:t för enheten som ändrades.
schema: Namnet och versionen av nyttolastschemat.
templateId: ID för enhetsmallen som tilldelats enheten.
enqueuedTime: Den tidpunkt då den här ändringen inträffade i IoT Central.
enrichments: Alla berikningar som har konfigurerats vid exporten.

Ändra format för enhetens livscykel

Varje meddelande eller post representerar en ändring av en enskild enhet. Informationen i det exporterade meddelandet innehåller:

applicationId: ID för IoT Central-programmet.
messageSource: Källan för meddelandet – deviceLifecycle.
messageType: Den typ av ändring som inträffade. En av: registered, deleted, provisioned, enabled, disabled, displayNameChangedoch deviceTemplateChanged.
deviceId: ID:t för enheten som ändrades.
schema: Namnet och versionen av nyttolastschemat.
templateId: ID för enhetsmallen som tilldelats enheten.
enqueuedTime: Den tidpunkt då den här ändringen inträffade i IoT Central.
enrichments: Alla berikningar som har konfigurerats vid exporten.

Ändringsformat för enhetsmallens livscykel

Varje meddelande eller post representerar en ändring i en enda publicerad enhetsmall. Informationen i det exporterade meddelandet innehåller:

applicationId: ID för IoT Central-programmet.
messageSource: Källan för meddelandet – deviceTemplateLifecycle.
messageType: Antingen created, updatedeller deleted.
schema: Namnet och versionen av nyttolastschemat.
templateId: ID för enhetsmallen som tilldelats enheten.
enqueuedTime: Den tidpunkt då den här ändringen inträffade i IoT Central.
enrichments: Alla berikningar som har konfigurerats vid exporten.

Format för granskningsloggar

Varje granskningsloggmeddelande representerar en användarinitierad ändring av en granskningsbar entitet i IoT Central-programmet. Informationen i det exporterade meddelandet innehåller:

actor: Information om användaren som ändrade entiteten.
applicationId: ID för IoT Central-programmet.
messageSource: Källan för meddelandet – audit.
messageType: Den typ av ändring som inträffade. En av: updated, created, deleted.
updated: Presentera endast om messageType är updated. Innehåller mer information om uppdateringen.
resource: Information om den ändrade entiteten.
schema: Namnet och versionen av nyttolastschemat.
deviceId: ID:t för enheten som ändrades.
enqueuedTime: Den tidpunkt då den här ändringen inträffade i IoT Central.
enrichments: Alla berikningar som har konfigurerats vid exporten.

Nästa steg

Nu när du vet hur du exporterar till Azure Data Explorer är ett föreslaget nästa steg att lära dig Exportera till Webhook.

Dela via