Export dat IoT do služby Blob Storage

Tento článek popisuje, jak nakonfigurovat export dat tak, aby odesílala data do služby Blob Storage.

Pomocí této funkce můžete průběžně exportovat filtrovaná a rozšířená data IoT z vaší aplikace IoT Central. Export dat nasdílí změny téměř v reálném čase do jiných částí cloudového řešení pro přehledy teplé cesty, analýzy a úložiště.

Je například možné:

  • Nepřetržitě exportujte telemetrii, změny vlastností, připojení zařízení, životní cyklus zařízení, životní cyklus šablony zařízení a data protokolu auditu ve formátu JSON téměř v reálném čase.
  • Filtrováním datových proudů můžete exportovat data, která odpovídají vlastním podmínkám.
  • Obohacení datových proudů vlastními hodnotami a hodnotami vlastností ze zařízení
  • Transformujte datové proudy a upravte jejich tvar a obsah.

Tip

Když zapnete export dat, získáte od této chvíle jenom data. Pokud chcete zachovat historická data, zapněte export dat v rané fázi. Pokud chcete data ručně exportovat z časů, kdy byl export dat vypnutý, přečtěte si téma Použití rozhraní IoT Central REST API k dotazování zařízení.

Poznámka:

V některých případech může trvat až 60 sekund, než se zprávy exportují. Tento čas se měří od okamžiku, kdy IoT Central obdrží zprávu ze základního centra IoT do okamžiku doručení zprávy do cílového koncového bodu.

Požadavky

Pokud chcete používat funkce exportu dat, musíte mít oprávnění k exportu dat.

Informace o správě exportu dat pomocí rozhraní IOT Central REST API najdete v tématu Použití rozhraní IOT Central REST API ke správě exportů dat.

Nastavení cíle exportu služby Blob Storage

IoT Central exportuje data jednou za minutu, přičemž každý soubor obsahující dávku změn od předchozího exportu. Exportovaná data se ukládají ve formátu JSON. Výchozí cesty k exportovaným datům v účtu úložiště jsou:

  • Telemetrie: {container}/{app-id}/{partition_id}/{YYY}/{MM}/{dd}/{hh}/{mm}/{název_souboru}
  • Změny vlastností: {container}/{app-id}/{partition_id}/{YYY}/{MM}/{dd}/{hh}/{mm}/{název_souboru}

Pokud chcete procházet exportované soubory na webu Azure Portal, přejděte do souboru a vyberte Upravit objekt blob.

možnosti Připojení

Cíle blob Storage umožňují nakonfigurovat připojení s připojovací řetězec nebo spravovanou identitou.

Tip

Pokud je cíl služby Blob Storage chráněný bránou firewall, musíte k němu použít spravovanou identitu.

Spravované identity jsou bezpečnější, protože:

  • Přihlašovací údaje pro prostředek neukládáte do připojovací řetězec v aplikaci IoT Central.
  • Přihlašovací údaje jsou automaticky svázané s životností vaší aplikace IoT Central.
  • Spravované identity automaticky obměňují klíče zabezpečení pravidelně.

IoT Central aktuálně používá spravované identity přiřazené systémem.

Při konfiguraci spravované identity zahrnuje konfigurace obor a roli:

  • Obor definuje, kde můžete použít spravovanou identitu. Jako obor můžete například použít skupinu prostředků Azure. V takovém případě musí být aplikace IoT Central i cíl ve stejné skupině prostředků.
  • Role definuje, jaká oprávnění má aplikace IoT Central udělená v cílové službě. Například aby aplikace IoT Central odesílala data do centra událostí, potřebuje spravovaná identita přiřazení role Odesílatele dat služby Azure Event Hubs.

Následující video obsahuje další informace o spravovaných identitách přiřazených systémem:

Upozornění

Pokud chcete exportovat do úložiště objektů blob, nepoužívejte přispěvatele účtu úložiště, jak je znázorněno ve videu. Místo toho použijte roli Přispěvatel dat v objektu blob služby Storage.

Vytvoření cíle služby Azure Blob Storage

Tento článek ukazuje, jak vytvořit spravovanou identitu pomocí Azure CLI. K vytvoření mangované identity můžete také použít Azure Portal.

Pokud nemáte existující účet úložiště Azure k exportu, spusťte následující skript v prostředí Bash služby Azure Cloud Shell. Skript vytvoří skupinu prostředků, účet služby Azure Storage a kontejner objektů blob. Skript pak povolí spravovanou identitu pro vaši aplikaci IoT Central a přiřadí roli, která potřebuje pro přístup k vašemu účtu úložiště:

# Replace the storage account name with your own unique value.
SA=yourstorageaccount$RANDOM

# Replace the IoT Central app name with the name of your
# IoT Central application.
CA=your-iot-central-app

CN=exportdata
RG=centralexportresources
LOCATION=eastus

az group create -n $RG --location $LOCATION
SAID=$(az storage account create --name $SA --resource-group $RG --location $LOCATION --sku Standard_LRS --query "id" --output tsv)
az storage container create --account-name $SA --resource-group $RG --name $CN

# This assumes your IoT Central application is in the 
# default `IOTC` resource group.
az iot central app identity assign --name $CA --resource-group IOTC --system-assigned
PI=$(az iot central app identity show --name $CA --resource-group IOTC --query "principalId" --output tsv)

az role assignment create --assignee $PI --role "Storage Blob Data Contributor" --scope $SAID

az role assignment list --assignee $PI --all -o table

echo "Endpoint URI: https://$SA.blob.core.windows.net/"
echo "Container: $CN"

Další informace o vytváření nových účtů Azure Blob Storage nebo účtů úložiště Azure Data Lake Storage v2. Export dat může zapisovat pouze data do účtů úložiště, které podporují objekty blob bloku. Následující tabulka uvádí známé typy kompatibilních účtů úložiště:

Úroveň výkonu Typ účtu
Standard Obecné účely V2
Standard Obecné účely V1
Standard Blob Storage
Premium Úložiště objektů blob bloku

Pokud chcete dál zabezpečit kontejner objektů blob a povolit přístup jenom z důvěryhodných služeb se spravovanými identitami, přečtěte si téma Export dat do zabezpečeného cíle ve službě Azure Virtual Network.

Vytvoření cíle služby Blob Storage ve službě IoT Central na stránce exportu dat:

  1. Vyberte + Nový cíl.

  2. Jako cílový typ vyberte Azure Blob Storage .

  3. Jako typ autorizace vyberte spravovanou identitu přiřazenou systémem.

  4. Zadejte identifikátor URI koncového bodu pro váš účet úložiště a název kontejneru rozlišující malá a velká písmena. Identifikátor URI koncového bodu vypadá takto: https://contosowaste.blob.core.windows.net.

  5. Zvolte Uložit.

Pokud nevidíte data přicházející do cílové služby, přečtěte si téma Řešení potíží s exporty dat z aplikace Azure IoT Central.

Nastavení exportu dat

Teď, když máte cíl exportovat data do, nastavte export dat v aplikaci IoT Central:

  1. Přihlaste se k aplikaci IoT Central.

  2. V levém podokně vyberte Export dat.

    Tip

    Pokud v levém podokně nevidíte export dat, nemáte oprávnění ke konfiguraci exportu dat v aplikaci. Požádejte správce o nastavení exportu dat.

  3. Vyberte + Nový export.

  4. Zadejte zobrazovaný název nového exportu a ujistěte se, že je export dat povolený.

  5. Zvolte typ dat, která chcete exportovat. Následující tabulka uvádí podporované typy exportu dat:

    Datový typ Popis Formát dat
    Telemetrie Exportujte telemetrické zprávy ze zařízení téměř v reálném čase. Každá exportovaná zpráva obsahuje úplný obsah původní zprávy o zařízení, normalizované. Formát zprávy telemetrie
    Změny vlastností Export změn do vlastností zařízení a cloudu téměř v reálném čase U vlastností zařízení jen pro čtení se exportují změny ohlášených hodnot. U vlastností pro čtení i zápis se vyexportují hlášené i požadované hodnoty. Změna formátu zprávy vlastnosti
    Připojení zařízení Exportujte události připojené k zařízení a odpojené události. Formát zprávy připojení zařízení
    Životní cyklus zařízení Exportujte registrované, odstraněné, zřízené, povolené, zakázané, displayNameChanged a události deviceTemplateChanged. Formát zprávy o změně životního cyklu zařízení
    Životní cyklus šablony zařízení Exportujte publikované změny šablony zařízení, včetně vytvořených, aktualizovaných a odstraněných. Změna formátu zprávy o životním cyklu šablony zařízení
    Protokoly auditu Protokoly aktualizací iniciovaných uživatelem u entit v aplikaci Další informace najdete v tématu Použití protokolů auditu ke sledování aktivit v aplikaci IoT Central. Formát zprávy protokolu auditu
  6. Volitelně můžete přidat filtry, abyste snížili množství exportovaných dat. Pro každý typ exportu dat jsou k dispozici různé typy filtrů:

    Typ dat Dostupné filtry
    Telemetrie
    • Filtrovat podle názvu zařízení, ID zařízení, šablony zařízení a jestli je simulované zařízení
    • Filtrování streamu tak, aby obsahoval pouze telemetrii, která splňuje podmínky filtru
    • Filtrování datového proudu tak, aby obsahovalo pouze telemetrii ze zařízení s vlastnostmi odpovídajícími podmínkám filtru
    • Filtrujte stream tak, aby obsahoval pouze telemetrii, která má vlastnosti zprávy, které splňují podmínku filtru. Vlastnosti zpráv (označované také jako vlastnosti aplikace) se odesílají v pytli párů klíč-hodnota v každé zprávě telemetrie. Pokud chcete vytvořit filtr vlastností zprávy, zadejte klíč vlastnosti zprávy, který hledáte, a zadejte podmínku. Exportují se pouze zprávy telemetrie s vlastnostmi, které odpovídají zadané podmínce filtru. Další informace o vlastnostech aplikace z dokumentace ke službě IoT Hub
    Změny vlastností
    • Filtrovat podle názvu zařízení, ID zařízení, šablony zařízení a jestli je simulované zařízení
    • Filtrování datového proudu tak, aby obsahovalo pouze změny vlastností, které splňují podmínky filtru
    Připojení zařízení
    • Filtrování podle názvu zařízení, ID zařízení, šablony zařízení, organizací a simulovaných zařízení
    • Filtrování streamu tak, aby obsahoval pouze změny ze zařízení s vlastnostmi odpovídajícími podmínkám filtru
    Životní cyklus zařízení
    • Filtrování podle názvu zařízení, ID zařízení, šablony zařízení a pokud je zařízení zřízené, povolené nebo simulované
    • Filtrování streamu tak, aby obsahoval pouze změny ze zařízení s vlastnostmi odpovídajícími podmínkám filtru
    Životní cyklus šablony zařízení
    • Filtrovat podle šablony zařízení
    Protokoly auditu
  7. Volitelně můžete rozšířit exportované zprávy o metadata páru klíč-hodnota navíc. Pro telemetrii, změny vlastností, připojení zařízení a typy exportu dat životního cyklu zařízení jsou k dispozici následující rozšíření:

    • Vlastní řetězec: Přidá do každé zprávy vlastní statický řetězec. Zadejte libovolný klíč a zadejte libovolnou řetězcovou hodnotu.
    • Vlastnost, která se přidá do každé zprávy:
      • Metadata zařízení, jako je název zařízení, název šablony zařízení, povoleno, organizace, zřízená a simulovaná.
      • Aktuální hlášená vlastnost zařízení nebo hodnota cloudové vlastnosti pro každou zprávu. Pokud je exportovaná zpráva ze zařízení, které nemá zadanou vlastnost, exportovaná zpráva nezískute obohacení.

Nakonfigurujte cíl exportu:

  1. Vyberte + Cíl a přidejte cíl, který jste už vytvořili, nebo vyberte Vytvořit nový.

  2. Pokud chcete data před exportem transformovat, vyberte + Transformovat. Další informace najdete v tématu Transformace dat uvnitř aplikace IoT Central pro export.

  3. Pokud chcete do jednoho exportu přidat až pět cílů, vyberte + Cíl .

  4. Až dokončíte nastavení exportu, vyberte Uložit. Po několika minutách se vaše data zobrazí ve vašich cílech.

Monitorování exportu

Na stránce exportu dat ve službě IoT Central můžete zkontrolovat stav exportů. Pomocí služby Azure Monitor můžete také zjistit, kolik dat exportujete, a případné chyby exportu. K exportu a metrikám stavu zařízení můžete přistupovat v grafech na webu Azure Portal pomocí rozhraní REST API, dotazů v PowerShellu nebo Azure CLI. V současné době můžete monitorovat následující metriky exportu dat ve službě Azure Monitor:

  • Počet zpráv příchozích k exportu před aplikování filtrů
  • Počet zpráv, které procházejí filtry
  • Počet zpráv úspěšně exportovaných do cílů
  • Počet nalezených chyb

Další informace najdete v tématu Monitorování stavu aplikace.

Formáty dat

Následující části popisují formáty exportovaných dat:

Formát telemetrie

Každá exportovaná zpráva obsahuje normalizovanou formu celé zprávy, kterou zařízení odeslalo v textu zprávy. Zpráva je ve formátu JSON a kódovaná jako UTF-8. Informace v každé zprávě zahrnují:

  • applicationId: ID aplikace IoT Central.
  • messageSource: Zdroj zprávy - telemetry.
  • deviceId: ID zařízení, které odeslalo zprávu telemetrie.
  • schema: Název a verze schématu datové části.
  • templateId: ID šablony zařízení přiřazené k zařízení.
  • enqueuedTime: Čas, kdy služba IoT Central přijala tuto zprávu.
  • enrichments: Všechny rozšiřování nastavené pro export.
  • module: Modul IoT Edge, který tuto zprávu odeslal. Toto pole se zobrazí jenom v případě, že zpráva pochází z modulu IoT Edge.
  • component: Komponenta, která tuto zprávu odeslala. Toto pole se zobrazí pouze v případě, že funkce odeslané ve zprávě byly modelovány jako součást v šabloně zařízení.
  • messageProperties: Další vlastnosti, které zařízení odeslalo se zprávou. Tyto vlastnosti se někdy označují jako vlastnosti aplikace. Další informace najdete v dokumentaci ke službě IoT Hub.

V případě služby Blob Storage se zprávy dávkovají a exportují jednou za minutu.

Následující příklad ukazuje exportovanou zprávu telemetrie:


{
    "applicationId": "1dffa667-9bee-4f16-b243-25ad4151475e",
    "messageSource": "telemetry",
    "deviceId": "1vzb5ghlsg1",
    "schema": "default@v1",
    "templateId": "urn:qugj6vbw5:___qbj_27r",
    "enqueuedTime": "2020-08-05T22:26:55.455Z",
    "telemetry": {
        "Activity": "running",
        "BloodPressure": {
            "Diastolic": 7,
            "Systolic": 71
        },
        "BodyTemperature": 98.73447010562934,
        "HeartRate": 88,
        "HeartRateVariability": 17,
        "RespiratoryRate": 13
    },
    "enrichments": {
      "userSpecifiedKey": "sampleValue"
    },
    "module": "VitalsModule",
    "component": "DeviceComponent",
    "messageProperties": {
      "messageProp": "value"
    }
}

Vlastnosti zprávy

Zprávy telemetrie mají vlastnosti pro metadata i datovou část telemetrie. Předchozí fragment kódu ukazuje příklady systémových zpráv, například deviceId a enqueuedTime. Další informace ovlastnostech

Pokud potřebujete do zpráv telemetrie přidat vlastní metadata, můžete do zpráv telemetrie přidat vlastnosti. Když například zařízení vytvoří zprávu, musíte přidat časové razítko.

Následující fragment kódu ukazuje, jak přidat iothub-creation-time-utc vlastnost do zprávy při jejím vytvoření na zařízení:

Důležité

Formát tohoto časového razítka musí být UTC bez informací o časovém pásmu. Je například 2021-04-21T11:30:16Z platný, 2021-04-21T11:30:16-07:00 je neplatný.

async function sendTelemetry(deviceClient, index) {
  console.log('Sending telemetry message %d...', index);
  const msg = new Message(
    JSON.stringify(
      deviceTemperatureSensor.updateSensor().getCurrentTemperatureObject()
    )
  );
  msg.properties.add("iothub-creation-time-utc", new Date().toISOString());
  msg.contentType = 'application/json';
  msg.contentEncoding = 'utf-8';
  await deviceClient.sendEvent(msg);
}

Formát změn vlastností

Každá zpráva nebo záznam představuje změny vlastností zařízení a cloudu. Informace v exportované zprávě zahrnují:

  • applicationId: ID aplikace IoT Central.
  • messageSource: Zdroj zprávy - properties.
  • messageType: Buď cloudPropertyChange, devicePropertyDesiredChangenebo devicePropertyReportedChange.
  • deviceId: ID zařízení, které odeslalo zprávu telemetrie.
  • schema: Název a verze schématu datové části.
  • enqueuedTime: Čas, kdy Služba IoT Central tuto změnu zjistila.
  • templateId: ID šablony zařízení přiřazené k zařízení.
  • properties: Pole vlastností, které se změnily, včetně názvů vlastností a hodnot, které se změnily. Informace o komponentě a modulu jsou zahrnuty, pokud je vlastnost modelována v rámci komponenty nebo modulu IoT Edge.
  • enrichments: Všechny rozšiřování nastavené pro export.

V případě služby Blob Storage se zprávy dávkovají a exportují jednou za minutu.

Následující fragment kódu ukazuje zprávu o změně vlastnosti exportované do služby Blob Storage:

{
    "applicationId": "fb74969c-8682-4708-af01-33499a7f7d98",
    "messageSource": "properties",
    "deviceId": "Pepjmh1Hcc",
    "enqueuedTime": "2023-03-02T10:35:39.281Z",
    "enrichments": {},
    "messageType": "devicePropertyReportedChange",
    "schema": "default@v1",
    "templateId": "dtmi:azureiot:ddzig4ascxz",
    "properties": [
        {
            "component": "device_info",
            "name": "swVersion",
            "value": "12"
        },
        {
            "component": "device_info",
            "name": "osName",
            "value": "Android"
        },
        {
            "component": "device_info",
            "name": "processorArchitecture",
            "value": "arm64-v8a"
        },
        {
            "component": "device_info",
            "name": "processorManufacturer",
            "value": "unknown"
        }
    ]
}

Formát změn připojení zařízení

Každá zpráva nebo záznam představuje událost připojení z jednoho zařízení. Informace v exportované zprávě zahrnují:

  • applicationId: ID aplikace IoT Central.
  • messageSource: Zdroj zprávy - deviceConnectivity.
  • messageType: Buď connected nebo disconnected.
  • deviceId: ID zařízení, které se změnilo.
  • schema: Název a verze schématu datové části.
  • templateId: ID šablony zařízení přiřazené k zařízení.
  • enqueuedTime: Čas, kdy k této změně došlo v IoT Central.
  • enrichments: Všechny rozšiřování nastavené pro export.

V případě služby Blob Storage se zprávy dávkovají a exportují jednou za minutu.

Následující příklad ukazuje zprávu o připojení exportovaného zařízení přijatou ve službě Azure Blob Storage.

{
  "applicationId": "1dffa667-9bee-4f16-b243-25ad4151475e",
  "messageSource": "deviceConnectivity",
  "messageType": "connected",
  "deviceId": "1vzb5ghlsg1",
  "schema": "default@v1",
  "templateId": "urn:qugj6vbw5:___qbj_27r",
  "enqueuedTime": "2021-04-05T22:26:55.455Z",
  "enrichments": {
    "userSpecifiedKey": "sampleValue"
  }
}

Formát změn životního cyklu zařízení

Každá zpráva nebo záznam představuje jednu změnu jednoho zařízení. Informace v exportované zprávě zahrnují:

  • applicationId: ID aplikace IoT Central.
  • messageSource: Zdroj zprávy - deviceLifecycle.
  • messageType: Typ změny, ke které došlo. Jeden z: registered, deleted, , enabledprovisioned, disabled, , displayNameChanged, a deviceTemplateChanged.
  • deviceId: ID zařízení, které se změnilo.
  • schema: Název a verze schématu datové části.
  • templateId: ID šablony zařízení přiřazené k zařízení.
  • enqueuedTime: Čas, kdy k této změně došlo v IoT Central.
  • enrichments: Všechny rozšiřování nastavené pro export.

V případě služby Blob Storage se zprávy dávkovají a exportují jednou za minutu.

Následující příklad ukazuje zprávu o životním cyklu exportovaného zařízení přijatou ve službě Azure Blob Storage.

{
  "applicationId": "1dffa667-9bee-4f16-b243-25ad4151475e",
  "messageSource": "deviceLifecycle",
  "messageType": "registered",
  "deviceId": "1vzb5ghlsg1",
  "schema": "default@v1",
  "templateId": "urn:qugj6vbw5:___qbj_27r",
  "enqueuedTime": "2021-01-01T22:26:55.455Z",
  "enrichments": {
    "userSpecifiedKey": "sampleValue"
  }
}

Formát změn životního cyklu šablony zařízení

Každá zpráva nebo záznam představuje jednu změnu v jedné publikované šabloně zařízení. Informace v exportované zprávě zahrnují:

  • applicationId: ID aplikace IoT Central.
  • messageSource: Zdroj zprávy - deviceTemplateLifecycle.
  • messageType: Buď created, updatednebo deleted.
  • schema: Název a verze schématu datové části.
  • templateId: ID šablony zařízení přiřazené k zařízení.
  • enqueuedTime: Čas, kdy k této změně došlo v IoT Central.
  • enrichments: Všechny rozšiřování nastavené pro export.

V případě služby Blob Storage se zprávy dávkovají a exportují jednou za minutu.

Následující příklad ukazuje zprávu o životním cyklu exportovaného zařízení přijatou ve službě Azure Blob Storage.

{
  "applicationId": "1dffa667-9bee-4f16-b243-25ad4151475e",
  "messageSource": "deviceTemplateLifecycle",
  "messageType": "created",
  "schema": "default@v1",
  "templateId": "urn:qugj6vbw5:___qbj_27r",
  "enqueuedTime": "2021-01-01T22:26:55.455Z",
  "enrichments": {
    "userSpecifiedKey": "sampleValue"
  }
}

Formát protokolu auditu

Každá zpráva protokolu auditu představuje změnu iniciovanou uživatelem na auditovatelnou entitu v aplikaci IoT Central. Informace v exportované zprávě zahrnují:

  • actor: Informace o uživateli, který entitu upravil.
  • applicationId: ID aplikace IoT Central.
  • messageSource: Zdroj zprávy - audit.
  • messageType: Typ změny, ke které došlo. Jeden z: updated, created, deleted.
  • updated: Pouze v případě, že messageType je updated. Poskytuje další podrobnosti o aktualizaci.
  • resource: Podrobnosti o upravené entitě.
  • schema: Název a verze schématu datové části.
  • deviceId: ID zařízení, které se změnilo.
  • enqueuedTime: Čas, kdy k této změně došlo v IoT Central.
  • enrichments: Všechny rozšiřování nastavené pro export.

Následující příklad ukazuje exportovanou zprávu protokolu auditu přijatou ve službě Azure Blob Storage:

{
  "actor": {
    "id": "test-audit",
    "type": "apiToken"
    },
  "applicationId": "570c2d7b-1111-2222-abcd-000000000000",
  "enqueuedTime": "2022-07-25T21:54:40.000Z",
  "enrichments": {},
  "messageSource": "audit",
  "messageType": "created",
  "resource": {
    "displayName": "Sensor 1",
    "id": "sensor",
    "type": "device"    
  },
  "schema": "default@v1"
}

Další kroky

Teď, když víte, jak exportovat do služby Blob Storage, je navrhovaným dalším krokem informace o exportu do služby Service Bus.