Tento článek popisuje, jak nakonfigurovat export dat tak, aby odesílala data do služby Blob Storage.
Pomocí této funkce můžete průběžně exportovat filtrovaná a rozšířená data IoT z vaší aplikace IoT Central. Export dat nasdílí změny téměř v reálném čase do jiných částí cloudového řešení pro přehledy teplé cesty, analýzy a úložiště.
Je například možné:
Nepřetržitě exportujte telemetrii, změny vlastností, připojení zařízení, životní cyklus zařízení, životní cyklus šablony zařízení a data protokolu auditu ve formátu JSON téměř v reálném čase.
Filtrováním datových proudů můžete exportovat data, která odpovídají vlastním podmínkám.
Obohacení datových proudů vlastními hodnotami a hodnotami vlastností ze zařízení
Když zapnete export dat, získáte od této chvíle jenom data. Pokud chcete zachovat historická data, zapněte export dat v rané fázi. Pokud chcete data ručně exportovat z časů, kdy byl export dat vypnutý, přečtěte si téma Použití rozhraní IoT Central REST API k dotazování zařízení.
Poznámka
V některých případech může trvat až 60 sekund, než se zprávy exportují. Tento čas se měří od okamžiku, kdy IoT Central obdrží zprávu ze základního centra IoT do okamžiku doručení zprávy do cílového koncového bodu.
Požadavky
Pokud chcete používat funkce exportu dat, musíte mít oprávnění k exportu dat.
IoT Central exportuje data jednou za minutu, přičemž každý soubor obsahující dávku změn od předchozího exportu. Exportovaná data se ukládají ve formátu JSON. Výchozí cesty k exportovaným datům v účtu úložiště jsou:
Při konfiguraci spravované identity zahrnuje konfigurace obor a roli:
Obor definuje, kde můžete použít spravovanou identitu. Jako obor můžete například použít skupinu prostředků Azure. V takovém případě musí být aplikace IoT Central i cíl ve stejné skupině prostředků.
Role definuje, jaká oprávnění má aplikace IoT Central udělená v cílové službě. Například aby aplikace IoT Central odesílala data do centra událostí, potřebuje spravovaná identita přiřazení role Odesílatele dat služby Azure Event Hubs.
Následující video obsahuje další informace o spravovaných identitách přiřazených systémem:
Upozornění
Pokud chcete exportovat do úložiště objektů blob, nepoužívejte přispěvatele účtu úložiště, jak je znázorněno ve videu. Místo toho použijte roli Přispěvatel dat v objektu blob služby Storage.
Tento článek ukazuje, jak vytvořit spravovanou identitu pomocí Azure CLI. K vytvoření mangované identity můžete také použít Azure Portal.
Pokud nemáte existující účet úložiště Azure k exportu, spusťte následující skript v prostředí Bash služby Azure Cloud Shell. Skript vytvoří skupinu prostředků, účet služby Azure Storage a kontejner objektů blob. Skript pak povolí spravovanou identitu pro vaši aplikaci IoT Central a přiřadí roli, která potřebuje pro přístup k vašemu účtu úložiště:
Azure CLI
# Replace the storage account name with your own unique value.
SA=yourstorageaccount$RANDOM# Replace the IoT Central app name with the name of your# IoT Central application.
CA=your-iot-central-app
CN=exportdata
RG=centralexportresources
LOCATION=eastus
az group create -n$RG--location$LOCATION
SAID=$(az storage account create --name$SA--resource-group$RG--location$LOCATION--sku Standard_LRS --query"id"--output tsv)
az storage container create --account-name$SA--resource-group$RG--name$CN# This assumes your IoT Central application is in the # default `IOTC` resource group.az iot central app identity assign --name$CA--resource-group IOTC --system-assigned
PI=$(az iot central app identity show --name$CA--resource-group IOTC --query"principalId"--output tsv)
az role assignment create --assignee$PI--role"Storage Blob Data Contributor"--scope$SAIDaz role assignment list --assignee$PI--all-o table
echo "Endpoint URI: https://$SA.blob.core.windows.net/"
echo "Container: $CN"
Další informace o vytváření nových účtů Azure Blob Storage nebo účtů úložiště Azure Data Lake Storage v2. Export dat může zapisovat pouze data do účtů úložiště, které podporují objekty blob bloku. Následující tabulka uvádí známé typy kompatibilních účtů úložiště:
Vytvoření cíle služby Blob Storage ve službě IoT Central na stránce exportu dat:
Vyberte + Nový cíl.
Jako cílový typ vyberte Azure Blob Storage .
Jako typ autorizace vyberte spravovanou identitu přiřazenou systémem.
Zadejte identifikátor URI koncového bodu pro váš účet úložiště a název kontejneru rozlišující malá a velká písmena. Identifikátor URI koncového bodu vypadá takto: https://contosowaste.blob.core.windows.net.
Pokud nemáte existující účet úložiště Azure k exportu, spusťte následující skript v prostředí Bash služby Azure Cloud Shell. Skript vytvoří skupinu prostředků, účet služby Azure Storage a kontejner objektů blob. Potom vytiskne připojovací řetězec, které se použijí při konfiguraci exportu dat v IoT Central:
Azure CLI
# Replace the storage account name with your own unique value
SA=yourstorageaccount$RANDOM
CN=exportdata
RG=centralexportresources
LOCATION=eastus
az group create -n$RG--location$LOCATIONaz storage account create --name$SA--resource-group$RG--location$LOCATION--sku Standard_LRS
az storage container create --account-name$SA--resource-group$RG--name$CN
CS=$(az storage account show-connection-string--resource-group$RG--name$SA--query"connectionString"--output tsv)
echo "Storage connection string: $CS"
Další informace o vytváření nových účtů Azure Blob Storage nebo účtů úložiště Azure Data Lake Storage v2. Export dat může zapisovat pouze data do účtů úložiště, které podporují objekty blob bloku. Následující tabulka uvádí známé typy kompatibilních účtů úložiště:
Úroveň výkonu
Typ účtu
Standard
Obecné účely V2
Standard
Obecné účely V1
Standard
Blob Storage
Premium
Úložiště objektů blob bloku
Vytvoření cíle služby Blob Storage ve službě IoT Central na stránce exportu dat:
Vyberte + Nový cíl.
Jako cílový typ vyberte Azure Blob Storage .
Jako typ autorizace vyberte Připojovací řetězec .
Vložte připojovací řetězec pro prostředek blob Storage a v případě potřeby zadejte název kontejneru rozlišující malá a velká písmena.
Zvolte Uložit.
Nastavení exportu dat
Teď, když máte cíl exportovat data do, nastavte export dat v aplikaci IoT Central:
Přihlaste se k aplikaci IoT Central.
V levém podokně vyberte Export dat.
Tip
Pokud v levém podokně nevidíte export dat, nemáte oprávnění ke konfiguraci exportu dat v aplikaci. Požádejte správce o nastavení exportu dat.
Vyberte + Nový export.
Zadejte zobrazovaný název nového exportu a ujistěte se, že je export dat povolený.
Zvolte typ dat, která chcete exportovat. Následující tabulka uvádí podporované typy exportu dat:
Datový typ
Popis
Formát dat
Telemetrie
Exportujte telemetrické zprávy ze zařízení téměř v reálném čase. Každá exportovaná zpráva obsahuje úplný obsah původní zprávy o zařízení, normalizované.
Export změn do vlastností zařízení a cloudu téměř v reálném čase U vlastností zařízení jen pro čtení se exportují změny ohlášených hodnot. U vlastností pro čtení i zápis se vyexportují hlášené i požadované hodnoty.
Volitelně můžete přidat filtry, abyste snížili množství exportovaných dat. Pro každý typ exportu dat jsou k dispozici různé typy filtrů:
Typ dat
Dostupné filtry
Telemetrie
Filtrovat podle názvu zařízení, ID zařízení, šablony zařízení a jestli je simulované zařízení
Filtrování streamu tak, aby obsahoval pouze telemetrii, která splňuje podmínky filtru
Filtrování datového proudu tak, aby obsahovalo pouze telemetrii ze zařízení s vlastnostmi odpovídajícími podmínkám filtru
Filtrujte stream tak, aby obsahoval pouze telemetrii, která má vlastnosti zprávy, které splňují podmínku filtru. Vlastnosti zpráv (označované také jako vlastnosti aplikace) se odesílají v pytli párů klíč-hodnota v každé zprávě telemetrie. Pokud chcete vytvořit filtr vlastností zprávy, zadejte klíč vlastnosti zprávy, který hledáte, a zadejte podmínku. Exportují se pouze zprávy telemetrie s vlastnostmi, které odpovídají zadané podmínce filtru. Další informace o vlastnostech aplikace z dokumentace ke službě IoT Hub
Změny vlastností
Filtrovat podle názvu zařízení, ID zařízení, šablony zařízení a jestli je simulované zařízení
Filtrování datového proudu tak, aby obsahovalo pouze změny vlastností, které splňují podmínky filtru
Připojení zařízení
Filtrování podle názvu zařízení, ID zařízení, šablony zařízení, organizací a simulovaných zařízení
Filtrování streamu tak, aby obsahoval pouze změny ze zařízení s vlastnostmi odpovídajícími podmínkám filtru
Životní cyklus zařízení
Filtrování podle názvu zařízení, ID zařízení, šablony zařízení a pokud je zařízení zřízené, povolené nebo simulované
Filtrování streamu tak, aby obsahoval pouze změny ze zařízení s vlastnostmi odpovídajícími podmínkám filtru
Životní cyklus šablony zařízení
Filtrovat podle šablony zařízení
Protokoly auditu
–
Volitelně můžete rozšířit exportované zprávy o metadata páru klíč-hodnota navíc. Pro telemetrii, změny vlastností, připojení zařízení a typy exportu dat životního cyklu zařízení jsou k dispozici následující rozšíření:
Vlastní řetězec: Přidá do každé zprávy vlastní statický řetězec. Zadejte libovolný klíč a zadejte libovolnou řetězcovou hodnotu.
Vlastnost, která se přidá do každé zprávy:
Metadata zařízení, jako je název zařízení, název šablony zařízení, povoleno, organizace, zřízená a simulovaná.
Aktuální hlášená vlastnost zařízení nebo hodnota cloudové vlastnosti pro každou zprávu. Pokud je exportovaná zpráva ze zařízení, které nemá zadanou vlastnost, exportovaná zpráva nezískute obohacení.
Nakonfigurujte cíl exportu:
Vyberte + Cíl a přidejte cíl, který jste už vytvořili, nebo vyberte Vytvořit nový.
Pokud chcete do jednoho exportu přidat až pět cílů, vyberte + Cíl .
Až dokončíte nastavení exportu, vyberte Uložit. Po několika minutách se vaše data zobrazí ve vašich cílech.
Monitorování exportu
Na stránce exportu dat ve službě IoT Central můžete zkontrolovat stav exportů. Pomocí služby Azure Monitor můžete také zjistit, kolik dat exportujete, a případné chyby exportu. K exportu a metrikám stavu zařízení můžete přistupovat v grafech na webu Azure Portal pomocí rozhraní REST API, dotazů v PowerShellu nebo Azure CLI. V současné době můžete monitorovat následující metriky exportu dat ve službě Azure Monitor:
Počet zpráv příchozích k exportu před aplikování filtrů
Následující části popisují formáty exportovaných dat:
Formát telemetrie
Každá exportovaná zpráva obsahuje normalizovanou formu celé zprávy, kterou zařízení odeslalo v textu zprávy. Zpráva je ve formátu JSON a kódovaná jako UTF-8. Informace v každé zprávě zahrnují:
applicationId: ID aplikace IoT Central.
messageSource: Zdroj zprávy - telemetry.
deviceId: ID zařízení, které odeslalo zprávu telemetrie.
schema: Název a verze schématu datové části.
templateId: ID šablony zařízení přiřazené k zařízení.
enqueuedTime: Čas, kdy služba IoT Central přijala tuto zprávu.
enrichments: Všechny rozšiřování nastavené pro export.
module: Modul IoT Edge, který tuto zprávu odeslal. Toto pole se zobrazí jenom v případě, že zpráva pochází z modulu IoT Edge.
component: Komponenta, která tuto zprávu odeslala. Toto pole se zobrazí pouze v případě, že funkce odeslané ve zprávě byly modelovány jako součást v šabloně zařízení.
messageProperties: Další vlastnosti, které zařízení odeslalo se zprávou. Tyto vlastnosti se někdy označují jako vlastnosti aplikace. Další informace najdete v dokumentaci ke službě IoT Hub.
V případě služby Blob Storage se zprávy dávkovají a exportují jednou za minutu.
Následující příklad ukazuje exportovanou zprávu telemetrie:
Zprávy telemetrie mají vlastnosti pro metadata i datovou část telemetrie. Předchozí fragment kódu ukazuje příklady systémových zpráv, například deviceId a enqueuedTime. Další informace o vlastnostech systémových zpráv najdete v tématu Systémové vlastnosti zpráv ioT Hubu typu zařízení-cloud.
Pokud potřebujete do zpráv telemetrie přidat vlastní metadata, můžete do zpráv telemetrie přidat vlastnosti. Když například zařízení vytvoří zprávu, musíte přidat časové razítko.
Následující fragment kódu ukazuje, jak přidat iothub-creation-time-utc vlastnost do zprávy při jejím vytvoření na zařízení:
Důležité
Formát tohoto časového razítka musí být UTC bez informací o časovém pásmu. Je například 2021-04-21T11:30:16Z platný, 2021-04-21T11:30:16-07:00 je neplatný.
Každá zpráva nebo záznam představuje změny vlastností zařízení a cloudu. Informace v exportované zprávě zahrnují:
applicationId: ID aplikace IoT Central.
messageSource: Zdroj zprávy - properties.
messageType: Buď cloudPropertyChange, devicePropertyDesiredChangenebo devicePropertyReportedChange.
deviceId: ID zařízení, které odeslalo zprávu telemetrie.
schema: Název a verze schématu datové části.
enqueuedTime: Čas, kdy Služba IoT Central tuto změnu zjistila.
templateId: ID šablony zařízení přiřazené k zařízení.
properties: Pole vlastností, které se změnily, včetně názvů vlastností a hodnot, které se změnily. Informace o komponentě a modulu jsou zahrnuty, pokud je vlastnost modelována v rámci komponenty nebo modulu IoT Edge.
enrichments: Všechny rozšiřování nastavené pro export.
V případě služby Blob Storage se zprávy dávkovají a exportují jednou za minutu.
Následující fragment kódu ukazuje zprávu o změně vlastnosti exportované do služby Blob Storage:
Každá zpráva protokolu auditu představuje změnu iniciovanou uživatelem na auditovatelnou entitu v aplikaci IoT Central. Informace v exportované zprávě zahrnují:
actor: Informace o uživateli, který entitu upravil.
applicationId: ID aplikace IoT Central.
messageSource: Zdroj zprávy - audit.
messageType: Typ změny, ke které došlo. Jeden z: updated, created, deleted.
updated: Pouze v případě, že messageType je updated. Poskytuje další podrobnosti o aktualizaci.
resource: Podrobnosti o upravené entitě.
schema: Název a verze schématu datové části.
deviceId: ID zařízení, které se změnilo.
enqueuedTime: Čas, kdy k této změně došlo v IoT Central.
enrichments: Všechny rozšiřování nastavené pro export.
Následující příklad ukazuje exportovanou zprávu protokolu auditu přijatou ve službě Azure Blob Storage:
Zařízení IoT odesílají data v různých formátech, které může být potřeba transformovat. Tento článek popisuje, jak transformovat data na cestě i z IoT Central.
Zařízení IoT odesílají data v různých formátech, které může být potřeba transformovat. Tento článek popisuje, jak před exportem transformovat data v IoT Central.