將 IoT 資料匯出至 Blob 儲存體

文章
06/27/2024

本文說明如何設定資料匯出，以將資料傳送至 Blob 儲存體服務。

使用此功能從 IoT Central 應用程式中連續匯出已篩選及擴充的 IoT 資料。資料匯出會即時將變更推送至雲端解決方案的其他部分，以進行經常性路徑深入解析、分析和儲存體。

例如，您可以：

以 JSON 格式近乎即時匯出遙測、屬性變更、裝置連線、裝置生命週期、裝置範本生命週期和稽核記錄資料。
篩選資料流以匯出符合自訂條件的資料。
使用來自裝置的自訂值和屬性值來擴充資料流。
轉換資料流以修改其圖形和內容。

提示

在您開啟資料匯出時，只會取得該時刻之後的資料。若要保留更多歷史資料，請儘早開啟資料匯出。若要在關閉資料匯出時手動匯出資料，請參閱如何使用 IoT Central REST API 來查詢裝置 (部分機器翻譯)。

注意

在某些情況下，匯出訊息最多可能需要 60 秒的時間。測量的時間範圍為：自 IoT Central 從基礎 IoT 中樞接收訊息，到將訊息傳遞至目的地端點。

必要條件

若要使用資料匯出功能，您必須具有資料匯出權限。

若要了解如何使用 IoT Central REST API 管理資料匯出，請參閱如何使用 IoT Central REST API 來管理資料匯出。

設定 Blob 儲存體匯出目的地

IoT Central 會每分鐘匯出一次資料，每個檔案都包含自上一次匯出以來的變更批次。匯出的資料會以 JSON 格式儲存。儲存體帳戶中匯出資料的預設路徑如下：

遙測：{container}/{app-id}/{partition_id}/{YYYY}/{MM}/{dd}/{hh}/{mm}/{filename}
屬性變更：{container}/{app-id}/{partition_id}/{YYYY}/{MM}/{dd}/{hh}/{mm}/{filename}

若要瀏覽 Azure 入口網站中匯出的檔案，請瀏覽至檔案，然後選取 [編輯 Blob]。

連線選項

Blob 儲存體目的地可讓您使用連接字串或受控識別來設定連線。

提示

如果 Blob 儲存體目的地受到防火牆保護，您必須使用受控識別來連線到該目的地。

受控識別更安全，因為：

您不會將資源認證儲存在 IoT Central 應用程式中的連接字串。
認證會自動繫結至 IoT Central 應用程式的存留期。
受控識別會自動定期輪替其安全性金鑰。

IoT Central 目前使用系統指派的受控識別。

當您設定受控識別時，設定會包含「範圍」和「角色」：

範圍會定義您可以使用受控識別的位置。例如，您可以使用 Azure 資源群組作為範圍。在此情況下，IoT Central 應用程式和目的地都必須位於相同的資源群組中。
角色會定義目的地服務中授與 IoT Central 應用程式的權限。例如，若要讓 IoT Central 應用程式將資料傳送至事件中樞，受控識別需要 Azure 事件中樞資料傳送者角色指派。

下列影片會提供有關系統指派受控識別的詳細資訊：

警告

若要匯出至 Blob 儲存體，請勿如影片所示使用儲存體帳戶參與者。請改為使用儲存體 Blob 資料參與者角色。

本文說明如何使用 Azure CLI 建立受控識別。您也可以使用 Azure 入口網站來建立受控識別。

如果您沒有要匯出的現有 Azure 儲存體帳戶，請在 Azure Cloud Shell bash 環境中執行下列指令碼。指令碼會建立資源群組、Azure 儲存體帳戶和 Blob 容器。然後指令碼會啟用 IoT Central 應用程式的受控識別，並指派其存取儲存體帳戶所需的角色：

# Replace the storage account name with your own unique value.
SA=yourstorageaccount$RANDOM

# Replace the IoT Central app name with the name of your
# IoT Central application.
CA=your-iot-central-app

CN=exportdata
RG=centralexportresources
LOCATION=eastus

az group create -n $RG --location $LOCATION
SAID=$(az storage account create --name $SA --resource-group $RG --location $LOCATION --sku Standard_LRS --query "id" --output tsv)
az storage container create --account-name $SA --resource-group $RG --name $CN

# This assumes your IoT Central application is in the 
# default `IOTC` resource group.
az iot central app identity assign --name $CA --resource-group IOTC --system-assigned
PI=$(az iot central app identity show --name $CA --resource-group IOTC --query "principalId" --output tsv)

az role assignment create --assignee $PI --role "Storage Blob Data Contributor" --scope $SAID

az role assignment list --assignee $PI --all -o table

echo "Endpoint URI: https://$SA.blob.core.windows.net/"
echo "Container: $CN"

您可以深入了解如何建立新的 Azure Blob 儲存體帳戶或 Azure Data Lake Storage v2 儲存體帳戶。資料匯出只能將資料寫入支援區塊 Blob 的儲存體帳戶。下表顯示已知的相容儲存體帳戶類型：

效能層級	帳戶類型
標準	一般目的 V2
標準	一般目的 V1
標準	Blob 儲存體
進階	區塊 Blob 儲存體

若要進一步保護您的 Blob 容器，並且只允許從具有受控識別的受信任服務存取，請參閱將資料匯出至 Azure 虛擬網路上的安全目的地。

若要在 [資料匯出] 頁面上的 IoT Central 中建立 Blob 儲存體目的地：

選取 [+ 新增目的地]。
選取 [Azure Blob 儲存體] 作為目的地類型。
選取 [系統指派的受控識別] 作為授權類型。
輸入儲存體帳戶的端點 URI 和區分大小寫的容器名稱。端點 URI 看起來像：https://contosowaste.blob.core.windows.net。
選取 [儲存]。

如果您沒有看到抵達目的地服務的資料，請參閱針對從 Azure IoT Central 應用程式匯出資料的問題進行疑難排解。

如果您沒有要匯出的現有 Azure 儲存體帳戶，請在 Azure Cloud Shell bash 環境中執行下列指令碼。指令碼會建立資源群組、Azure 儲存體帳戶和 Blob 容器。然後會列印在 IoT Central 中設定資料匯出時要使用的連接字串：

# Replace the storage account name with your own unique value
SA=yourstorageaccount$RANDOM
CN=exportdata
RG=centralexportresources
LOCATION=eastus

az group create -n $RG --location $LOCATION
az storage account create --name $SA --resource-group $RG --location $LOCATION --sku Standard_LRS
az storage container create --account-name $SA --resource-group $RG --name $CN

CS=$(az storage account show-connection-string --resource-group $RG --name $SA --query "connectionString" --output tsv)

echo "Storage connection string: $CS"

效能層級	帳戶類型
標準	一般目的 V2
標準	一般目的 V1
標準	Blob 儲存體
進階	區塊 Blob 儲存體

若要在 [資料匯出] 頁面上的 IoT Central 中建立 Blob 儲存體目的地：

選取 [+ 新增目的地]。
選取 [Azure Blob 儲存體] 作為目的地類型。
選取 [連接字串] 作為授權類型。
貼上 Blob 儲存體資源的連接字串，並視需要輸入區分大小寫的容器名稱。
選取 [儲存]。

設定資料匯出

現在您已擁有匯出資料的目的地，請在 IoT Central 應用程式中設定資料匯出：

登入您的 IoT Central 應用程式。
在左側窗格中，選取 [資料匯出]。

提示

如果您沒有在左窗格中看到 [資料匯出]，則表示您沒有在應用程式中設定資料匯出的權限。請連絡系統管理員來設定資料匯出。
選取 [+ 新增匯出]。
輸入新匯出的顯示名稱，並確定資料匯出為 [已啟用]。

選擇要匯出的資料類型。下表列出支援的資料匯出類型：

資料類型	描述	資料格式
遙測	近乎即時地從裝置匯出遙測訊息。每則匯出的訊息都包含原始裝置訊息的完整內容，且已標準化。	遙測訊息格式
屬性變更	近乎即時地將變更匯出至裝置和雲端屬性。針對唯讀裝置屬性，會匯出報告值的變更內容。針對讀寫屬性，會匯出報告和所需的值。	屬性變更訊息格式
裝置連線	匯出已連線和中斷連線的裝置事件。	裝置連線訊息格式
裝置生命週期	匯出註冊、刪除、佈建、啟用、停用、displayNameChanged 和 deviceTemplateChanged 事件的裝置。	裝置生命週期變更訊息格式
裝置範本生命週期	匯出已發佈的裝置範本變更，包括已建立、已更新和已刪除等變更。	裝置範本生命週期變更訊息格式
稽核記錄	應用程式內實體的使用者起始更新記錄。若要深入了解，請參閱使用稽核記錄來追蹤 IoT Central 應用程式中的活動	稽核記錄訊息格式

或者，新增篩選條件以減少匯出的資料量。每個資料匯出類型都有不同類型的篩選條件：

資料類型	可用的篩選條件
遙測	依裝置名稱、裝置識別碼、裝置範本，以及裝置是否為模擬進行篩選篩選資料流，使篩選出的遙測皆符合篩選的條件篩選資料流，使篩選出的遙測皆來自符合篩選條件屬性的裝置篩選資料流，使篩選出的遙測皆具有符合篩選條件的「訊息屬性」。訊息屬性 (也稱為應用程式屬性) 會在每則遙測訊息上以機碼值組包傳送。若要建立訊息屬性篩選條件，請輸入您要尋找的訊息屬性索引鍵，並指定條件。系統只會匯出具有符合指定篩選條件屬性的遙測訊息。深入了解 IoT 中樞的應用程式屬性文件
屬性變更	依裝置名稱、裝置識別碼、裝置範本，以及裝置是否為模擬進行篩選篩選資料流，使篩選出的屬性變更皆符合篩選的條件
裝置連線	依裝置名稱、裝置識別碼、裝置範本、組織，以及裝置是否為已模擬進行篩選篩選資料流，使篩選出的變更皆來自符合篩選條件屬性的裝置
裝置生命週期	依裝置名稱、裝置識別碼、裝置範本，以及裝置是否為已佈建、已啟用或已模擬進行篩選篩選資料流，使篩選出的變更皆來自符合篩選條件屬性的裝置
裝置範本生命週期	依裝置範本篩選
稽核記錄	N/A

或者，使用額外的機碼值組中繼資料來擴充匯出的訊息。下列擴充適用於遙測、屬性變更、裝置連線能力，以及裝置生命週期資料匯出類型：
- 自訂字串：將自訂靜態字串新增至每則訊息。輸入任何索引鍵，然後輸入任何字串值。
- 屬性，會新增至每則訊息中：
  - 裝置中繼資料，例如裝置名稱、裝置範本名稱、已啟用、組織、已佈建和已模擬。
  - 目前裝置對每則訊息的報告屬性或雲端屬性值。如果匯出訊息來自沒有指定屬性的裝置，則匯出訊息不會獲得擴充。

設定匯出目的地：

選取 [+ 目的地] 以新增您已建立的目的地，或選取 [建立新目的地]。
若要在匯出資料之前轉換您的資料，請選取 [+ 轉換]。若要深入了解，請參閱轉換 IoT Central 應用程式內的資料以進行匯出。
選取 [+ 目的地] 將最多五個目的地新增至單一匯出。
完成匯出設定後，請選取 [儲存]。幾分鐘之後，您的資料就會出現在目的地中。

監視您的匯出

在 IoT Central 中，[資料匯出] 頁面可讓您檢查匯出的狀態。您也可以使用 Azure 監視器來查看您要匯出的資料量，以及是否有任何匯出錯誤。您可以使用 REST API、PowerShell 中的查詢，或 Azure CLI 存取 Azure 入口網站圖表中的匯出和裝置健康情況計量。目前，您可以在 Azure 監視器中監視下列資料匯出計量：

套用篩選條件前，要匯出的訊息傳入數目。
通過篩選條件的訊息數目。
成功匯出至目的地的訊息數目。
找到的錯誤數目。

若要深入了解，請參閱監視應用程式健康情況。

資料格式

下列各節說明匯出資料的格式：

遙測格式

每則匯出的訊息都包含裝置在訊息本文中傳送的完整訊息，其標準化的形式。訊息採用 JSON 格式，並編碼為 UTF-8。每則訊息中的資訊包含：

applicationId：IoT Central 應用程式的識別碼。
messageSource：訊息的來源 - telemetry。
deviceId：傳送遙測訊息裝置的識別碼。
schema：承載結構的名稱和版本。
templateId：指派給裝置的裝置範本識別碼。
enqueuedTime：IoT Central 收到此訊息的時間。
enrichments：在匯出上設定的任何擴充。
module：傳送此訊息的 IoT Edge 模組。只有在訊息來自 IoT Edge 模組時，才會顯示此欄位。
component：傳送此訊息的元件。只有在訊息中傳送的功能已模型化為裝置範本中的元件時，才會顯示此欄位
messageProperties：裝置與訊息一起傳送的其他屬性。這些屬性有時稱為應用程式屬性。從 IoT 中樞文件深入了解。

針對 Blob 儲存體，每分鐘會批次處理並匯出訊息一次。

下列範例顯示匯出的遙測訊息：


{
    "applicationId": "00001111-aaaa-2222-bbbb-3333cccc4444",
    "messageSource": "telemetry",
    "deviceId": "1vzb5ghlsg1",
    "schema": "default@v1",
    "templateId": "urn:qugj6vbw5:___qbj_27r",
    "enqueuedTime": "2020-08-05T22:26:55.455Z",
    "telemetry": {
        "Activity": "running",
        "BloodPressure": {
            "Diastolic": 7,
            "Systolic": 71
        },
        "BodyTemperature": 98.73447010562934,
        "HeartRate": 88,
        "HeartRateVariability": 17,
        "RespiratoryRate": 13
    },
    "enrichments": {
      "userSpecifiedKey": "sampleValue"
    },
    "module": "VitalsModule",
    "component": "DeviceComponent",
    "messageProperties": {
      "messageProp": "value"
    }
}

訊息屬性

遙測訊息具有中繼資料的屬性，以及遙測承載。上一個程式碼片段顯示系統訊息的範例，例如 deviceId 和 enqueuedTime。若要深入了解系統訊息屬性，請參閱裝置到雲端 IoT 中樞訊息的系統屬性。

如果您需要將自訂中繼資料新增至遙測訊息，則可以將屬性新增至遙測訊息。例如，您需要在裝置建立訊息時，新增時間戳記。

下列程式碼片段示範在裝置上建立 iothub-creation-time-utc 屬性時，如何將屬性新增至訊息：

重要

此時間戳記的格式必須是不含時區資訊的 UTC。例如，2021-04-21T11:30:16Z 為有效，而 2021-04-21T11:30:16-07:00 為無效。

async function sendTelemetry(deviceClient, index) {
  console.log('Sending telemetry message %d...', index);
  const msg = new Message(
    JSON.stringify(
      deviceTemperatureSensor.updateSensor().getCurrentTemperatureObject()
    )
  );
  msg.properties.add("iothub-creation-time-utc", new Date().toISOString());
  msg.contentType = 'application/json';
  msg.contentEncoding = 'utf-8';
  await deviceClient.sendEvent(msg);
}

private static void sendTemperatureTelemetry() {
  String telemetryName = "temperature";
  String telemetryPayload = String.format("{\"%s\": %f}", telemetryName, temperature);

  Message message = new Message(telemetryPayload);
  message.setContentEncoding(StandardCharsets.UTF_8.name());
  message.setContentTypeFinal("application/json");
  message.setProperty("iothub-creation-time-utc", Instant.now().toString());

  deviceClient.sendEventAsync(message, new MessageIotHubEventCallback(), message);
  log.debug("My Telemetry: Sent - {\"{}\": {}°C} with message Id {}.", telemetryName, temperature, message.getMessageId());
  temperatureReadings.put(new Date(), temperature);
}

private async Task SendTemperatureTelemetryAsync()
{
  const string telemetryName = "temperature";

  string telemetryPayload = $"{{ \"{telemetryName}\": {_temperature} }}";
  using var message = new Message(Encoding.UTF8.GetBytes(telemetryPayload))
  {
      ContentEncoding = "utf-8",
      ContentType = "application/json",
  };
  message.Properties.Add("iothub-creation-time-utc", DateTime.UtcNow.ToString("yyyy-MM-ddTHH:mm:ssZ"));
  await _deviceClient.SendEventAsync(message);
  _logger.LogDebug($"Telemetry: Sent - {{ \"{telemetryName}\": {_temperature}°C }}.");
}

async def send_telemetry_from_thermostat(device_client, telemetry_msg):
    msg = Message(json.dumps(telemetry_msg))
    msg.custom_properties["iothub-creation-time-utc"] = datetime.now(timezone.utc).isoformat()
    msg.content_encoding = "utf-8"
    msg.content_type = "application/json"
    print("Sent message")
    await device_client.send_message(msg)

屬性變更格式

每個訊息或記錄都代表裝置和雲端屬性的變更。匯出訊息中的資訊包含：

applicationId：IoT Central 應用程式的識別碼。
messageSource：訊息的來源 - properties。
messageType：cloudPropertyChange、devicePropertyDesiredChange 或 devicePropertyReportedChange 任一項。
deviceId：傳送遙測訊息裝置的識別碼。
schema：承載結構的名稱和版本。
enqueuedTime：IoT Central 偵測到這項變更的時間。
templateId：指派給裝置的裝置範本識別碼。
properties：已變更的屬性陣列，包含已變更屬性和值的名稱。如果屬性是在元件或 IoT Edge 模組內建立模型，則會包含元件和模組資訊。
enrichments：在匯出上設定的任何擴充。

針對 Blob 儲存體，每分鐘會批次處理並匯出訊息一次。

下列程式碼片段顯示匯出至 Blob 儲存體的屬性變更訊息：

{
    "applicationId": "11112222-bbbb-3333-cccc-4444dddd5555",
    "messageSource": "properties",
    "deviceId": "Pepjmh1Hcc",
    "enqueuedTime": "2023-03-02T10:35:39.281Z",
    "enrichments": {},
    "messageType": "devicePropertyReportedChange",
    "schema": "default@v1",
    "templateId": "dtmi:azureiot:ddzig4ascxz",
    "properties": [
        {
            "component": "device_info",
            "name": "swVersion",
            "value": "12"
        },
        {
            "component": "device_info",
            "name": "osName",
            "value": "Android"
        },
        {
            "component": "device_info",
            "name": "processorArchitecture",
            "value": "arm64-v8a"
        },
        {
            "component": "device_info",
            "name": "processorManufacturer",
            "value": "unknown"
        }
    ]
}

裝置連線能力變更格式

每則訊息或記錄都代表來自單一裝置的連線事件。匯出訊息中的資訊包含：

applicationId：IoT Central 應用程式的識別碼。
messageSource：訊息的來源 - deviceConnectivity。
messageType：connected 或 disconnected 任一項。
deviceId：已變更裝置的識別碼。
schema：承載結構的名稱和版本。
templateId：指派給裝置的裝置範本識別碼。
enqueuedTime：IoT Central 發生這項變更的時間。
enrichments：在匯出上設定的任何擴充。

針對 Blob 儲存體，每分鐘會批次處理並匯出訊息一次。

下列範例顯示 Azure Blob 儲存體中收到的匯出裝置連線訊息。

{
  "applicationId": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "messageSource": "deviceConnectivity",
  "messageType": "connected",
  "deviceId": "1vzb5ghlsg1",
  "schema": "default@v1",
  "templateId": "urn:qugj6vbw5:___qbj_27r",
  "enqueuedTime": "2021-04-05T22:26:55.455Z",
  "enrichments": {
    "userSpecifiedKey": "sampleValue"
  }
}

裝置生命週期變更格式

每則訊息或記錄都代表單一裝置的一項變更。匯出訊息中的資訊包含：

applicationId：IoT Central 應用程式的識別碼。
messageSource：訊息的來源 - deviceLifecycle。
messageType：所發生變更的類型。下列其中一項：registered、deleted、provisioned、enabled、disabled、displayNameChanged 和 deviceTemplateChanged。
deviceId：已變更裝置的識別碼。
schema：承載結構的名稱和版本。
templateId：指派給裝置的裝置範本識別碼。
enqueuedTime：IoT Central 發生這項變更的時間。
enrichments：在匯出上設定的任何擴充。

針對 Blob 儲存體，每分鐘會批次處理並匯出訊息一次。

下列範例顯示 Azure Blob 儲存體中收到的匯出裝置生命週期訊息。

{
  "applicationId": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "messageSource": "deviceLifecycle",
  "messageType": "registered",
  "deviceId": "1vzb5ghlsg1",
  "schema": "default@v1",
  "templateId": "urn:qugj6vbw5:___qbj_27r",
  "enqueuedTime": "2021-01-01T22:26:55.455Z",
  "enrichments": {
    "userSpecifiedKey": "sampleValue"
  }
}

裝置範本生命週期變更格式

每則訊息或記錄都代表單一已發佈裝置範本的一項變更。匯出訊息中的資訊包含：

applicationId：IoT Central 應用程式的識別碼。
messageSource：訊息的來源 - deviceTemplateLifecycle。
messageType：created、updated 或 deleted 任一項。
schema：承載結構的名稱和版本。
templateId：指派給裝置的裝置範本識別碼。
enqueuedTime：IoT Central 發生這項變更的時間。
enrichments：在匯出上設定的任何擴充。

針對 Blob 儲存體，每分鐘會批次處理並匯出訊息一次。

下列範例顯示 Azure Blob 儲存體中收到的匯出裝置生命週期訊息。

{
  "applicationId": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "messageSource": "deviceTemplateLifecycle",
  "messageType": "created",
  "schema": "default@v1",
  "templateId": "urn:qugj6vbw5:___qbj_27r",
  "enqueuedTime": "2021-01-01T22:26:55.455Z",
  "enrichments": {
    "userSpecifiedKey": "sampleValue"
  }
}

稽核記錄檔格式

每個稽核記錄訊息都代表 IoT Central 應用程式內可稽核實體的使用者起始變更。匯出訊息中的資訊包含：

actor：修改實體的使用者相關資訊。
applicationId：IoT Central 應用程式的識別碼。
messageSource：訊息的來源 - audit。
messageType：所發生變更的類型。下列其中一項：updated、created 或 deleted。
updated：只有在 messageType 是 updated 時才存在。提供有關更新的詳細資料。
resource：已修改實體的詳細資料。
schema：承載結構的名稱和版本。
deviceId：已變更裝置的識別碼。
enqueuedTime：IoT Central 發生這項變更的時間。
enrichments：在匯出上設定的任何擴充。

下列範例顯示 Azure Blob 儲存體中收到的匯出稽核記錄訊息：

{
  "actor": {
    "id": "test-audit",
    "type": "apiToken"
    },
  "applicationId": "22223333-cccc-4444-dddd-5555eeee6666",
  "enqueuedTime": "2022-07-25T21:54:40.000Z",
  "enrichments": {},
  "messageSource": "audit",
  "messageType": "created",
  "resource": {
    "displayName": "Sensor 1",
    "id": "sensor",
    "type": "device"    
  },
  "schema": "default@v1"
}

下一步

既然您已了解如何匯出至 Blob 儲存體，建議的下一個步驟是了解如何匯出至服務匯流排。

分享方式：

將 IoT 資料匯出至 Blob 儲存體

必要條件

設定 Blob 儲存體匯出目的地

連線選項

建立 Azure Blob 儲存體目的地

設定資料匯出

監視您的匯出

資料格式

遙測格式

訊息屬性

屬性變更格式

裝置連線能力變更格式

裝置生命週期變更格式

裝置範本生命週期變更格式

稽核記錄檔格式

下一步

意見反映

更多資源