Rychlý start: Odeslání telemetrie prostředků do cloudu pomocí konektoru Data Lake pro Azure IoT MQ Preview

Článek
06/01/2024

Důležité

Azure IoT Operations Preview – Služba Azure Arc je aktuálně ve verzi PREVIEW. Tento software ve verzi Preview byste neměli používat v produkčních prostředích.

Právní podmínky, které platí pro funkce Azure, které jsou ve verzi beta, verzi Preview nebo které zatím nejsou veřejně dostupné, najdete v Dodatečných podmínkách použití pro Microsoft Azure verze Preview.

V tomto rychlém startu použijete konektor Data Lake pro Azure IoT MQ k předávání telemetrie z prostředků OPC UA do Microsoft Fabric Lakehouse pro účely úložiště a analýzy.

Požadavky

Než začnete s tímto rychlým startem, musíte dokončit následující rychlé starty:

Potřebujete také předplatné Microsoft Fabric. Pokud předplatné nemáte, můžete si zaregistrovat bezplatnou zkušební kapacitu Microsoft Fabric. Pokud chcete získat přístup ke zkušební kapacitě, musíte být správcem zkušební kapacity. V předplatném Microsoft Fabric se ujistěte, že pro vašeho tenanta jsou povolená následující nastavení:

Další informace najdete v tématu Microsoft Fabric > O nastavení tenanta.

Jaký problém vyřešíme?

Pokud chcete k analýze dat OPC UA použít nástroj, jako je Power BI, musíte data odeslat do cloudové služby úložiště. Konektor Data Lake pro Azure IoT MQ se přihlásí k odběru témat MQTT a ingestuje zprávy do tabulek Delta v Microsoft Fabric Lakehouse. V dalším rychlém startu se dozvíte, jak pomocí Power BI analyzovat data v jezeře.

Udělení přístupu k pracovnímu prostoru Microsoft Fabric

Musíte povolit, aby se rozšíření MQ ve vašem clusteru připojilo k pracovnímu prostoru Microsoft Fabric. V rychlém startu nasazení jste si poznamenali název rozšíření MQ. Název rozšíření vypadá takto mq-z2ewy.

Tip

Pokud potřebujete najít jedinečný název přiřazený k rozšíření MQ, spuštěním následujícího příkazu v terminálu Codespaces zobrazte seznam rozšíření clusteru: az k8s-extension list --resource-group <your-resource-group-name> --cluster-name $CLUSTER_NAME --cluster-type connectedClusters -o table

Přejděte do prostředí Microsoft Fabric Power BI. Abyste měli jistotu , že se v pracovním prostoru Microsoft Fabric zobrazí možnost Spravovat přístup , vytvořte nový pracovní prostor:

V levém navigačním panelu vyberte Pracovní prostory a pak vyberte Nový pracovní prostor:
Zadejte název pracovního prostoru, například název_vašeho_pracovního prostoru, a vyberte Použít. Poznamenejte si tento název a budete ho potřebovat později.

Tip

Do názvu pracovního prostoru nezahrnujte žádné mezery.

Udělení přístupu rozšíření MQ k pracovnímu prostoru Microsoft Fabric:

V pracovním prostoru Microsoft Fabric vyberte Spravovat přístup:
Vyberte Přidat lidi nebo skupiny a pak vložte název rozšíření MQ, které jste si poznamenali dříve, a udělte mu alespoň přístup přispěvatele :
Výběrem možnosti Přidat udělte oprávnění přispěvatele rozšíření MQ v pracovním prostoru.

Vytvoření jezerahouse

Vytvořte v pracovním prostoru Microsoft Fabric lakehouse:

Vyberte Nové a Další možnosti a pak v seznamu zvolte Lakehouse .
Jako název jezera zadejte aiomqdestination a vyberte Vytvořit.

Konfigurace konektoru

Váš codespace obsahuje následující ukázkový konfigurační soubor konektoru: /workspaces/explore-iot-operations/samples/quickstarts/datalake-connector.yaml

apiVersion: mq.iotoperations.azure.com/v1beta1
kind: DataLakeConnector
metadata:
  name: my-datalake-connector
  namespace: azure-iot-operations
spec:
  protocol: v5
  image:
    repository: mcr.microsoft.com/azureiotoperations/datalake
    tag: 0.4.0-preview
    pullPolicy: IfNotPresent
  instances: 1
  logLevel: info
  databaseFormat: delta
  target:
    fabricOneLake:
      endpoint: https://onelake.dfs.fabric.microsoft.com
      names:
        workspaceName: <your-workspace-name>
        lakehouseName: aiomqdestination
      fabricPath: tables
      authentication:
        systemAssignedManagedIdentity:
          audience: https://storage.azure.com
  localBrokerConnection:
    endpoint: aio-mq-dmqtt-frontend:8883
    tls:
      tlsEnabled: true
      trustedCaCertificateConfigMap: aio-ca-trust-bundle-test-only
    authentication:
      kubernetes: {}
---
apiVersion: mq.iotoperations.azure.com/v1beta1
kind: DataLakeConnectorTopicMap
metadata:
  name: datalake-topicmap
  namespace: azure-iot-operations
spec:
  dataLakeConnectorRef: "my-datalake-connector"
  mapping:
    allowedLatencySecs: 1
    messagePayloadType: "json"
    maxMessagesPerBatch: 10
    clientId: id
    mqttSourceTopic: "azure-iot-operations/data/thermostat"
    qos: 1
    table:
      tableName: OPCUA
      schema:
      - name: externalAssetId
        format: utf8
        optional: false
        mapping: $property.externalAssetId
      - name: assetName
        format: utf8
        optional: false
        mapping: DataSetWriterName
      - name: CurrentTemperature
        format: float32
        optional: false
        mapping: Payload.temperature.Value
      - name: Pressure
        format: float32
        optional: true
        mapping: "Payload.Tag 10.Value"
      - name: Timestamp
        format: timestamp
        optional: false
        mapping: $received_time

Otevřete soubor datalake-connector.yaml v textovém editoru a nahraďte <your-workspace-name> názvem pracovního prostoru Microsoft Fabric. Tuto hodnotu jste si poznamenali při vytváření pracovního prostoru.
Uložte soubor.

Spuštěním následujícího příkazu vytvořte konektor:

kubectl apply -f samples/quickstarts/datalake-connector.yaml

Po krátké době se data z vašeho zprostředkovatele MQ začnou naplnit tabulkou v jezeře. Možná budete muset aktualizovat stránku lakehouse, aby se zobrazila data.

Snímek obrazovky znázorňující data z kanálu, která se zobrazují v tabulce lakehouse

Tip

Ujistěte se, že žádné jiné procesy nezapisují do tabulky OPCUA ve vašem jezeře. Pokud do tabulky zapíšete z více zdrojů, může se v tabulce zobrazit poškozená data.

Jak jsme tento problém vyřešili?

V tomto rychlém startu jste použili konektor Data Lake pro Azure IoT MQ k ingestování dat do Microsoft Fabric Lakehouse v cloudu. V dalším rychlém startu použijete Power BI k analýze dat v jezeře.

Vyčištění prostředků

Pokud toto nasazení nebudete dál používat, odstraňte cluster Kubernetes, ve kterém jste nasadili operace Azure IoT, a odeberte skupinu prostředků Azure, která obsahuje cluster.

Pracovní prostor Microsoft Fabric můžete také odstranit.

Další krok

Rychlý start: Získání přehledů z telemetrie prostředků

Sdílet prostřednictvím