Démarrage rapide : Envoyer la télémétrie des ressources au cloud à l’aide du connecteur de lac de données pour Azure IoT MQ Preview
Important
Opérations Azure IoT (préversion) – activé parc Azure Arc est actuellement en PRÉVERSION. Vous ne devez pas utiliser ce logiciel en préversion dans des environnements de production.
Pour connaître les conditions juridiques qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou plus généralement non encore en disponibilité générale, consultez l’Avenant aux conditions d’utilisation des préversions de Microsoft Azure.
Dans ce guide de démarrage rapide, vous utilisez le connecteur de lac de données pour Azure IoT MQ afin de transférer la télémétrie de vos ressources OPC UA à un lakehouse Microsoft Fabric à des fins de stockage et d’analyse.
Prérequis
Avant de commencer ce démarrage rapide, vous devez suivre les démarrages rapides suivants :
- Démarrage rapide : Déployer Opérations Azure IoT (préversion) sur un cluster Kubernetes avec Arc
- Démarrage rapide : Ajouter des ressources OPC UA à votre cluster Opérations Azure IoT (préversion)
Vous avez également besoin d’un abonnement Microsoft Fabric. Si vous n’avez pas d’abonnement, vous pouvez vous inscrire pour une capacité d’essai Microsoft Fabric gratuite. Pour accéder à la capacité d’essai, vous devez être administrateur de capacité d’essai. Dans votre abonnement Microsoft Fabric, vérifiez que les paramètres suivants sont activés pour votre locataire :
- Autoriser les principaux de service à utiliser les API Power BI
- Les utilisateurs peuvent accéder aux données stockées dans OneLake avec des applications externes à Fabric
Pour en savoir plus, consultez Microsoft Fabric > À propos des paramètres de locataire.
Quel problème résoudrons-nous ?
Pour utiliser un outil tel que Power BI pour analyser vos données OPC UA, vous devez envoyer les données à un service de stockage cloud. Le connecteur de lac de données pour Azure IoT MQ s’abonne aux rubriques MQTT et ingère les messages dans des tables Delta dans un lakehouse Microsoft Fabric. Le prochain guide de démarrage rapide vous montre comment utiliser Power BI pour analyser les données dans le lakehouse.
Accorder l’accès à votre espace de travail Microsoft Fabric
Vous devez autoriser l’extension MQ sur votre cluster à se connecter à votre espace de travail Microsoft Fabric. Vous avez noté le nom de l’extension MQ dans le guide de démarrage rapide de déploiement. Le nom de l’extension ressemble à ceci : mq-z2ewy
.
Conseil
Si vous avez besoin de trouver le nom unique attribué à votre extension MQ, exécutez la commande suivante dans votre terminal Codespaces pour lister vos extensions de cluster : az k8s-extension list --resource-group <your-resource-group-name> --cluster-name $CLUSTER_NAME --cluster-type connectedClusters -o table
Accédez à l'expérience Microsoft Fabric Power BI. Pour vous assurer que vous pouvez voir l’option Gérer l’accès dans votre espace de travail Microsoft Fabric, créez un nouvel espace de travail :
Sélectionnez Espaces de travail dans la barre de navigation de gauche, puis sélectionnez Nouvel espace de travail :
Entrez un nom pour votre espace de travail, tel que nom de votre espace de travail aio, puis sélectionnez Appliquer. Notez ce nom, car vous en aurez besoin plus tard.
Conseil
N’incluez aucun espace dans le nom de votre espace de travail.
Pour accorder à l’extension MQ l’accès à votre espace de travail Microsoft Fabric :
Dans votre espace de travail Microsoft Fabric, sélectionnez Gérer l'accès :
Sélectionnez Ajouter des personnes ou des groupes, puis collez le nom de l’extension MQ que vous avez notée précédemment et accordez-lui au moins l’accès Contributeur :
Sélectionnez Ajouter pour accorder les autorisations de contributeur à l’extension MQ dans l’espace de travail.
Créer un lakehouse.
Créez un lakehouse dans votre espace de travail Microsoft Fabric :
Sélectionnez Nouveau et Plus d'options, puis sélectionnez Lakehouse dans la liste.
Entrez aiomqdestination comme nom de votre lakehouse, puis sélectionnez Créer.
Configurer un connecteur
Votre codespace est fourni avec l’exemple de fichier de configuration du connecteur suivant, /workspaces/explore-iot-operations/samples/quickstarts/datalake-connector.yaml
:
apiVersion: mq.iotoperations.azure.com/v1beta1
kind: DataLakeConnector
metadata:
name: my-datalake-connector
namespace: azure-iot-operations
spec:
protocol: v5
image:
repository: mcr.microsoft.com/azureiotoperations/datalake
tag: 0.4.0-preview
pullPolicy: IfNotPresent
instances: 1
logLevel: info
databaseFormat: delta
target:
fabricOneLake:
endpoint: https://onelake.dfs.fabric.microsoft.com
names:
workspaceName: <your-workspace-name>
lakehouseName: aiomqdestination
fabricPath: tables
authentication:
systemAssignedManagedIdentity:
audience: https://storage.azure.com
localBrokerConnection:
endpoint: aio-mq-dmqtt-frontend:8883
tls:
tlsEnabled: true
trustedCaCertificateConfigMap: aio-ca-trust-bundle-test-only
authentication:
kubernetes: {}
---
apiVersion: mq.iotoperations.azure.com/v1beta1
kind: DataLakeConnectorTopicMap
metadata:
name: datalake-topicmap
namespace: azure-iot-operations
spec:
dataLakeConnectorRef: "my-datalake-connector"
mapping:
allowedLatencySecs: 1
messagePayloadType: "json"
maxMessagesPerBatch: 10
clientId: id
mqttSourceTopic: "azure-iot-operations/data/thermostat"
qos: 1
table:
tableName: OPCUA
schema:
- name: externalAssetId
format: utf8
optional: false
mapping: $property.externalAssetId
- name: assetName
format: utf8
optional: false
mapping: DataSetWriterName
- name: CurrentTemperature
format: float32
optional: false
mapping: Payload.temperature.Value
- name: Pressure
format: float32
optional: true
mapping: "Payload.Tag 10.Value"
- name: Timestamp
format: timestamp
optional: false
mapping: $received_time
Ouvrez le fichier datalake-connector.yaml dans un éditeur de texte et remplacez
<your-workspace-name>
par le nom de votre espace de travail Microsoft Fabric. Vous l’avez noté lorsque vous avez créé l’espace de travail.Enregistrez le fichier.
Exécutez la commande suivante pour créer le connecteur :
kubectl apply -f samples/quickstarts/datalake-connector.yaml
Après un court instant, les données de votre répartiteur MQ commencent à remplir la table dans votre lakehouse. Vous devrez peut-être actualiser la page du lakehouse pour afficher les données.
Conseil
Assurez-vous qu’aucun autre processus n’écrit dans la table OPCUA de votre lakehouse. Si vous écrivez dans la table à partir de plusieurs sources, vous verrez peut-être apparaître des données endommagées dans la table.
Comment avons-nous résolu le problème ?
Dans ce guide de démarrage rapide, vous avez utilisé le connecteur de lac de données pour Azure IoT MQ afin d’ingérer les données dans un lakehouse Microsoft Fabric dans le cloud. Dans le prochain guide de démarrage rapide, vous utilisez Power BI pour analyser les données dans le lakehouse.
Nettoyer les ressources
Si vous ne souhaitez pas continuer à utiliser ce déploiement, supprimez le cluster Kubernetes sur lequel vous avez déployé Opérations Azure IoT et supprimez le groupe de ressources Azure qui contient le cluster.
Vous pouvez également supprimer votre espace de travail Microsoft Fabric.
Étape suivante
Démarrage rapide : Obtenir des insights à partir de la télémétrie de vos ressources
Commentaires
https://aka.ms/ContentUserFeedback.
Prochainement : Tout au long de l'année 2024, nous supprimerons progressivement les GitHub Issues en tant que mécanisme de retour d'information pour le contenu et nous les remplacerons par un nouveau système de retour d'information. Pour plus d’informations, voir:Soumettre et afficher des commentaires pour