Configurer des points de terminaison de flux de données pour Microsoft Fabric OneLake
Important
Opérations Azure IoT Préversion avec Azure Arc est actuellement en préversion. Vous ne devez pas utiliser ce logiciel en préversion dans des environnements de production.
Lorsqu’une version en disponibilité générale sera publiée, vous devrez déployer une nouvelle installation d’Opérations Azure IoT. Vous ne pourrez pas mettre à niveau une installation en préversion.
Pour connaître les conditions juridiques qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou plus généralement non encore en disponibilité générale, consultez l’Avenant aux conditions d’utilisation des préversions de Microsoft Azure.
Pour envoyer des données à Microsoft Fabric OneLake dans Opérations Azure IoT – Préversion, vous pouvez configurer un point de terminaison de flux de données. Cette configuration vous permet de spécifier le point de terminaison de destination, l’authentification, la table et d’autres paramètres.
Prérequis
- Une instance d’Opérations Azure IoT (préversion)
- Un profil de flux de données configuré
- Microsoft Fabric OneLake. Reportez-vous aux étapes suivantes pour créer un espace de travail et un lakehouse.
- Créez un espace de travail. L’espace de travail par défaut Mon espace de travail n’est pas pris en charge.
- Créer un lakehouse.
- Si l’élément s’affiche, vérifiez que l’option Schémas Lakehouse (Préversion publique) n’est pas cochée.
- Notez les noms de l’espace de travail et du lakehouse.
Créer un point de terminaison de flux de données Microsoft Fabric OneLake
Pour configurer un point de terminaison de flux de données pour Microsoft Fabric OneLake, nous vous suggérons d’utiliser l’identité managée du cluster Kubernetes avec Azure Arc. Cette approche est sécurisée et élimine la nécessité de la gestion des secrets.
Tout d’abord, dans le portail Azure, accédez au cluster Kubernetes connecté à Arc, puis sélectionnez Paramètres>Extensions. Dans la liste des extensions, recherchez le nom de votre extension Opérations Azure IoT. Copier le nom de l’extension.
Dans l’espace de travail Microsoft Fabric créé, utilisez ensuite Gérer l’accès>+ Ajouter des personnes ou des groupes. Recherchez l’extension Arc d’Opérations Azure IoT (Préversion) par son nom, puis sélectionnez-la. Sélectionnez Contributeur en tant que rôle, puis sélectionnez Ajouter.
Enfin, créez la ressource DataflowEndpoint et spécifiez la méthode d’authentification par identité managée. Remplacez les valeurs des espaces réservés, comme <ENDPOINT_NAME>, par les vôtres.
Créez un fichier Bicep .bicep avec le contenu suivant.
param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
resource aioInstance 'Microsoft.IoTOperations/instances@2024-08-15-preview' existing = {
name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-08-15-preview' = {
parent: aioInstance
name: endpointName
extendedLocation: {
name: customLocationName
type: 'CustomLocation'
}
properties: {
endpointType: 'FabricOneLake'
fabricOneLakeSettings: {
authentication: {
method: 'SystemAssignedManagedIdentity'
systemAssignedManagedIdentitySettings: {}
}
oneLakePathType: 'Tables'
host: 'https://onelake.dfs.fabric.microsoft.com'
names: {
lakehouseName: lakehouseName
workspaceName: workspaceName
}
...
}
}
}
Effectuez ensuite le déploiement via Azure CLI.
az stack group create --name <DEPLOYMENT_NAME> --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep --dm None --aou deleteResources --yes
Méthodes d'authentification disponibles
Les méthodes d’authentification suivantes sont disponibles pour les points de terminaison de flux de données Microsoft Fabric OneLake. Pour plus d’informations sur l’activation des paramètres sécurisés en configurant un coffre de clés Azure et en activant les identités de charge de travail, consultez Activer les paramètres sécurisés dans un déploiement Opérations Azure IoT – Préversion.
Avant de créer le point de terminaison de flux de données, attribuez un rôle Contributeur d’espace de travail à l’extension Opérations Azure IoT qui accorde l’autorisation en écriture dans le lakehouse Fabric.
Pour plus d’informations, consultez Donner accès à un espace de travail.
Identité managée affectée par le système
L’utilisation de l’identité managée affectée par le système est la méthode d’authentification recommandée pour Opérations Azure IoT. Opérations Azure IoT crée automatiquement l’identité managée et l’affecte au cluster Kubernetes avec Azure Arc. Elle supprime la nécessité de gérer des secrets et permet une authentification fluide auprès d’Azure Data Explorer.
Dans la ressource DataflowEndpoint, spécifiez la méthode d’authentification par identité managée. Dans la plupart des cas, vous n’avez pas besoin de spécifier d’autres paramètres. Cette configuration crée une identité managée avec l’audience par défaut .
fabricOneLakeSettings: {
authentication: {
method: 'SystemAssignedManagedIdentity'
systemAssignedManagedIdentitySettings: {}
}
}
Si vous devez remplacer l’audience de l’identité managée affectée par le système, vous pouvez spécifier le paramètre audience.
fabricOneLakeSettings: {
authentication: {
method: 'SystemAssignedManagedIdentity'
systemAssignedManagedIdentitySettings: {
audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
}
}
}
Identité managée affectée par l’utilisateur
fabricOneLakeSettings: {
authentication: {
method: 'UserAssignedManagedIdentity'
userAssignedManagedIdentitySettings: {
clientId: '<clientId>'
tenantId: '<tenantId>'
}
}
}
Paramètres avancés
Vous pouvez définir des paramètres avancés pour le point de terminaison Fabric OneLake, comme la latence de traitement par lots et le nombre de messages. Vous pouvez définir ces paramètres sous l’onglet du portail Avancé du point de terminaison de flux de données ou dans la ressource personnalisée de point de terminaison de flux de données.
Type de chemin d’accès à OneLake
Le paramètre oneLakePathType détermine le type de chemin d’accès à utiliser dans le chemin d’accès OneLake. La valeur par défaut est Tables, qui est le type de chemin d’accès recommandé pour les cas d’utilisations les plus courants. Le type de chemin d’accès Tables est une table dans le lakehouse OneLake utilisée pour stocker les données. Vous pouvez également le définir en tant que Files, qui est une table dans le lakehouse OneLake utilisée pour stocker les données. Le type de chemin d’accès Files est utile lorsque vous souhaitez stocker les données dans un format de fichier non pris en charge par le type de chemin d’accès Tables.
fabricOneLakeSettings: {
oneLakePathType: 'Tables'
}
Traitement par lots
Utilisez les paramètres batching pour configurer le nombre maximal de messages et la latence maximale avant l’envoi des messages à la destination. Ce paramètre est utile quand vous souhaitez optimiser la bande passante réseau et réduire le nombre de requêtes adressées à la destination.
| Champ | Description | Obligatoire |
|---|---|---|
latencySeconds |
Nombre maximal de secondes devant s’écouler avant l’envoi des messages à la destination. La valeur par défaut est 60 secondes. | Non |
maxMessages |
Nombre maximal de messages à envoyer à la destination. La valeur par défaut est de 100 000 messages. | Non |
Par exemple, pour configurer le nombre maximal de messages sur 1 000 et la latence maximale sur 100 secondes, utilisez les paramètres suivants :
fabricOneLakeSettings: {
batching: {
latencySeconds: 100
maxMessages: 1000
}
}