Configurer les entrées et les sorties
Toutes les tâches Azure Stream Analytics comprennent au moins une entrée et une sortie. Dans la plupart des cas, les entrées référencent des sources de données de streaming (bien que vous puissiez également définir des entrées pour des données de référence statiques afin d’augmenter les données d’événement de streaming). Les sorties déterminent où seront envoyés les résultats de la requête de traitement de flux. En cas d’ingestion de données dans Azure Synapse Analytics, la sortie référence généralement un conteneur Azure Data Lake Storage Gen2 ou une table dans une base de données de pool SQL dédié.
Entrées de données diffusées en continu
Les entrées pour les données de streaming consommées par Azure Stream Analytics peuvent inclure :
- Hubs d'événements Azure
- Hubs Azure IoT
- Stockage Blob Azure ou Data Lake Gen 2
En fonction du type d’entrée spécifique, les données de chaque événement diffusé incluent les champs de données de l’événement ainsi que les champs de métadonnées propres à l’entrée. Par exemple, les données consommées à partir d’une entrée Azure Event Hubs incluent un champ EventEnqueuedUtcTime indiquant l’heure à laquelle l’événement a été reçu dans le hub d’événements.
Notes
Pour plus d’informations sur les entrées de streaming, consultez Diffuser des données comme entrée dans Stream Analytics dans la documentation Azure Stream Analytics.
Sorties Azure Synapse Analytics
Si vous devez charger les résultats du traitement de votre flux dans une table dans un pool SQL dédié, utilisez une sortie Azure Synapse Analytics. La configuration de sortie inclut l’identité du pool SQL dédié dans un espace de travail Azure Synapse Analytics, des détails sur la façon dont la tâche Azure Stream Analytics doit établir une connexion authentifiée à celui-ci, et la table existante dans laquelle les données doivent être chargées.
L’authentification auprès d’Azure Synapse Analytics s’effectue généralement par le biais de l’authentification SQL Server, qui nécessite un nom d’utilisateur et un mot de passe. Vous pouvez également utiliser une identité managée pour vous authentifier. Lors de l’utilisation d’une sortie Azure Synapse Analytics, votre configuration de tâche Azure Stream Analytics doit inclure un compte Stockage Azure dans lequel les métadonnées d’authentification de la tâche sont stockées de manière sécurisée.
Notes
Pour plus d’informations sur l’utilisation d’une sortie Azure Synapse Analytics, consultez Sortie Azure Synapse Analytics à partir d’Azure Stream Analytics dans la documentation Azure Stream Analytics.
Sorties Azure Data Lake Storage Gen2
Si vous devez écrire les résultats du traitement de flux dans un conteneur Azure Data Lake Storage Gen2 qui héberge un lac de données dans un espace de travail Azure Synapse Analytics, utilisez une sortie Stockage Blob/ADLS Gen2. La configuration de sortie inclut les détails du compte de stockage dans lequel le conteneur est défini, les paramètres d’authentification pour s’y connecter, et les détails des fichiers à créer. Vous pouvez spécifier le format de fichier, notamment les formats CSV, JSON, Parquet et Delta. Vous pouvez également spécifier des modèles personnalisés pour définir la hiérarchie de dossiers dans laquelle les fichiers sont enregistrés, par exemple en utilisant un modèle tel que AAAA/MM/JJ pour générer une hiérarchie de dossiers basée sur l’année, le mois et le jour en cours.
Vous pouvez spécifier le nombre minimal et maximal de lignes pour chaque lot, qui détermine le nombre de fichiers de sortie générés (chaque lot crée un fichier). Vous pouvez également configurer le mode d’écriture afin de contrôler le moment où les données sont écrites pour une fenêtre de temps, en ajoutant chaque ligne à mesure qu’elle arrive ou en écrivant toutes les lignes une seule fois (ce qui garantit une remise « exactement une fois »).
Notes
Pour plus d’informations sur l’utilisation d’une sortie Stockage Blob/ADLS Gen2, consultez Sortie de stockage d’objets blob et Azure Data Lake Gen2 à partir d’Azure Stream Analytics dans la documentation Azure Stream Analytics.