Exécuter une tâche pour ingérer des données

  • 3 minutes

Une fois que vous avez créé et enregistré votre requête, vous pouvez exécuter la tâche Azure Stream Analytics afin de traiter les événements dans les entrées et d’écrire les résultats dans les sorties. Une fois démarrée, la requête s’exécute perpétuellement jusqu’à ce qu’elle soit arrêtée, ingérant constamment de nouvelles données d’événements dans votre espace de travail Azure Synapse Analytics (dans une table dans un entrepôt de données relationnelles, ou dans des fichiers dans un lac de données, en fonction du type de sortie).

Utilisation de données ingérées

Vous pouvez utiliser les données de streaming ingérées comme toutes les autres données dans Azure Synapse Analytics, en les combinant avec des données ingérées à l’aide de techniques de traitement par lots ou synchronisées à partir de sources de données opérationnelles à l’aide d’Azure Synapse Link.

Interrogation de données dans un entrepôt de données relationnelles

Si vous avez utilisé une sortie Azure Synapse Analytics pour ingérer les résultats de votre tâche de traitement de flux dans une table d’un pool SQL dédié, vous pouvez interroger la table à l’aide d’une requête SQL, comme n’importe quelle autre table. Les résultats de la requête incluent toujours les dernières données à ingérer au moment de l’exécution de la requête. Votre entrepôt de données peut inclure des tables pour les données de streaming ainsi que des tables pour les données ingérées par lots, ce qui vous permet de joindre des données en temps réel et par lots pour l’analytique historique.

Par exemple, le code SQL suivant peut être utilisé pour interroger une table nommée factSensorReadings qui contient les résultats du traitement de flux et les combiner avec une table dimDate contenant des données détaillées sur les dates auxquelles les lectures ont été capturées.

SELECT d.Weekday, s.SensorID, AVG(s.SensorReading) AS AverageReading
FROM factSensorReadings AS s
JOIN dimDate AS d
    ON CAST(s.ReadingTime AS DATE) = d.DateKey
GROUP BY d.Weekday, s.SensorID

Conseil

Pour en savoir plus sur l’utilisation d’un pool SQL dédié pour analyser des données dans un entrepôt de données, consultez le module Analyser les données dans un entrepôt de données relationnelles sur Microsoft Learn.

Interrogation de données dans un lac de données

Comme les données de streaming sont ingérées dans des fichiers dans un lac de données, vous pouvez interroger ces fichiers à l’aide d’un pool SQL serverless dans Azure Synapse Analytics. Par exemple, la requête suivante lit tous les champs de tous les fichiers Parquet sous le dossier sensors dans le conteneur de système de fichiers data.

SELECT *
FROM OPENROWSET(
    BULK 'https://mydatalake.blob.core.windows.net/data/sensors/*',
    FORMAT = 'parquet') AS rows

Conseil

Pour en savoir plus sur l’utilisation de pools SQL serverless pour interroger des fichiers dans un lac de données, consultez le module Utiliser Azure Synapse pool de SQL serverless pour interroger des fichiers dans un lac de données sur Microsoft Learn.

Vous pouvez également interroger le lac de données à l’aide du code exécuté dans un pool Apache Spark, comme illustré dans cet exemple :

%%pyspark
df = spark.read.load('abfss://data@datalake.dfs.core.windows.net/sensors/*', format='parquet'
)
display(df)

Conseil

Pour en savoir plus sur l’utilisation de pools Apache Spark pour interroger des fichiers dans un lac de données, consultez le module Analyser des données avec Apache Spark dans Azure Synapse Analytics sur Microsoft Learn.