Uruchamianie zadania w celu pozyskiwania danych

  • 3 min

Po utworzeniu i zapisaniu zapytania możesz uruchomić zadanie usługi Azure Stream Analytics, aby przetworzyć zdarzenia w danych wejściowych i zapisać wyniki w danych wyjściowych. Po uruchomieniu zapytanie będzie uruchamiane w sposób ciągły do momentu zatrzymania; stale pozyskiwanie nowych danych zdarzeń do obszaru roboczego usługi Azure Synapse Analytics (do tabeli w relacyjnym magazynie danych lub plikach w usłudze Data Lake w zależności od typu danych wyjściowych).

Praca z pozyskanymi danymi

Możesz pracować z pozyskanymi danymi przesyłanymi strumieniowo, takimi jak inne dane w usłudze Azure Synapse Analytics, łącząc je z danymi pozyskanymi przy użyciu technik przetwarzania wsadowego lub synchronizowane z operacyjnych źródeł danych przy użyciu usługi Azure Synapse Link.

Wykonywanie zapytań dotyczących danych w relacyjnym magazynie danych

Jeśli dane wyjściowe usługi Azure Synapse Analytics były używane do pozyskiwania wyników zadania przetwarzania strumienia do tabeli w dedykowanej puli SQL, możesz wykonać zapytanie względem tabeli przy użyciu zapytania SQL, podobnie jak w przypadku każdej innej tabeli. Wyniki zapytania będą zawsze zawierać najnowsze dane do pozyskiwania w momencie uruchomienia zapytania. Magazyn danych może zawierać tabele dla danych przesyłanych strumieniowo, a także tabele dla danych pozyskanych wsadowo, umożliwiając łączenie danych w czasie rzeczywistym i wsadowych na potrzeby analizy historycznej.

Na przykład poniższy kod SQL może służyć do wykonywania zapytań względem tabeli o nazwie factSensorReadings , która zawiera wyniki przetwarzania strumienia, i połączyć ją z tabelą dimDate zawierającą szczegółowe dane dotyczące dat przechwycenia odczytów.

SELECT d.Weekday, s.SensorID, AVG(s.SensorReading) AS AverageReading
FROM factSensorReadings AS s
JOIN dimDate AS d
    ON CAST(s.ReadingTime AS DATE) = d.DateKey
GROUP BY d.Weekday, s.SensorID

Napiwek

Aby dowiedzieć się więcej na temat używania dedykowanej puli SQL do analizowania danych w magazynie danych, zobacz moduł Analizowanie danych w magazynie danych relacyjnych w usłudze Microsoft Learn.

Wykonywanie zapytań dotyczących danych w usłudze Data Lake

Ponieważ dane przesyłane strumieniowo są pozyskiwane do plików w usłudze Data Lake, można wykonywać zapytania dotyczące tych plików przy użyciu bezserwerowej puli SQL w usłudze Azure Synapse Analytics. Na przykład następujące zapytanie odczytuje wszystkie pola ze wszystkich plików Parquet w folderze sensors w kontenerze systemu plików danych .

SELECT *
FROM OPENROWSET(
    BULK 'https://mydatalake.blob.core.windows.net/data/sensors/*',
    FORMAT = 'parquet') AS rows

Napiwek

Aby dowiedzieć się więcej na temat używania bezserwerowych pul SQL do wykonywania zapytań dotyczących plików w usłudze Data Lake, zobacz Używanie bezserwerowej puli SQL usługi Azure Synapse do wykonywania zapytań dotyczących plików w module data lake w usłudze Microsoft Learn.

Możesz również wykonać zapytanie względem magazynu data lake przy użyciu kodu uruchomionego w puli platformy Apache Spark, jak pokazano w tym przykładzie:

%%pyspark
df = spark.read.load('abfss://data@datalake.dfs.core.windows.net/sensors/*', format='parquet'
)
display(df)

Napiwek

Aby dowiedzieć się więcej na temat używania pul platformy Apache Spark do wykonywania zapytań dotyczących plików w usłudze Data Lake, zobacz moduł Analizowanie danych za pomocą platformy Apache Spark w usłudze Azure Synapse Analytics w witrynie Microsoft Learn.