Przekształcanie i przechowywanie danych w bazie danych Azure SQL za pomocą edytora bez kodu usługi Azure Stream Analytics

Artykuł
06/14/2023

W tym artykule opisano, jak za pomocą edytora kodu można łatwo utworzyć zadanie usługi Stream Analytics, które stale odczytuje dane z wystąpienia usługi Event Hubs (centrum zdarzeń), przekształca dane, a następnie zapisuje wyniki w bazie danych Azure SQL.

Wymagania wstępne

Zasoby usługi Azure Event Hubs i Azure SQL Database muszą być publicznie dostępne, a nie za zaporą ani zabezpieczone w usłudze Azure Virtual Network. Dane w usłudze Event Hubs muszą być serializowane w formacie JSON, CSV lub Avro.

Jeśli chcesz wypróbować kroki opisane w tym artykule, wykonaj następujące kroki.

Utwórz centrum zdarzeń , jeśli jeszcze go nie masz. Generowanie danych w centrum zdarzeń. Na stronie Wystąpienie usługi Event Hubs wybierz pozycję Generuj dane (wersja zapoznawcza) w menu po lewej stronie, wybierz pozycję Dane stockowe dla zestawu danych, a następnie wybierz pozycję Wyślij , aby wysłać przykładowe dane do centrum zdarzeń. Ten krok jest wymagany, jeśli chcesz przetestować kroki opisane w tym artykule.
Utwórz bazę danych Azure SQL. Poniżej przedstawiono kilka ważnych kwestii, które należy wziąć pod uwagę podczas tworzenia bazy danych.
1. Na stronie Podstawy wybierz pozycję Utwórz nowy dla pozycji Serwer. Następnie na stronie Tworzenie serwera SQL Database wybierz pozycję Użyj uwierzytelniania SQL i określ identyfikator użytkownika administratora i hasło.
2. Na stronie Sieć wykonaj następujące kroki:
  1. Włącz publiczny punkt końcowy.
  2. Wybierz pozycję Tak dla opcji Zezwalaj usługom i zasobom platformy Azure na dostęp do tego serwera.
  3. Wybierz pozycję Tak , aby dodać bieżący adres IP klienta.
3. Na stronie Ustawienia dodatkowe wybierz opcję Brak w obszarze Użyj istniejących danych.
4. W artykule pomiń kroki opisane w sekcjach Wykonywanie zapytań dotyczących bazy danych i Czyszczenie zasobów .
5. Jeśli chcesz przetestować kroki, utwórz tabelę w bazie danych SQL przy użyciu edytora zapytań (wersja zapoznawcza).
```
create table stocks (
    symbol varchar(4),
    price decimal
)
```

Tworzenie zadania usługi Stream Analytics przy użyciu edytora bez kodu

W tej sekcji utworzysz zadanie usługi Azure Stream Analytics przy użyciu edytora kodu bez kodu. Zadanie przekształca dane przesyłane strumieniowo z wystąpienia usługi Event Hubs (centrum zdarzeń) i przechowuje dane wynikowe w bazie danych Azure SQL.

W Azure Portal przejdź do strony Wystąpienie usługi Event Hubs dla centrum zdarzeń.
Wybierz pozycję Funkcje>Przetwarzaj dane w menu po lewej stronie, a następnie wybierz pozycję Uruchom na karcie Przekształć i zapisz dane w bazie danych SQL .
Wprowadź nazwę zadania usługi Stream Analytics, a następnie wybierz pozycję Utwórz. Po prawej stronie zostanie wyświetlony diagram zadań usługi Stream Analytics z oknem usługi Event Hubs.
W oknie Centrum zdarzeń przejrzyj ustawienia tryb serializacji i uwierzytelniania , a następnie wybierz pozycję Połącz.
Po pomyślnym nawiązaniu połączenia i utworzeniu danych w wystąpieniu usługi Event Hubs zobaczysz dwie elementy:
- Pola, które znajdują się w danych wejściowych. Możesz wybrać pozycję Dodaj pole lub wybrać symbol z trzema kropkami obok pola, aby usunąć, zmienić jego nazwę lub zmienić jego typ.
- Przykład danych przychodzących na żywo w tabeli Podgląd danych w widoku diagramu. Jest ona okresowo odświeżana. Możesz wybrać pozycję Wstrzymaj podgląd przesyłania strumieniowego , aby wyświetlić statyczny widok przykładowych danych wejściowych.
Wybierz kafelek Grupuj według, aby zagregować dane. W panelu Grupuj według konfiguracji możesz określić pole, według którego chcesz grupować , wraz z oknem Czas.

W poniższym przykładzie jest używana średnia cena i symbol .
Wyniki kroku można zweryfikować w sekcji Podgląd danych .
Wybierz kafelek Zarządzaj polami . Na panelu Konfiguracji zarządzaj polami wybierz pola, które chcesz wyświetlić, wybierając pozycję Dodaj pole ->Zaimportowany schemat -> pole.

Jeśli chcesz dodać wszystkie pola, wybierz pozycję Dodaj wszystkie pola. Podczas dodawania pola można określić inną nazwę danych wyjściowych. Na przykład na AVG_Value .Value Po zapisaniu wyborów dane będą widoczne w okienku Podgląd danych .

W poniższym przykładzie wybrano symbol i AVG_Value . Symbol jest mapowany na symbol, a AVG_Value jest mapowany na cenę.
Wybierz kafelek SQL . W panelu konfiguracji SQL Database wypełnij wymagane parametry i połącz. Wybierz pozycję Załaduj istniejącą tabelę , aby automatycznie wybrać tabelę. W poniższym przykładzie [dbo].[stocks] wybrano wartość . Następnie wybierz pozycję Połącz.

Uwaga

Schemat tabeli, którą chcesz zapisać, musi dokładnie odpowiadać liczbie pól i ich typom generowanym przez podgląd danych.
W okienku Podgląd danych zostanie wyświetlony podgląd danych pozyskany w bazie danych SQL.
Wybierz pozycję Zapisz , a następnie wybierz pozycję Uruchom zadanie usługi Stream Analytics.
Aby uruchomić zadanie, określ:
- Liczba jednostek przesyłania strumieniowego (SU), z których jest uruchamiane zadanie. Jednostki SU reprezentują ilość zasobów obliczeniowych i pamięci przydzielonych do zadania. Zalecamy rozpoczęcie od trzech, a następnie dostosowanie zgodnie z potrzebami.
- Obsługa błędów danych wyjściowych — umożliwia określenie zachowania, które ma wystąpić, gdy dane wyjściowe zadania do miejsca docelowego kończą się niepowodzeniem z powodu błędów danych. Domyślnie zadanie ponawia próbę, dopóki operacja zapisu nie powiedzie się. Możesz również usunąć takie zdarzenia wyjściowe.
Po wybraniu pozycji Uruchom zadanie zostanie uruchomione w ciągu dwóch minut. W dolnym okienku zostanie wyświetlony panel metryk . Zaktualizowanie tego panelu zajmuje trochę czasu. Wybierz pozycję Odśwież w prawym górnym rogu panelu, aby odświeżyć wykres. Przejdź do następnego kroku na osobnej karcie lub w oknie przeglądarki internetowej.

Zadanie można również wyświetlić w sekcji Przetwarzanie danych na karcie Zadania usługi Stream Analytics . Wybierz pozycję Otwórz metryki , aby je monitorować lub zatrzymać i uruchomić ponownie, zgodnie z potrzebami.
Przejdź do centrum zdarzeń w portalu w osobnym oknie lub karcie przeglądarki i ponownie wyślij przykładowe dane giełdowe (zgodnie z wymaganiami wstępnymi). Na stronie Wystąpienie usługi Event Hubs wybierz pozycję Generuj dane (wersja zapoznawcza) w menu po lewej stronie, wybierz pozycję Dane stockowe dla zestawu danych, a następnie wybierz pozycję Wyślij , aby wysłać przykładowe dane do centrum zdarzeń. Zaktualizowanie panelu Metryki może potrwać kilka minut.
Powinny zostać wyświetlone rekordy wstawione w bazie danych Azure SQL.