Filtrowanie i pozyskiwanie w celu Azure Data Lake Storage Gen2 przy użyciu edytora kodu usługi Stream Analytics

W tym artykule opisano, jak łatwo utworzyć zadanie usługi Stream Analytics za pomocą edytora kodu bez edytora kodu. Jest on stale odczytywany z usługi Event Hubs, filtruje dane przychodzące, a następnie zapisuje wyniki w sposób ciągły do Azure Data Lake Storage Gen2.

Wymagania wstępne

• Zasoby Azure Event Hubs muszą być publicznie dostępne, a nie za zaporą lub zabezpieczone w usłudze Azure Virtual Network
• Dane w usłudze Event Hubs muszą być serializowane w formacie JSON, CSV lub Avro.

Opracowywanie zadania usługi Stream Analytics w celu filtrowania i pozyskiwania danych w czasie rzeczywistym

1. W Azure Portal znajdź i wybierz wystąpienie Azure Event Hubs.

2. Wybierz pozycję Funkcje>Przetwarzanie danych , a następnie wybierz pozycję Rozpocznij na karcie Filtr i pozyskiwanie do usługi ADLS Gen2 .
   

3. Wprowadź nazwę zadania usługi Stream Analytics, a następnie wybierz pozycję Utwórz.
   

4. Określ typ serializacji danych w oknie usługi Event Hubs i metodę uwierzytelniania , która będzie używana do nawiązywania połączenia z usługą Event Hubs. Następnie wybierz pozycję Połącz.
   

5. Jeśli połączenie zostało nawiązane pomyślnie i masz strumienie danych przepływające do wystąpienia usługi Event Hubs, natychmiast zobaczysz dwie elementy:

   1. Pola, które znajdują się w danych wejściowych. Możesz wybrać pozycję Dodaj pole lub wybrać trzy symbol kropki obok każdego pola, aby usunąć, zmienić nazwę lub zmienić jego typ.
      
   2. Przykład danych przychodzących w tabeli Podgląd danych w widoku diagramu. Automatycznie odświeża się okresowo. Możesz wybrać pozycję Wstrzymaj podgląd przesyłania strumieniowego , aby wyświetlić statyczny widok przykładowych danych wejściowych.
      

6. Wybierz kafelek Filtr . W obszarze Filtr wybierz pole, aby filtrować dane przychodzące z warunkiem.
   

7. Wybierz kafelek Azure Data Lake Storage Gen2. Wybierz konto usługi Azure Data Lake Gen2 , aby wysłać przefiltrowane dane:

   1. Wybierz subskrypcję, nazwę konta magazynu i kontener z menu rozwijanego.
   2. Po wybraniu subskrypcji należy automatycznie wypełnić metodę uwierzytelniania i klucz konta magazynu . Wybierz pozycję Połącz.
      Aby uzyskać więcej informacji na temat pól i zapoznać się z przykładami wzorca ścieżki, zobacz Blob Storage i Azure Data Lake Gen2 dane wyjściowe z usługi Azure Stream Analytics.
      

8. Opcjonalnie wybierz pozycję Pobierz statyczną wersję zapoznawcza/Odśwież podgląd statyczny, aby wyświetlić podgląd danych pozyskany z Azure Data Lake Storage Gen2.
   

9. Wybierz pozycję Zapisz , a następnie wybierz pozycję Uruchom zadanie usługi Stream Analytics.
   

10. Aby uruchomić zadanie, określ liczbę jednostek przesyłania strumieniowego (SU), z którymi jest uruchamiane zadanie. Jednostki SU reprezentują ilość zasobów obliczeniowych i pamięci przydzielonych do zadania. Zalecamy rozpoczęcie od trzech, a następnie dostosowanie zgodnie z potrzebami.

11. Po wybraniu pozycji Uruchom zadanie zostanie uruchomione w ciągu dwóch minut, a metryki zostaną otwarte w sekcji tabulacji poniżej.

    

    Zadanie można wyświetlić w sekcji Przetwarzanie danych na karcie Zadania usługi Stream Analytics . Wybierz pozycję Odśwież , dopóki stan zadania nie zostanie wyświetlony jako Uruchomione. Wybierz pozycję Otwórz metryki , aby monitorować je lub zatrzymywać i uruchamiać je ponownie zgodnie z potrzebami.

    

    Oto przykładowa strona Metryki :

    

Weryfikowanie danych w Data Lake Storage

1. Powinny zostać wyświetlone pliki utworzone w określonym kontenerze.

   

2. Pobierz i otwórz plik, aby potwierdzić, że są widoczne tylko odfiltrowane dane. W poniższym przykładzie zobaczysz dane z wartością SwitchNum ustawioną na stany USA.

   {"RecordType":"MO","SystemIdentity":"d0","FileNum":"548","SwitchNum":"US","CallingNum":"345697969","CallingIMSI":"466921402416657","CalledNum":"012332886","CalledIMSI":"466923101048691","DateS":"20220524","TimeType":0,"CallPeriod":0,"ServiceType":"S","Transfer":0,"OutgoingTrunk":"419","MSRN":"1416960750071","callrecTime":"2022-05-25T02:07:10Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:09.5140000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
   {"RecordType":"MO","SystemIdentity":"d0","FileNum":"552","SwitchNum":"US","CallingNum":"012351287","CallingIMSI":"262021390056324","CalledNum":"012301973","CalledIMSI":"466922202613463","DateS":"20220524","TimeType":3,"CallPeriod":0,"ServiceType":"V","Transfer":0,"OutgoingTrunk":"442","MSRN":"886932428242","callrecTime":"2022-05-25T02:07:13Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:12.7350000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
   {"RecordType":"MO","SystemIdentity":"d0","FileNum":"559","SwitchNum":"US","CallingNum":"456757102","CallingIMSI":"466920401237309","CalledNum":"345617823","CalledIMSI":"466923000886460","DateS":"20220524","TimeType":1,"CallPeriod":696,"ServiceType":"V","Transfer":1,"OutgoingTrunk":"419","MSRN":"886932429155","callrecTime":"2022-05-25T02:07:22Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:21.9190000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
   

Następne kroki

Dowiedz się więcej o usłudze Azure Stream Analytics i sposobie monitorowania utworzonego zadania.

• Wprowadzenie do usługi Azure Stream Analytics
• Monitorowanie zadania usługi Stream Analytics za pomocą Azure Portal