Filtrera och mata in för att Azure Data Lake Storage Gen2 med Stream Analytics utan kodredigerare
Den här artikeln beskriver hur du kan använda kodredigeraren utan kod för att enkelt skapa ett Stream Analytics-jobb. Den läser kontinuerligt från dina händelsehubbar, filtrerar inkommande data och skriver sedan resultatet kontinuerligt till Azure Data Lake Storage Gen2.
Förutsättningar
- Dina Azure Event Hubs resurser måste vara offentligt tillgängliga och inte vara bakom en brandvägg eller skyddas i en Azure-Virtual Network
- Data i dina Event Hubs måste serialiseras i antingen JSON-, CSV- eller Avro-format.
Utveckla ett Stream Analytics-jobb för att filtrera och mata in realtidsdata
Leta upp och välj instansen Azure Event Hubs i Azure Portal.
Välj Funktioner>Bearbeta data och välj sedan Starta på kortet Filtrera och mata in till ADLS Gen2 .
Ange ett namn för Stream Analytics-jobbet och välj sedan Skapa.
Ange serialiseringstypen för dina data i fönstret Event Hubs och den autentiseringsmetod som jobbet ska använda för att ansluta till händelsehubbarna. Välj Anslut.
Om anslutningen har upprättats och du har dataströmmar som flödar in till Event Hubs-instansen ser du omedelbart två saker:
- Fält som finns i indata. Du kan välja Lägg till fält eller välja symbolen med tre punkter bredvid varje fält för att ta bort, byta namn på eller ändra dess typ.
- Ett live-exempel på inkommande data i tabellen Dataförhandsgranskning under diagramvyn. Den uppdateras automatiskt med jämna mellanrum. Du kan välja Pausa förhandsversionen av direktuppspelning för att se en statisk vy över exempelindata.
- Fält som finns i indata. Du kan välja Lägg till fält eller välja symbolen med tre punkter bredvid varje fält för att ta bort, byta namn på eller ändra dess typ.
Välj filterpanelen . I området Filter väljer du ett fält för att filtrera inkommande data med ett villkor.
Välj panelen Azure Data Lake Storage Gen2. Välj Azure Data Lake Gen2-kontot för att skicka filtrerade data:
- Välj prenumerationen, lagringskontots namn och container på den nedrullningsbara menyn.
- När prenumerationen har valts ska autentiseringsmetoden och lagringskontonyckeln fyllas i automatiskt. Välj Anslut.
Mer information om fälten och exempel på sökvägsmönster finns i Blob Storage och Azure Data Lake Gen2-utdata från Azure Stream Analytics.
Du kan också välja Hämta statisk förhandsgranskning/Uppdatera statisk förhandsversion för att se den dataförhandsgranskning som ska matas in från Azure Data Lake Storage Gen2.
Om du vill starta jobbet anger du antalet enheter för direktuppspelning (SUS) som jobbet körs med. SUs representerar mängden beräkning och minne som allokerats till jobbet. Vi rekommenderar att du börjar med tre och sedan justerar efter behov.
När du har valt Start börjar jobbet köras inom två minuter och måtten öppnas i flikavsnittet nedan.
Du kan se jobbet under avsnittet Processdata på fliken Stream Analytics-jobb . Välj Uppdatera tills jobbstatusen körs. Välj Öppna mått för att övervaka det eller stoppa och starta om det efter behov.
Här är ett exempel på sidan Mått :
Verifiera data i Data Lake Storage
Du bör se filer som skapats i den angivna containern.
Ladda ned och öppna filen för att bekräfta att du bara ser filtrerade data. I följande exempel visas data med SwitchNum inställt på USA.
{"RecordType":"MO","SystemIdentity":"d0","FileNum":"548","SwitchNum":"US","CallingNum":"345697969","CallingIMSI":"466921402416657","CalledNum":"012332886","CalledIMSI":"466923101048691","DateS":"20220524","TimeType":0,"CallPeriod":0,"ServiceType":"S","Transfer":0,"OutgoingTrunk":"419","MSRN":"1416960750071","callrecTime":"2022-05-25T02:07:10Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:09.5140000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null} {"RecordType":"MO","SystemIdentity":"d0","FileNum":"552","SwitchNum":"US","CallingNum":"012351287","CallingIMSI":"262021390056324","CalledNum":"012301973","CalledIMSI":"466922202613463","DateS":"20220524","TimeType":3,"CallPeriod":0,"ServiceType":"V","Transfer":0,"OutgoingTrunk":"442","MSRN":"886932428242","callrecTime":"2022-05-25T02:07:13Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:12.7350000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null} {"RecordType":"MO","SystemIdentity":"d0","FileNum":"559","SwitchNum":"US","CallingNum":"456757102","CallingIMSI":"466920401237309","CalledNum":"345617823","CalledIMSI":"466923000886460","DateS":"20220524","TimeType":1,"CallPeriod":696,"ServiceType":"V","Transfer":1,"OutgoingTrunk":"419","MSRN":"886932429155","callrecTime":"2022-05-25T02:07:22Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:21.9190000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
Nästa steg
Läs mer om Azure Stream Analytics och hur du övervakar jobbet du har skapat.
Feedback
https://aka.ms/ContentUserFeedback.
Kommer snart: Under hela 2024 kommer vi att fasa ut GitHub-problem som feedbackmekanism för innehåll och ersätta det med ett nytt feedbacksystem. Mer information finns i:Skicka och visa feedback för