Dela via

Materialisera data i Azure Cosmos DB med Stream Analytics utan kodredigerare

  • Artikel

Den här artikeln beskriver hur du kan använda redigeringsprogrammet utan kod för att enkelt skapa ett Stream Analytics-jobb. Jobbet läser kontinuerligt från dina Event Hubs och utför aggregeringar som antal, summa och medelvärde. Du väljer fält att gruppera efter över ett tidsfönster och sedan skriver jobbet resultatet kontinuerligt till Azure Cosmos DB.

Förutsättningar

  • Dina Azure Event Hubs- och Azure Cosmos DB-resurser måste vara offentligt tillgängliga och kan inte finnas bakom en brandvägg eller skyddas i ett virtuellt Azure-nätverk.
  • Data i dina Event Hubs måste serialiseras i antingen JSON-, CSV- eller Avro-format.

Utveckla ett Stream Analytics-jobb

Använd följande steg för att utveckla ett Stream Analytics-jobb för att materialisera data i Azure Cosmos DB.

  1. Leta upp och välj din Azure Event Hubs-instans i Azure-portalen.
  2. Under Funktioner väljer du Bearbeta data. Välj sedan Starta på kortet materialisera data i Azure Cosmos DB.
    Skärmbild som visar Start Materialize Data Flow.
  3. Ange ett namn för jobbet och välj Skapa.
  4. Ange serialiseringstypen för dina data i händelsehubben och den autentiseringsmetod som jobbet ska använda för att ansluta till Händelsehubbar. Välj sedan Anslut.
  5. Om anslutningen lyckas och du har dataströmmar som flödar till din Event Hubs-instans ser du omedelbart två saker:
    • Fält som finns i indatanyttolasten. Välj symbolen med tre punkter bredvid ett fält om du vill ta bort, byta namn på eller ändra datatypen för fältet.
      Skärmbild som visar fälten för händelsehubben med indata som du kan granska.
    • Ett exempel på dina indata i det nedre fönstret under Förhandsversion av data som uppdateras automatiskt med jämna mellanrum. Du kan välja Pausa förhandsversionen av direktuppspelning om du föredrar att ha en statisk vy över dina exempeldata.
      Skärmbild som visar exempel på indata.
  6. I nästa steg anger du fältet och den mängd som du vill beräkna, till exempel Medelvärde och Antal. Du kan också ange det fält som du vill gruppera efter tillsammans med tidsfönstret. Sedan kan du verifiera resultatet av steget i avsnittet Dataförhandsgranskning .
    Skärmbild som visar området Gruppera efter.
  7. Välj den Cosmos DB-databas och container där du vill att resultatet ska skrivas.
  8. Starta Stream Analytics-jobbet genom att välja Starta.
    Skärmbild som visar din definition där du väljer Start.
    Om du vill starta jobbet måste du ange:
    • Antalet strömningsenheter (SU) som jobbet körs med. SUs representerar mängden beräkning och minne som allokerats till jobbet. Vi rekommenderar att du börjar med tre och justerar efter behov.
    • Med hantering av utdatafel kan du ange vilket beteende du vill ha när ett jobbs utdata till målet misslyckas på grund av datafel. Jobbet försöker som standard igen tills skrivåtgärden har slutförts. Du kan också välja att ta bort utdatahändelser.
  9. När du har valt Start börjar jobbet köras inom två minuter. Visa jobbet under avsnittet Processdata på fliken Stream Analytics-jobb. Du kan utforska jobbmått och stoppa och starta om det efter behov.

Överväganden vid användning av geo-replikeringsfunktionen i Event Hubs

Azure Event Hubs lanserade nyligen geo-replikeringsfunktionen i offentlig förhandsversion. Den här funktionen skiljer sig från geo-haveriberedskapsfunktionen i Azure Event Hubs.

När redundanstypen är Tvingad och replikeringskonsekvensen är asynkron garanterar Stream Analytics-jobbet inte exakt en gång utdata till en Azure Event Hubs-utdata.

Azure Stream Analytics, som producent med en händelsehubb som utdata, kan observera vattenstämpelfördröjning på jobbet under redundansväxlingen och under begränsningen av Event Hubs om replikeringsfördröjningen mellan primär och sekundär når den maximala konfigurerade fördröjningen.

Azure Stream Analytics, som konsument med Event Hubs som indata, kan observera vattenstämpelfördröjning på jobbet under redundansväxlingen och kan hoppa över data eller hitta duplicerade data när redundansväxlingen är klar.

På grund av dessa varningar rekommenderar vi att du startar om Stream Analytics-jobbet med lämplig starttid direkt efter att Event Hubs-redundansväxlingen har slutförts. Eftersom Geo-replikeringsfunktionen i Event Hubs är en offentlig förhandsversion rekommenderar vi inte heller att du använder det här mönstret för stream analytics-produktionsjobb just nu. Det aktuella Stream Analytics-beteendet förbättras innan funktionen Event Hubs Geo-replikering är allmänt tillgänglig och kan användas i Stream Analytics-produktionsjobb.

Nästa steg

Nu vet du hur du använder Stream Analytics utan kodredigerare för att utveckla ett jobb som läser från Event Hubs och beräknar aggregeringar som antal, medelvärden och skriver det till din Azure Cosmos DB-resurs.