Zelfstudie: Frauduleuze gegevens van telefoongesprekken analyseren met Stream Analytics en resultaten visualiseren in Power BI-dashboard

In deze zelfstudie leert u hoe u telefoongesprekken kunt analyseren met Azure Stream Analytics. De gegevens van het telefoongesprek, gegenereerd door een clienttoepassing, bevatten frauduleuze oproepen die worden gedetecteerd door de Stream Analytics-taak. U kunt de technieken in deze zelfstudie gebruiken voor andere soorten fraudedetectie, zoals creditcardfraude of identiteitsdiefstal.

In deze zelfstudie leert u het volgende:

• Gegevens van een voorbeeld van een telefoongesprek genereren en deze verzenden naar Azure Event Hubs.
• Een Stream Analytics-taak maken.
• Taakinvoer en -uitvoer configureren.
• Query's definiëren om frauduleuze gesprekken eruit te filteren.
• De taak testen en starten.
• Resultaten visualiseren in Power BI.

Vereisten

Voordat u begint, moet u de volgende stappen hebben voltooid:

• Als u geen Azure-abonnement hebt, maakt u een gratis account.
• Download de app voor het genereren van telefoongesprekken,TelcoGenerator.zip uit het Microsoft Downloadcentrum of haal de broncode op uit GitHub.
• U hebt een Power BI-account nodig.

Aanmelden bij Azure

Meld u aan bij de Azure-portal.

Een Event Hub maken

U moet enkele voorbeeldgegevens naar een Event Hub verzenden voordat Stream Analytics de gegevensstroom voor frauduleuze gesprekken kan analyseren. In deze zelfstudie verzendt u gegevens naar Azure met behulp van Azure Event Hubs.

Gebruik de volgende stappen om een Event Hub te maken en oproepgegevens naar die Event Hub te verzenden:

1. Meld u aan bij de Azure-portal.

2. Selecteer Een resource maken>Internet of Things>Event Hubs. Selecteer Maken op de pagina Event Hubs.

   

   Als u Event Hubs niet ziet op de pagina Internet of Things , typt u Event Hubs in het zoekvak en selecteert u event hubs in de resultaten. Selecteer vervolgens Event Hubs op de pagina Marketplace .

3. Voer op de pagina Naamruimte maken de volgende stappen uit:

   1. Selecteer een Azure-abonnement waarin u de Event Hub wilt maken.

   2. Selecteer bij Resourcegroepde optie Nieuwe maken en voer een naam in voor de resourcegroep. De Event Hubs-naamruimte wordt gemaakt in deze resourcegroep.

   3. Voer bij Naamruimtenaam een unieke naam in voor de Event Hubs-naamruimte.

   4. Selecteer bij Locatie de regio waarin u de naamruimte wilt maken.

   5. Bij Prijscategorie selecteert u Standard.

   6. Selecteer Controleren en maken onderaan de pagina.

      

   7. Selecteer op de pagina Controleren en maken van de wizard naamruimte maken de optie Maken onderaan de pagina nadat u alle instellingen hebt bekeken.

4. Nadat de naamruimte is geïmplementeerd, selecteert u Ga naar resource om naar de pagina Event Hubs-naamruimte te navigeren.

5. Selecteer op de pagina Event Hubs-naamruimtede optie +Event Hub op de opdrachtbalk.

   

6. Voer op de pagina Event Hub maken een naam in voor de Event Hub. Stel Aantal partities in op 2. Gebruik de standaardopties in de overige instellingen en selecteer Beoordelen en maken.

   

7. Selecteer op de pagina Controleren en maken de optie Maken onderaan de pagina. Wacht tot de implementatie is voltooid.

Toegang verlenen tot de event hub en een verbindingsreeks ophalen

Voordat een toepassing gegevens naar Azure Event Hubs kan verzenden, moet de event hub een beleid hebben waarmee toegang wordt verleend. Het toegangsbeleid genereert een verbindingsreeks die autorisatiegegevens bevat.

1. Selecteer in de Event Hubs-naamruimteEvent Hubs onder Entiteiten in het menu links en selecteer vervolgens de Event Hub die u hebt gemaakt.

   

2. Selecteer op de pagina Event Hubs-exemplaarde optie Beleid voor gedeelde toegang onder Instellingen in het menu links en selecteer vervolgens + Toevoegen op de opdrachtbalk.

3. Geef MyPolicy op als Naam, selecteer Beheren en selecteer vervolgens Maken.

   

4. Nadat het beleid is gemaakt, selecteert u de naam van het beleid om het beleid te openen. Zoek Verbindingsreeks - primaire sleutel. Selecteer de knop Kopiëren naast de verbindingsreeks.

   

5. Plak de verbindingsreeks in een teksteditor. U hebt deze verbindingsreeks nodig in de volgende sectie.

   De verbindingsreeks ziet er als volgt uit:

   Endpoint=sb://<Your event hub namespace>.servicebus.windows.net/;SharedAccessKeyName=<Your shared access policy name>;SharedAccessKey=<generated key>;EntityPath=<Your event hub name>

   U ziet dat de verbindingsreeks meerdere sleutel-/waardeparen bevat, gescheiden door puntkomma's: Endpoint, SharedAccessKeyName, SharedAccessKey en EntityPath.

De app voor het genereren van gebeurtenissen starten

Voordat u de app TelcoGenerator start, moet u deze configureren voor het verzenden van gegevens naar de Azure Event Hubs die u eerder hebt gemaakt.

1. Pak de inhoud van het bestand TelcoGenerator.zip uit.

2. Open het TelcoGenerator\TelcoGenerator\telcodatagen.exe.config bestand in een teksteditor van uw keuze Er is meer dan één .config bestand, dus zorg ervoor dat u het juiste bestand opent.

3. Update het <appSettings>-element in het configuratiebestand met de volgende details:

   • Stel de waarde van de EventHubName-sleutel in op de waarde van entitypath aan het einde van de connection string.
   • Stel de waarde van de sleutel Microsoft.ServiceBus.ConnectionString in op de connection string zonder de EntityPath-waarde aan het einde. Vergeet niet de puntkomma te verwijderen die voorafgaat aan de entitypath-waarde.

4. Sla het bestand op.

5. Open vervolgens een opdrachtvenster en ga naar de map waar u de toepassing TelcoGenerator hebt uitgepakt. Voer vervolgens de volgende opdracht in:

   .\telcodatagen.exe 1000 0.2 2
   

   Voor deze opdracht worden de volgende parameters gebruikt:

   • Aantal records met gespreksgegevens per uur.
   • Percentage van fraudekans: hoe vaak de app een frauduleus gesprek moet simuleren. De waarde 0,2 betekent dat ongeveer 20% van de gespreksrecords er frauduleus uitzien.
   • Tijd in uren: het aantal uren dat de app moet worden uitgevoerd. U kunt de app ook op elk gewenst moment stoppen door het proces op de opdrachtregel te beëindigen (met Ctrl+C).

   Na enkele seconden begint de app met het weergeven van telefoongesprekrecords op het scherm wanneer deze naar de event hub worden gestuurd. De telefoongesprekgegevens bevatten de volgende velden:

   Record	Definitie
   CallrecTime	Het tijdstempel voor de begintijd van de oproep.
   SwitchNum	Het schakelnummer van de oproep. In dit voorbeeld zijn de schakelnummers tekenreeksen die staan voor het land/de regio van herkomst (VS, China, UK, Duitsland of Australië).
   CallingNum	Het telefoonnummer van de beller.
   CallingIMSI	De International Mobile Subscriber Identity (IMSI). Dit is een unieke id van de beller.
   CalledNum	Het telefoonnummer van de ontvanger.
   CalledIMSI	De International Mobile Subscriber Identity (IMSI). Dit is een unieke id van de ontvanger.

Een Stream Analytics-taak maken

Nu u een stream van gesprekgebeurtenissen hebt, kunt u een Stream Analytics-taak maken die gegevens uit de event hub leest.

1. Als u een Stream Analytics-taak wilt maken, gaat u naar de Azure-portal.
2. Selecteer Een resource maken en zoek naar Stream Analytics-taak. Selecteer de tegel Stream Analytics-taak en selecteer Maken.
3. Voer op de pagina Nieuwe Stream Analytics-taak de volgende stappen uit:

   1. Selecteer bij Abonnement het abonnement dat de Event Hubs-naamruimte bevat.

   2. Selecteer bij Resourcegroep de resourcegroep die u eerder hebt gemaakt.

   3. Voer in de sectie Instantiedetails bij Naam een unieke naam in voor de Stream Analytics-taak.

   4. Selecteer bij Regio de regio waarin u de Stream Analytics-taak wilt maken. We raden u aan de taak en de Event Hub in dezelfde regio te plaatsen voor de beste prestaties en zodat u niet betaalt om gegevens tussen regio's over te dragen.

   5. Bij Hostingomgeving< selecteert u Cloud als dit nog niet is geselecteerd. Stream Analytics-taken kunnen worden geïmplementeerd in Cloud of in Edge. Met Cloud kunt u implementeren in Azure Cloud en Met Edge kunt u implementeren op een IoT Edge apparaat.

   6. Selecteer 1 bij Streaming-eenheden. Streaming-eenheden vertegenwoordigen de computerresources die nodig zijn om een taak uit te voeren. Deze waarde is standaard ingesteld op 1. Zie het artikel Streaming-eenheden begrijpen en aanpassen voor meer informatie over het schalen van streaming-eenheden.

   7. Selecteer Controleren en maken onderaan de pagina.

      

4. Controleer de instellingen op de pagina Beoordelen en maken en selecteer vervolgens Maken om de Stream Analytics-taak te maken.
5. Nadat de taak is geïmplementeerd, selecteert u Ga naar resource om naar de stream analytics-taakpagina te gaan.

Taakinvoer configureren

In de volgende stap definieert u een invoerbron voor de taak om gegevens te kunnen lezen met de Event Hub die u in de vorige sectie hebt gemaakt.

1. Selecteer invoer op de pagina Stream Analytics-taak in de sectie Taaktopologie in het linkermenu.

2. Selecteer op de pagina Invoerde optie + Stroominvoer toevoegen en Event Hub.

   

3. Voer op de pagina Event Hub de volgende stappen uit:

   1. Bij Invoeralias voert u CallStream in. Invoeralias is een beschrijvende naam om uw invoer te identificeren. De invoeralias mag alleen alfanumerieke tekens, afbreekstreepjes en onderstrepingstekens bevatten en moet 3 tot 63 tekens lang zijn.

   2. Selecteer bij Abonnement het Azure-abonnement waar u de Event Hub hebt gemaakt. De event hub kan zich in dezelfde of een ander abonnement als de Stream Analytics-taak bevinden.

   3. Selecteer voor Event Hubs-naamruimte de Event Hubs-naamruimte die u in de vorige sectie hebt gemaakt. Alle naamruimten die beschikbaar zijn in uw huidige abonnement, worden weergegeven in de vervolgkeuzelijst.

   4. Selecteer bij Event Hub-naam de Event Hub die u in de vorige sectie hebt gemaakt. Alle event hubs die beschikbaar zijn in de geselecteerde naamruimte, worden weergegeven in de vervolgkeuzelijst.

   5. Houd voor Event Hub-consumentengroep de optie Nieuwe maken geselecteerd, zodat er een nieuwe consumentengroep wordt gemaakt op de Event Hub. U wordt aangeraden voor elke Stream Analytics-taak een afzonderlijke consumentengroep te gebruiken. Als er geen consumentengroep is opgegeven, gebruikt de Stream Analytics-taak de $Default consumentengroep. Wanneer een taak een self-join bevat of meerdere invoergegevens heeft, kunnen sommige invoer later door meer dan één lezer worden gelezen. Deze situatie is van invloed op het aantal lezers in één consumentengroep.

   6. Selecteer voor Verificatiemodusde optie Verbindingsreeks. Het is eenvoudiger om de zelfstudie te testen met deze optie.

   7. Selecteer bij Naam van Event Hub-beleid de optie Bestaande gebruiken en selecteer vervolgens het beleid dat u eerder hebt gemaakt.

   8. Selecteer Opslaan onderaan de pagina.

      

Taakuitvoer configureren

De laatste stap is bedoeld om een uitvoerlocatie te definiëren waar de taak de getransformeerde gegevens naartoe kan schrijven. In deze zelfstudie voert u met behulp van Power BI gegevens uit en maakt u deze zichtbaar.

1. Open Alle resources vanuit Azure Portal en selecteer de Stream Analytics-taak ASATutorial.

2. Selecteer in de sectie Taaktopologie van de Stream Analytics-taak de optie Uitvoer.

3. Selecteer + Toevoegen>Power BI.

4. Vul het uitvoerformulier in met de volgende gegevens:

   Instelling	Voorgestelde waarde
   Uitvoeralias	MyPBIoutput
   Werkruimte Groep	Mijn werkruimte
   Naam van de gegevensset	ASAdataset
   Tabelnaam	ASATable
   Verificatiemodus	Gebruikerstoken

5. Selecteer Autoriseren en volg de aanwijzingen om Power BI te verifiëren.

   

6. Selecteer Opslaan onderaan de Power BI-pagina .

   In deze zelfstudie wordt de verificatiemodus Gebruikerstoken gebruikt. Zie Beheerde identiteit gebruiken om uw Azure Stream Analytics-taak te verifiëren voor Power BI als u Beheerde identiteit wilt gebruiken.

Query's maken om realtime gegevens te transformeren

Op dit moment hebt u een Stream Analytics-taak ingesteld om een binnenkomende gegevensstroom te lezen. De volgende stap is om een query te maken die gegevens in realtime analyseert. De query's maken gebruik van een SQL-achtige taal die sommige extensies bevat die specifiek zijn voor Stream Analytics.

In dit gedeelte van de zelfstudie maakt en test u verschillende query's om een paar manieren te leren waarop u een invoerstroom voor analyse kunt maken.

De query's die u hier maakt, geven alleen de getransformeerde gegevens weer op het scherm. In een later gedeelte schrijft u de getransformeerde gegevens naar Power BI.

Raadpleeg Verwijzing voor Azure Stream Analytics-querytaal voor meer informatie over de taal.

Testen met behulp van een Pass Through-query

Als u elke gebeurtenis wilt archiveren, kunt u een Pass Through-query gebruiken om alle velden in de payload van een gebeurtenis te lezen.

1. Navigeer naar uw Stream Analytics-taak in de Azure Portal en selecteer Query onder Taaktopologie in het menu links.

2. Voer deze query in het queryvenster in:

   SELECT 
       *
   FROM 
       CallStream
   

   Notitie

   Net als bij SQL zijn trefwoorden niet hoofdlettergevoelig en zijn spaties niet van belang.

   In deze query is CallStream de alias die u opgeeft wanneer u de invoer maakt. Als u een andere alias hebt gebruikt, gebruikt u die naam.

3. Selecteer Query testen.

   De Stream Analytics-taal voert de query uit op de voorbeeldgegevens van de invoer en geeft de uitvoer onderaan het scherm weer. De resultaten geven aan dat de Event Hubs en de Streaming Analytics-taak correct zijn geconfigureerd.

   

   Het exacte aantal records dat u ziet, is afhankelijk van hoeveel records in het voorbeeld zijn vastgelegd.

Het aantal velden verminderen met een kolomprojectie

In veel gevallen heeft uw analyse niet alle kolommen van de invoerstroom nodig. U kunt een query gebruiken om een kleinere set geretourneerde velden weer te geven dan in de Pass Through-query.

Voer de volgende query uit en bekijk de uitvoer.

SELECT CallRecTime, SwitchNum, CallingIMSI, CallingNum, CalledNum 
INTO
    [MyPBIoutput]
FROM 
    CallStream

Aantal binnenkomende oproepen per regio: Tumblingvenster met aggregatie

Stel dat u het aantal binnenkomende aanroepen per regio wilt tellen. Wanneer u gegevens streamt en u setfuncties wilt uitvoeren zoals tellen, moet u de stream segmenteren in tijdelijke eenheden, omdat de gegevensstroom effectief oneindig is. U doet dit door een Stream Analytics-vensterfunctie te gebruiken. U kunt vervolgens met de gegevens als eenheid werken in dat venster.

Voor deze transformatie hebt u een reeks tijdelijke vensters nodig die niet overlappen. Elk venster heeft een discrete set gegevens die u kunt groeperen en samenvoegen. Dit type venster wordt Tumblingvenster genoemd. In het Tumblingvenster kunt u een telling krijgen van de binnenkomende aanroepen die gegroepeerd zijn op SwitchNum, wat het land/de regio vertegenwoordigt waar de oproep vandaan komt.

1. Plak de volgende query in de query-editor:

   SELECT 
       System.Timestamp as WindowEnd, SwitchNum, COUNT(*) as CallCount 
   FROM
       CallStream TIMESTAMP BY CallRecTime 
   GROUP BY TUMBLINGWINDOW(s, 5), SwitchNum
   

   Deze query gebruikt het sleutelwoord Timestamp By in de clausule FROM om op te geven welk tijdsstempelveld in de invoerstroom moet worden gebruikt om het Tumblingvenster te definiëren. In dit gedeelte verdeelt het venster de gegevens in segment via het veld CallRecTime in elk record. Als er geen veld is opgegeven, gebruikt de vensterbewerking de tijd dat elke gebeurtenis bij de Event Hub arriveert. Zie 'Aankomsttijd versus toepassingstijd' in Naslaginformatie voor Stream Analytics-querytaal.

   De projectie omvat System.Timestamp, dat een tijdsstempel voor het eind van elk venster retourneert.

   Als u wilt opgeven dat u een Tumblingvenster wilt gebruiken, gebruikt u de functie TUMBLINGWINDOW in het component GROUP BY. In de functie geeft u een tijdseenheid op (van een microseconde tot een dag) en een venstergrootte (hoeveel eenheden). In dit voorbeeld bestaat het tumblingvenster uit intervallen van 5 seconden, zodat u elke 5 seconden aan gesprekken per land/regio wordt geteld.

2. Selecteer Query testen. In de resultaten ziet u dat de tijdstempels onder WindowEnd in stappen van 5 seconden zijn.

SIM-kaartfraude detecteren met een self-join

Voor dit voorbeeld moet u frauduleus gebruik beschouwen als aanroepen die binnen vijf seconden van elkaar van dezelfde gebruiker komen, maar in verschillende locaties. Zo kan dezelfde gebruiker niet op rechtmatige wijze op hetzelfde moment een telefoongesprek vanuit de Verenigde Staten en Australië initiëren.

Als u deze gevallen wilt controleren, kunt u een self-join gebruiken van de streaminggegevens om de stream samen te voegen met zichzelf op basis van de waarde CallRecTime. U kunt vervolgens zoeken naar oproeprecords waarvan de CallingIMSI waarde (het oorspronkelijke nummer) hetzelfde is, maar de SwitchNum waarde (land/regio van oorsprong) niet hetzelfde is.

Wanneer u een join-bewerking voor streaminggegevens gebruikt, moet de join enkele beperkingen bevatten met betrekking tot hoe ver de overeenkomende rijen in tijd kunnen worden gescheiden. Zoals eerder is vermeld, zijn de streaminggegevens in feite oneindig. De tijdslimieten voor de relatie worden opgegeven binnen het component ON van de join met behulp van de functie DATEDIFF. In dit geval is de join gebaseerd op een interval van vijf seconden van aanroepgegevens.

1. Plak de volgende query in de query-editor:

   SELECT System.Timestamp AS WindowEnd, COUNT(*) AS FraudulentCalls
       INTO "MyPBIoutput"
       FROM "CallStream" CS1 TIMESTAMP BY CallRecTime
       JOIN "CallStream" CS2 TIMESTAMP BY CallRecTime
       ON CS1.CallingIMSI = CS2.CallingIMSI
       AND DATEDIFF(ss, CS1, CS2) BETWEEN 1 AND 5
       WHERE CS1.SwitchNum != CS2.SwitchNum
       GROUP BY TumblingWindow(Duration(second, 1))
   

   Deze query is dezelfde als elke SQL-join, behalve voor de functie DATEDIFF in de join. Deze versie van DATEDIFF is specifiek voor Stream Analytics en moet verschijnen in de component ON...BETWEEN. De parameters zijn een tijdseenheid (seconden in dit voorbeeld) en de aliassen van de twee bronnen in de join. Deze functie verschilt van de standaard SQL-functie DATEDIFF .

   De WHERE component bevat de voorwaarde die de frauduleuze aanroep markeert: de oorspronkelijke switches zijn niet hetzelfde.

2. Selecteer Query testen. Controleer de uitvoer en selecteer Query opslaan.

De taak starten en uitvoer visualiseren

1. Als u de taak wilt starten, gaat u naar Overzicht van de taak en selecteert u Starten.

2. Selecteer Nu voor de starttijd van de taakuitvoer en selecteer Starten. U kunt de taakstatus bekijken in de meldingsbalk.

3. Nadat de taak is voltooid, gaat u naar Power BI en meldt u zich aan met uw werk- of schoolaccount. Als de Stream Analytics-query resultaten uitvoert, wordt de gegevensset ASAdataset die u hebt gemaakt, weergegeven onder het tabblad Gegevenssets.

4. Selecteer in de Power BI-werkruimte + Maken om een nieuw dashboard te maken met de naam Frauduleuze gesprekken.

5. Selecteer boven in het venster de optie Bewerken en Tegel toevoegen. Selecteer Aangepaste streaminggegevens en Volgende. Kies ASAdataset onder Uw gegevenssets. Selecteer Kaart in de vervolgkeuzelijst Visualisatietype en voeg frauduleuze gesprekken toe aan Velden. Selecteer Volgende om een naam voor de tegel in te voeren en selecteer vervolgens Toepassen om het bestand te maken.

   

6. Voer nogmaals stap 5 uit met de volgende opties:

   • Selecteer in Type visualisatie de optie Lijndiagram.
   • Voeg een as toe en selecteer windowend.
   • Voeg een waarde toe en selecteer frauduleuze gesprekken.
   • Selecteer bij Tijdvenster voor weergave de laatste 10 minuten.

7. Als beide tegels zijn toegevoegd, moet uw dashboard eruitzien zoals in het onderstaande voorbeeld. Als uw Event Hub-zendtoepassing en de Streaming Analytics-toepassing worden uitgevoerd, wordt uw Power BI-dashboard regelmatig bijgewerkt met nieuw ontvangen gegevens.

   

Uw Power BI-dashboard insluiten in een webtoepassing

Voor dit gedeelte van de zelfstudie maakt u gebruik van een voorbeeld van een ASP.NET-webtoepassing die gemaakt is door het Power BI-team en waarmee u uw dashboard kunt insluiten. Zie het artikel Insluiten met Power BI voor meer informatie over het insluiten van dashboards.

Stel de toepassing in door naar de GitHub-opslagplaats Power BI-Developer-Samples te gaan en volg de instructies in de sectie Gebruiker is eigenaar van gegevens (gebruik de omleidings- en startpagina-URL in de subsectie integrate-web-app). Omdat we het dashboardvoorbeeld gebruiken, gebruikt u de voorbeeldcode integrate-web-app in de GitHub-opslagplaats. Zodra de toepassing in uw browser wordt uitgevoerd, volgt u deze stappen voor het insluiten van het dashboard dat u eerder in de webpagina hebt gemaakt:

1. Selecteer Aanmelden bij Power BI, waarmee de toepassing toegang wordt verleend tot de dashboards in uw Power BI-account.

2. Selecteer de knop Dashboards ophalen, waardoor de dashboards van uw account in een tabel worden weergegeven. Zoek de naam van het dashboard dat u eerder hebt gemaakt, powerbi-embedded-dashboard en kopieer de bijbehorende EmbedUrl.

3. Plak tot slot de EmbedUrl in het bijbehorende tekstveld en selecteer Dashboard insluiten. U kunt nu hetzelfde dashboard zien dat is ingesloten in een webtoepassing.

Volgende stappen

In deze zelfstudie hebt u een eenvoudige Stream Analytics-taak gemaakt, de binnenkomende gegevens geanalyseerd en de resultaten gepresenteerd in een Power BI-dashboard. Ga voor meer informatie over Stream Analytics-taken verder met de volgende zelfstudie:

Azure Functions uitvoeren binnen Stream Analytics-taken