Zelfstudie: Schrijven naar een Delta-tabel die is opgeslagen in Azure Data Lake Storage Gen2 (openbare preview)

  • Artikel

In deze zelfstudie ziet u hoe u een Stream Analytics-taak kunt maken om naar een Delta-tabel te schrijven in Azure Data Lake Storage Gen2. In deze zelfstudie leert u het volgende:

  • Een gebeurtenisgenerator implementeren waarmee voorbeeldgegevens naar uw Event Hub worden verzonden
  • Een Stream Analytics-taak maken
  • Azure Data Lake Storage Gen2 configureren met een deltatabel
  • Voer de Stream Analytics-taak uit

Vereisten

Voer de volgende stappen uit voordat u begint:

  • Als u nog geen Azure-abonnement hebt, maakt u een gratis account.
  • Implementeer de TollApp-gebeurtenisgenerator in Azure. Gebruik deze koppeling om een TollApp Azure-sjabloon te implementeren. Stel de parameter interval in op 1. Maak en gebruik een nieuwe resourcegroep voor deze stap.
  • Maak een Data Lake Storage Gen2-account.

Een Stream Analytics-taak maken

  1. Meld u aan bij de Azure-portal.

  2. Selecteer Alle services in het linkermenu.

  3. Beweeg de muis over Stream Analytics-taken in de sectie Analytics en selecteer + (plus).

    Screenshot that shows the selection of Stream Analytics jobs in the All services page.

  4. Selecteer in de linkerbovenhoek van Azure Portal Een resource maken.

  5. Selecteer Analytics>Stream Analytics job in de lijst met resultaten.

  6. Voer op de pagina Nieuwe Stream Analytics-taak de volgende stappen uit:

    1. Selecteer bij Abonnement uw Azure-abonnement.
    2. Voor de resourcegroep selecteert u dezelfde resource die u eerder hebt gebruikt in de TollApp-implementatie.
    3. Voer bij Naam een naam in voor de taak. De naam van een Stream Analytics-taak mag alleen alfanumerieke tekens, afbreekstreepjes en onderstrepingstekens bevatten en moet tussen de 3 en 63 tekens lang zijn.
    4. Voor de hostingomgeving controleert u of Cloud is geselecteerd.
    5. Selecteer 1 voor Stream-eenheden. Streaming-eenheden vertegenwoordigen de computerresources die nodig zijn om een taak uit te voeren. Zie het artikel Streaming-eenheden begrijpen en aanpassen voor meer informatie over het schalen van streaming-eenheden.

    Screenshot that shows the Create Stream Analytics job page.

  7. Selecteer Controleren en maken onderaan de pagina.

  8. Controleer de instellingen op de pagina Beoordelen en maken en selecteer Maken om een Stream Analytics-pagina te maken.

  9. Selecteer op de implementatiepagina Naar de resource gaan om naar de pagina Stream Analytics-taak te navigeren.

Taakinvoer configureren

De volgende stap is het definiëren van een invoerbron voor de taak voor het lezen van gegevens met behulp van de Event Hub die is gemaakt in de TollApp-implementatie.

  1. Zoek de Stream Analytics-taak die u in de vorige sectie hebt gemaakt.

  2. Selecteer in de sectie Taaktopologie van de Stream Analytics-taak de optie Invoer.

  3. Selecteer + Invoer toevoegen en Event Hub.

    Screenshot that shows the Inputs page.

  4. Vul het invoerformulier in met de volgende waarden die zijn gemaakt via de TollApp Azure-sjabloon:

    1. Voer voor invoeralias entrystream in.

    2. Kies Event Hub selecteren in uw abonnementen.

    3. Selecteer bij Abonnement uw Azure-abonnement.

    4. Selecteer voor de Event Hub-naamruimte de Event Hub-naamruimte die u in de vorige sectie hebt gemaakt.

    5. Gebruik standaardopties voor de resterende instellingen en selecteer Opslaan.

      Screenshot that shows the selection of the input event hub.

Taakuitvoer configureren

De volgende stap is het definiëren van een uitvoersink waarnaar de taak gegevens kan schrijven. In deze zelfstudie schrijft u uitvoer naar een Delta-tabel in Azure Data Lake Storage Gen2.

  1. Selecteer in de sectie Taaktopologie van de Stream Analytics-taak de optie Uitvoer.

  2. Selecteer + Uitvoerblobopslag>/ADLS Gen2 toevoegen.

    Screenshot that shows the Outputs page.

  3. Vul de volgende gegevens in het uitvoerformulier in en selecteer Opslaan:

    1. Voer voor uitvoeralias DeltaOutput in.

    2. Kies Blob Storage/ADLS Gen2 selecteren in uw abonnementen.

    3. Selecteer bij Abonnement uw Azure-abonnement.

    4. Kies voor opslagaccount het ADLS Gen2-account (het account dat begint met tollapp) die u hebt gemaakt.

    5. Voor de container selecteert u Nieuwe maken en geeft u een unieke containernaam op.

    6. Selecteer Delta Lake (preview) voor de serialisatie-indeling van gebeurtenissen. Hoewel Delta Lake hier wordt vermeld als een van de opties, is het geen gegevensindeling. Delta Lake maakt gebruik van parquet-bestanden met versiebeheer om uw gegevens op te slaan. Meer informatie over Delta Lake.

    7. Voer voor het Delta-tabelpad de map/deltatabel van de zelfstudie in.

    8. Gebruik standaardopties voor de resterende instellingen en selecteer Opslaan.

      Screenshot that shows configuration of the output.

Query's maken

Op dit moment hebt u een Stream Analytics-taak ingesteld om een binnenkomende gegevensstroom te lezen. De volgende stap is om een query te maken die gegevens in realtime analyseert. De query's maken gebruik van een SQL-achtige taal die sommige extensies bevat die specifiek zijn voor Stream Analytics.

  1. Selecteer nu Query onder Taaktopologie in het linkermenu.

  2. Voer de volgende query in het queryvenster in. In dit voorbeeld leest de query de gegevens uit Event Hubs en kopieert de geselecteerde waarden naar een Delta-tabel in ADLS Gen2.

     SELECT State, CarModel.Make, TollAmount
 INTO DeltaOutput
 FROM EntryStream TIMESTAMP BY EntryTime

  3. Selecteer De query Opslaan op de werkbalk.

    Screenshot that shows query for the job.

Stream Analytics-taak starten en uitvoer controleren

  1. Ga terug naar de overzichtspagina van de taak in Azure Portal en selecteer Start.

    Screenshot that shows the selection of Start job button on the Overview page.

  2. Controleer op de pagina Starttaak of Nu is geselecteerd voor begintijd van taakuitvoer en selecteer vervolgens Starten onderaan de pagina.

    Screenshot that shows the selection of Start job page.

  3. Zoek na enkele minuten in de portal het opslagaccount en de container die u hebt geconfigureerd als uitvoer voor de taak. U kunt nu de deltatabel zien in de map die is opgegeven in de container. Het duurt enkele minuten voordat de taak voor het eerst wordt gestart. Nadat deze is gestart, blijft deze worden uitgevoerd wanneer de gegevens binnenkomen.

    Screenshot that shows output data files in the container.

Resources opschonen

Wanneer u een resourcegroep niet meer nodig hebt, verwijdert u de resourcegroep, de Stream Analytics-taak en alle gerelateerde resources. Door de taak te verwijderen, voorkomt u dat de streaming-eenheden die door de taak worden verbruikt, in rekening worden gebracht. Als u denkt dat u de taak in de toekomst nog gaat gebruiken, kunt u deze stoppen en later opnieuw starten wanneer dat nodig is. Als u deze taak niet wilt blijven gebruiken, verwijdert u alle resources die in deze zelfstudie zijn gemaakt door de volgende stappen:

  1. Selecteer in het menu aan de linkerkant in Azure Portal de optie Resourcegroepen en selecteer vervolgens de resource die u hebt gemaakt.
  2. Selecteer op de pagina van uw resourcegroep de optie Verwijderen, typ de naam van de resource die u wilt verwijderen in het tekstvak en selecteer vervolgens Verwijderen.

Volgende stappen

In deze zelfstudie hebt u een eenvoudige Stream Analytics-taak gemaakt, de binnenkomende gegevens gefilterd en resultaten geschreven in een Delta-tabel in een ADLS Gen2-account. Meer informatie over Stream Analytics-taken:

ASA schrijft naar Delta Lake-uitvoer