Gegevens transformeren door een Spark-taakdefinitieactiviteit uit te voeren
Met de activiteit Spark-taakdefinitie in Data Factory voor Microsoft Fabric kunt u verbindingen maken met uw Spark-taakdefinities en deze uitvoeren vanuit een gegevenspijplijn.
Vereisten
Om aan de slag te gaan, moet u aan de volgende vereisten voldoen:
- Een tenantaccount met een actief abonnement. Gratis een account maken
- Er wordt een werkruimte gemaakt.
Een Spark-taakdefinitieactiviteit toevoegen aan een pijplijn met de gebruikersinterface
Maak een nieuwe gegevenspijplijn in uw werkruimte.
Zoek op de beginschermkaart naar Spark-taakdefinitie en selecteer deze of selecteer de activiteit in de balk Activiteiten om deze toe te voegen aan het pijplijncanvas.
De activiteit maken op basis van de kaart van het startscherm:
De activiteit maken vanuit de activiteitenbalk:
Selecteer de nieuwe Spark-taakdefinitieactiviteit op het canvas van de pijplijneditor als deze nog niet is geselecteerd.
Raadpleeg de richtlijnen voor algemene instellingen voor het configureren van de opties op het tabblad Algemene instellingen .
Activiteitsinstellingen voor Spark-taakdefinitie
Selecteer het tabblad Instellingen in het deelvenster Activiteitseigenschappen en selecteer vervolgens de Infrastructuurwerkruimte die de Spark-taakdefinitie bevat die u wilt uitvoeren.
Bekende beperkingen
De huidige beperkingen in de Spark-taakdefinitieactiviteit voor Fabric Data Factory worden hier vermeld. Deze sectie kan worden gewijzigd.
- Er wordt momenteel geen ondersteuning geboden voor het maken van een nieuwe Spark-taakdefinitieactiviteit binnen de activiteit (onder Instellingen)
- Ondersteuning voor parameterisatie is niet beschikbaar.
- Hoewel we ondersteuning bieden voor het bewaken van de activiteit via het uitvoertabblad, kunt u de Spark-taakdefinitie nog niet op een gedetailleerder niveau bewaken. Koppelingen naar de bewakingspagina, status, duur en eerdere Spark-taakdefinitieuitvoeringen zijn bijvoorbeeld niet rechtstreeks beschikbaar in de Data Factory. U kunt echter gedetailleerdere details bekijken op de bewakingspagina van de Spark-taakdefinitie.
De pijplijn opslaan en uitvoeren of plannen
Nadat u andere activiteiten hebt geconfigureerd die vereist zijn voor uw pijplijn, gaat u naar het tabblad Start boven aan de pijplijneditor en selecteert u de knop Opslaan om uw pijplijn op te slaan. Selecteer Uitvoeren om het rechtstreeks uit te voeren of Plan om deze te plannen. U kunt hier ook de uitvoeringsgeschiedenis bekijken of andere instellingen configureren.
