Apache Spark-configuratie beheren
In deze zelfstudie leert u hoe u een Apache Spark-configuratie maakt voor uw Synapse Studio. De gemaakte Apache Spark-configuratie kan op een gestandaardiseerde manier worden beheerd en wanneer u Notebook of Apache Spark-taakdefinitie maakt, kan de Apache Spark-configuratie selecteren die u wilt gebruiken met uw Apache Spark-pool. Wanneer u deze selecteert, worden de details van de configuratie weergegeven.
Een Apache Spark-configuratie maken
U kunt aangepaste configuraties maken op basis van verschillende toegangspunten, zoals op de Apache Spark-configuratiepagina van een bestaande Spark-pool.
Aangepaste configuraties maken in Apache Spark-configuraties
Volg de onderstaande stappen om een Apache Spark-configuratie te maken in Synapse Studio.
Selecteer Apache Spark-configuraties beheren>.
Klik op de knop Nieuw om een nieuwe Apache Spark-configuratie te maken of klik op Een lokaal .json-bestand importeren in uw werkruimte.
De pagina Nieuwe Apache Spark-configuratie wordt geopend nadat u op de knop Nieuw hebt geklikt.
Voor Naam kunt u de gewenste en geldige naam invoeren.
Voor Beschrijving kunt u hierin een beschrijving invoeren.
Voor aantekeningen kunt u aantekeningen toevoegen door op de knop Nieuw te klikken en ook bestaande aantekeningen te verwijderen door de knop Verwijderen te selecteren en op De knop Verwijderen te klikken.
Voor configuratie-eigenschappen past u de configuratie aan door op de knop Toevoegen te klikken om eigenschappen toe te voegen. Als u geen eigenschap toevoegt, gebruikt Azure Synapse indien van toepassing de standaardwaarde.
Klik op de knop Doorgaan .
Klik op de knop Maken wanneer de validatie is voltooid.
Alles publiceren
Notitie
De configuratiefunctie Voor het uploaden van Apache Spark is verwijderd, maar Synapse Studio behoudt uw eerder geüploade configuratie.
Een Apache Spark-configuratie maken in al bestaande Apache Spark-pool
Volg de onderstaande stappen om een Apache Spark-configuratie te maken in een bestaande Apache Spark-pool.
Selecteer een bestaande Apache Spark-pool en klik op actie '...' knoop.
Selecteer de Apache Spark-configuratie in de inhoudslijst.
Voor Apache Spark-configuratie kunt u een al gemaakte configuratie selecteren in de vervolgkeuzelijst of op +Nieuw klikken om een nieuwe configuratie te maken.
Als u op +Nieuw klikt, wordt de pagina Apache Spark-configuratie geopend en kunt u een nieuwe configuratie maken door de stappen te volgen in Aangepaste configuraties maken in Apache Spark-configuraties.
Als u een bestaande configuratie selecteert, worden de configuratiegegevens onder aan de pagina weergegeven. U kunt ook op de knop Bewerken klikken om de bestaande configuratie te bewerken.
Klik op Configuraties weergeven om de pagina Een configuratie selecteren te openen. Alle configuraties worden weergegeven op deze pagina. U kunt een configuratie selecteren die u wilt gebruiken voor deze Apache Spark-pool.
Klik op de knop Toepassen om uw actie op te slaan.
Een Apache Spark-configuratie maken in de configuratiesessie van het notebook
Als u een aangepaste Apache Spark-configuratie moet gebruiken bij het maken van een notebook, kunt u deze maken en configureren in de configuratiesessie door de onderstaande stappen te volgen.
Maak een nieuw/open een bestaand notitieblok.
Open de eigenschappen van dit notitieblok.
Klik op Sessie configureren om de pagina Sessie configureren te openen.
Schuif omlaag op de pagina Sessie configureren voor Apache Spark-configuratie, vouw de vervolgkeuzelijst uit. U kunt op de knop Nieuw klikken om een nieuwe configuratie te maken. Als u een bestaande configuratie selecteert, klikt u op het pictogram Bewerken om naar de pagina Apache Spark-configuratie bewerken te gaan om de configuratie te bewerken.
Klik op Configuraties weergeven om de pagina Een configuratie selecteren te openen. Alle configuraties worden weergegeven op deze pagina. U kunt een configuratie selecteren die u wilt gebruiken.
Een Apache Spark-configuratie maken in Apache Spark-taakdefinities
Wanneer u een Spark-taakdefinitie maakt, moet u de Apache Spark-configuratie gebruiken. Deze kan worden gemaakt door de onderstaande stappen te volgen:
Maak een nieuwe/open bestaande Apache Spark-taakdefinities.
Voor de Apache Spark-configuratie kunt u op de knop Nieuw klikken om een nieuwe configuratie te maken. Als u een bestaande configuratie selecteert in de vervolgkeuzelijst, klikt u op het pictogram Bewerken om naar de pagina Apache Spark-configuratie bewerken te gaan om de configuratie te bewerken.
Klik op Configuraties weergeven om de pagina Een configuratie selecteren te openen. Alle configuraties worden weergegeven op deze pagina. U kunt een configuratie selecteren die u wilt gebruiken.
Notitie
Als de Apache Spark-configuratie in de notebook- en Apache Spark-taakdefinitie niets speciaals doet, wordt de standaardconfiguratie gebruikt bij het uitvoeren van de taak.
Een Apache Spark-configuratie importeren en exporteren
U kunt .txt/.conf/.json configuratie in drie indelingen importeren en vervolgens converteren naar artefact en publiceren. En kan ook exporteren naar een van deze drie indelingen.
Importeer .txt/.conf/.json configuratie van lokaal.
Exporteer .txt/.conf/.json-configuratie naar lokaal.
Raadpleeg de volgende voorbeelden voor .txt configuratiebestand en .conf-configuratiebestand:
spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2
Raadpleeg de volgende voorbeelden voor .json configuratiebestand:
{
"configs": {
"spark.synapse.key1": "hello world",
"spark.synapse.key2": "true"
},
"annotations": [
"Sample"
]
}
Notitie
Synapse Studio blijft ondersteuning bieden voor terraform- of bicep-gebaseerde configuratiebestanden.
Volgende stappen
- Gebruik een serverloze Apache Spark-pool in Synapse Studio.
- Voer een Spark-toepassing uit in een notebook.
- Een Apache Spark-taakdefinitie maken in Azure Studio.
- Verzamel logboeken en metrische gegevens van Apache Spark-toepassingen met een Azure Storage-account.
- Logboeken en metrische gegevens van Apache Spark-toepassingen verzamelen met Azure Event Hubs.