Apache Spark-configuratie beheren

Artikel
04/19/2023

In deze zelfstudie leert u hoe u een Apache Spark-configuratie maakt voor uw Synapse Studio. De gemaakte Apache Spark-configuratie kan op een gestandaardiseerde manier worden beheerd en wanneer u een notebook of Apache Spark-taakdefinitie maakt, kunt u de Apache Spark-configuratie selecteren die u wilt gebruiken met uw Apache Spark-pool. Wanneer u deze selecteert, worden de details van de configuratie weergegeven.

Een Apache Spark-configuratie maken

U kunt aangepaste configuraties maken vanaf verschillende toegangspunten, zoals op de Apache Spark-configuratiepagina van een bestaande Spark-pool.

Aangepaste configuraties maken in Apache Spark-configuraties

Volg de onderstaande stappen om een Apache Spark-configuratie te maken in Synapse Studio.

SelecteerApache Spark-configuraties beheren>.
Klik op de knop Nieuw om een nieuwe Apache Spark-configuratie te maken of klik op Een lokaal JSON-bestand importeren in uw werkruimte.
De nieuwe Apache Spark-configuratiepagina wordt geopend nadat u op de knop Nieuw hebt geklikt.
Bij Naam kunt u uw voorkeursnaam en geldige naam invoeren.
Bij Beschrijving kunt u een beschrijving invoeren.
Voor Aantekeningen kunt u aantekeningen toevoegen door op de knop Nieuw te klikken. U kunt ook bestaande aantekeningen verwijderen door de knop Verwijderen te selecteren en te klikken.
Pas voor Configuratie-eigenschappen de configuratie aan door op de knop Toevoegen te klikken om eigenschappen toe te voegen. Als u geen eigenschap toevoegt, gebruikt Azure Synapse indien van toepassing de standaardwaarde.
Klik op de knop Doorgaan .
Klik op de knop Maken wanneer de validatie is voltooid.
Alles publiceren

Notitie

De configuratiefunctie voor Het uploaden van Apache Spark is verwijderd, maar Synapse Studio blijft de eerder geüploade configuratie behouden.

Een Apache Spark-configuratie maken in een bestaande Apache Spark-pool

Volg de onderstaande stappen om een Apache Spark-configuratie te maken in een bestaande Apache Spark-pool.

Selecteer een bestaande Apache Spark-pool en klik op de actie '...' Knop.
Selecteer de Apache Spark-configuratie in de inhoudslijst.
Voor Apache Spark-configuratie kunt u een al gemaakte configuratie selecteren in de vervolgkeuzelijst of op +Nieuw klikken om een nieuwe configuratie te maken.
- Als u op +Nieuw klikt, wordt de pagina Apache Spark-configuratie geopend en kunt u een nieuwe configuratie maken door de stappen te volgen in Aangepaste configuraties maken in Apache Spark-configuraties.
- Als u een bestaande configuratie selecteert, worden de configuratiedetails onderaan de pagina weergegeven. U kunt ook op de knop Bewerken klikken om de bestaande configuratie te bewerken.
Klik op Configuraties weergeven om de pagina Een configuratie selecteren te openen. Alle configuraties worden op deze pagina weergegeven. U kunt een configuratie selecteren die u wilt gebruiken voor deze Apache Spark-pool.
Klik op de knop Toepassen om de actie op te slaan.

Een Apache Spark-configuratie maken in de configuratiesessie van het notebook

Als u een aangepaste Apache Spark-configuratie wilt gebruiken bij het maken van een notebook, kunt u deze maken en configureren in de configuratiesessie door de onderstaande stappen uit te voeren.

Maak een nieuw/Open een bestaand notitieblok.
Open de Eigenschappen van dit notitieblok.
Klik op Sessie configureren om de pagina Sessie configureren te openen.
Schuif omlaag op de pagina Sessie configureren. Vouw voor Apache Spark-configuratie de vervolgkeuzelijst uit. U kunt op de knop Nieuw klikken om een nieuwe configuratie te maken. Als u een bestaande configuratie selecteert, klikt u op het pictogram Bewerken om naar de pagina Apache Spark-configuratie bewerken te gaan om de configuratie te bewerken.
Klik op Configuraties weergeven om de pagina Een configuratie selecteren te openen. Alle configuraties worden op deze pagina weergegeven. U kunt een configuratie selecteren die u wilt gebruiken.

Een Apache Spark-configuratie maken in Apache Spark-taakdefinities

Wanneer u een Spark-taakdefinitie maakt, moet u de Apache Spark-configuratie gebruiken. Deze configuratie kan worden gemaakt door de onderstaande stappen uit te voeren:

Maak een nieuwe/Open bestaande Apache Spark-taakdefinities.
Voor Apache Spark-configuratie kunt u op de knop Nieuw klikken om een nieuwe configuratie te maken. Of selecteer een bestaande configuratie in de vervolgkeuzelijst. Als u een bestaande configuratie selecteert, klikt u op het pictogram Bewerken om naar de pagina Apache Spark-configuratie bewerken te gaan om de configuratie te bewerken.
Klik op Configuraties weergeven om de pagina Een configuratie selecteren te openen. Alle configuraties worden op deze pagina weergegeven. U kunt een configuratie selecteren die u wilt gebruiken.

Notitie

Als de Apache Spark-configuratie in de taakdefinitie notebook en Apache Spark niets speciaals doet, wordt de standaardconfiguratie gebruikt bij het uitvoeren van de taak.

Een Apache Spark-configuratie importeren en exporteren

U kunt .txt/.conf/.json-configuratie in drie indelingen importeren en deze vervolgens converteren naar artefact en publiceren. En kan ook exporteren naar een van deze drie indelingen.

Importeer .txt/.conf/.json-configuratie van lokaal.
Exporteer .txt/.conf/.json-configuratie naar lokaal.

Voor .txt configuratiebestand en .conf-configuratiebestand kunt u de volgende voorbeelden raadplegen:


spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

Voor het .json-configuratiebestand kunt u de volgende voorbeelden raadplegen:

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}