Gestire la configurazione di Apache Spark

In questa esercitazione si apprenderà come creare una configurazione di Apache Spark per lo studio synapse. La configurazione di Apache Spark creata può essere gestita in modo standard e quando si crea notebook o la definizione del processo Apache Spark può selezionare la configurazione di Apache Spark che si vuole usare con il pool apache Spark. Quando lo si seleziona, vengono visualizzati i dettagli della configurazione.

Creare una configurazione di Apache Spark

È possibile creare configurazioni personalizzate da punti di ingresso diversi, ad esempio dalla pagina di configurazione di Apache Spark di un pool spark esistente.

Creare configurazioni personalizzate nelle configurazioni di Apache Spark

Seguire la procedura seguente per creare una configurazione apache Spark in Synapse Studio.

1. Selezionare Gestisci>configurazioni di Apache Spark.

2. Fare clic sul pulsante Nuovo per creare una nuova configurazione di Apache Spark oppure fare clic su Importa un file con estensione json locale nell'area di lavoro.

3. La nuova pagina di configurazione di Apache Spark verrà aperta dopo aver fatto clic sul pulsante Nuovo .

4. Per Nome è possibile immettere il nome preferito e valido.

5. Per Descrizione, è possibile immettere una descrizione in esso.

6. Per le annotazioni, è possibile aggiungere annotazioni facendo clic sul pulsante Nuovo ed è anche possibile eliminare le annotazioni esistenti selezionando e facendo clic sul pulsante Elimina.

7. Per le proprietà di configurazione, personalizzare la configurazione facendo clic sul pulsante Aggiungi per aggiungere proprietà. Se non si aggiunge una proprietà, Azure Synapse userà il valore predefinito quando applicabile.

   

8. Fare clic sul pulsante Continua .

9. Fare clic sul pulsante Crea al termine della convalida.

10. Pubblica tutti

Nota

È stata rimossa la funzionalità di configurazione di Apache Spark, ma Synapse Studio manterrà la configurazione caricata in precedenza.

Creare una configurazione apache Spark nel pool Apache Spark già esistente

Seguire questa procedura per creare una configurazione di Apache Spark in un pool Apache Spark esistente.

1. Selezionare un pool Apache Spark esistente e fare clic sull'azione "..." Pulsante.

2. Selezionare la configurazione di Apache Spark nell'elenco di contenuto.

   

3. Per la configurazione di Apache Spark, è possibile selezionare una configurazione già creata dall'elenco a discesa oppure fare clic su +Nuovo per creare una nuova configurazione.

   • Se si fa clic su +Nuovo, verrà aperta la pagina Configurazione di Apache Spark e sarà possibile creare una nuova configurazione seguendo la procedura descritta in Creare configurazioni personalizzate nelle configurazioni di Apache Spark.

   • Se si seleziona una configurazione esistente, i dettagli di configurazione verranno visualizzati nella parte inferiore della pagina, è anche possibile fare clic sul pulsante Modifica per modificare la configurazione esistente.

     

4. Fare clic su Visualizza configurazioni per aprire la pagina Seleziona una configurazione . Tutte le configurazioni verranno visualizzate in questa pagina. È possibile selezionare una configurazione che si vuole usare in questo pool di Apache Spark.

   

5. Fare clic sul pulsante Applica per salvare l'azione.

Creare una configurazione di Apache Spark nella sessione di configurazione del notebook

Se è necessario usare una configurazione Apache Spark personalizzata durante la creazione di un notebook, è possibile crearla e configurarla nella sessione di configurazione seguendo la procedura seguente.

1. Creare un nuovo/apri un notebook esistente.

2. Aprire le proprietà di questo notebook.

3. Fare clic su Configura sessione per aprire la pagina Configura sessione .

4. Scorrere verso il basso la pagina configura sessione, per la configurazione di Apache Spark, espandere il menu a discesa, è possibile fare clic sul pulsante Nuovo per creare una nuova configurazione. In alternativa, selezionare una configurazione esistente, se si seleziona una configurazione esistente, fare clic sull'icona Modifica per passare alla pagina Modifica configurazione di Apache Spark per modificare la configurazione.

5. Fare clic su Visualizza configurazioni per aprire la pagina Seleziona una configurazione . Tutte le configurazioni verranno visualizzate in questa pagina. È possibile selezionare una configurazione da usare.

   

Creare una configurazione apache Spark nelle definizioni dei processi di Apache Spark

Quando si crea una definizione di processo Spark, è necessario usare la configurazione di Apache Spark, che può essere creata seguendo la procedura seguente:

1. Creare una nuova/Apri una definizione di processo Apache Spark esistente.

2. Per la configurazione di Apache Spark, è possibile fare clic sul pulsante Nuovo per creare una nuova configurazione. In alternativa, selezionare una configurazione esistente nel menu a discesa, se si seleziona una configurazione esistente, fare clic sull'icona Modifica per passare alla pagina Modifica configurazione di Apache Spark per modificare la configurazione.

3. Fare clic su Visualizza configurazioni per aprire la pagina Seleziona una configurazione . Tutte le configurazioni verranno visualizzate in questa pagina. È possibile selezionare una configurazione da usare.

   

Nota

Se la configurazione di Apache Spark nella definizione del processo Notebook e Apache Spark non esegue alcuna operazione speciale, la configurazione predefinita verrà usata durante l'esecuzione del processo.

Importare ed esportare una configurazione di Apache Spark

È possibile importare .txt/.conf/.json config in tre formati e quindi convertirlo in artefatto e pubblicarlo. E può anche esportare in uno di questi tre formati.

• Importare .txtconfigurazione /.conf/.json da locale.

  

• Esportare .txtconfigurazione /.conf/.json in locale.

  

Per .txt file di configurazione e file di configurazione conf, è possibile fare riferimento agli esempi seguenti:

spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

Per il file di configurazione con estensione json, è possibile fare riferimento agli esempi seguenti:

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}

Passaggi successivi

• Usare il pool Apache Spark serverless in Synapse Studio.
• Eseguire un'applicazione Spark nel notebook.
• Creare la definizione del processo Apache Spark in Azure Studio.
• Raccogliere i log e le metriche delle applicazioni Apache Spark con l'account di archiviazione di Azure.
• Raccogliere i log e le metriche delle applicazioni Apache Spark con Hub eventi di Azure.