Condividi tramite

Workspace packages

  • Articolo

I pacchetti dell'area di lavoro possono essere file wheel (Python), jar (Scala/Java) o tar.gz (R) personalizzati o privati. È possibile caricare questi pacchetti nell'area di lavoro e assegnarli in un secondo momento a un pool di Spark specifico.

Per aggiungere pacchetti dell'area di lavoro:

  1. Andare alla scheda Gestisci>Pacchetti dell'area di lavoro.
  2. Caricare i file wheel usando il selettore di file.
  3. Dopo aver caricato i file nell'area di lavoro di Azure Synapse, è possibile aggiungere questi pacchetti a un determinato pool di Apache Spark.

Screenshot that highlights workspace packages.

Avviso

  • All'interno di Azure Synapse, un pool di Apache Spark è in grado di usare librerie personalizzate caricate come pacchetti dell'area di lavoro o caricate in un percorso di Azure Data Lake Storage noto. Tuttavia, entrambe queste opzioni non possono essere usate contemporaneamente all'interno dello stesso pool di Apache Spark. Se i pacchetti vengono forniti usando entrambi i metodi, verranno installati solo i file wheel specificati nell'elenco pacchetti dell'area di lavoro.

  • Quando i pacchetti dell'area di lavoro vengono usati per installare i pacchetti in un determinato pool di Apache Spark, esiste una limitazione secondo cui non è più possibile specificare i pacchetti usando il percorso dell'account di archiviazione nello stesso pool.

Nota

È consigliabile non disporre di diversi pacchetti wheel con lo stesso nome in un'area di lavoro. Se si desidera usare una versione diversa dello stesso pacchetto wheel, è necessario eliminare la versione esistente e caricarne una nuova.

Account di archiviazione

I pacchetti wheel personalizzati possono essere installati nel pool di Apache Spark caricando tutti i file wheel nell'account Azure Data Lake Storage (Gen2) collegato all'area di lavoro di Synapse.

I file devono essere caricati nel percorso seguente nel contenitore predefinito dell'account di archiviazione:

abfss://<file_system>@<account_name>.dfs.core.windows.net/synapse/workspaces/<workspace_name>/sparkpools/<pool_name>/libraries/python/

Avviso

  • In alcuni casi, potrebbe essere necessario creare il percorso del file in base alla struttura precedente, se non esiste già. Ad esempio, potrebbe essere necessario aggiungere la cartella pythonall'interno della cartella libraries, se non esiste già.
  • Questo metodo di gestione dei file wheel personalizzati non sarà supportato nel runtime di Azure Synapse per Apache Spark 3.0. Fare riferimento alla funzionalità Pacchetti dell'area di lavoro per gestire file wheel personalizzati.

Importante

Per installare librerie personalizzate usando il metodo di archiviazione di Azure DataLake, è necessario disporre delle autorizzazioni Collaboratore ai dati del BLOB di archiviazione o Proprietario dei dati del BLOB di archiviazione nell'account di archiviazione Gen2 primario collegato all'area di lavoro di Azure Synapse Analytics.

Passaggi successivi