Automatizar o processo de gestão de bibliotecas através de cmdlets Azure PowerShell e APIs REST

Artigo
03/10/2023

Poderá querer gerir as suas bibliotecas para os conjuntos do Apache Spark sem servidor sem aceder às páginas da IU do Synapse Analytics. Por exemplo, pode descobrir que:

desenvolve um pacote personalizado e quer carregá-lo para a sua área de trabalho e utilizá-lo no seu conjunto do Spark. Além disso, quer concluir os passos nas suas ferramentas locais sem visitar as UIs de gestão de pacotes.
está a atualizar os pacotes através do processo CI/CD

Neste artigo, iremos fornecer um guia geral para ajudá-lo a gerir bibliotecas através de cmdlets Azure PowerShell ou APIs REST.

Gerir pacotes através de cmdlets Azure PowerShell

Adicionar novas bibliotecas

O comando New-AzSynapseWorkspacePackage pode ser utilizado para carregar novas bibliotecas para a área de trabalho.
```
New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
```

A combinação de comandos New-AzSynapseWorkspacePackage e Update-AzSynapseSparkPool pode ser utilizada para carregar novas bibliotecas para a área de trabalho e anexar a biblioteca a um conjunto do Spark.

$package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

Se quiser anexar uma biblioteca de área de trabalho existente ao conjunto do Spark, veja a combinação de comandos Get-AzSynapseWorkspacePackage e Update-AzSynapseSparkPool.

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Remover bibliotecas

Para remover um pacote instalado do conjunto do Spark, veja a combinação de comandos Get-AzSynapseWorkspacePackage e Update-AzSynapseSparkPool.

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Também pode obter um conjunto do Spark e remover todas as bibliotecas de áreas de trabalho anexadas do conjunto ao chamar os comandos Get-AzSynapseSparkPool e Update-AzSynapseSparkPool .

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Para obter mais capacidades de cmdlets Azure PowerShell, veja Azure PowerShell cmdlets para o Azure Synapse Analytics.

Gerir pacotes através de APIs REST

Gerir os pacotes da área de trabalho

Com a capacidade das APIs REST, pode adicionar/eliminar pacotes ou listar todos os ficheiros carregados da área de trabalho. Veja as APIs suportadas completas. Veja Descrição geral das APIs da biblioteca de áreas de trabalho.

Gerir os pacotes de conjuntos do Spark

Pode tirar partido da API REST do conjunto do Spark para anexar ou remover as suas bibliotecas personalizadas ou open source aos seus conjuntos do Spark.

Para bibliotecas personalizadas, especifique a lista de ficheiros personalizados como a propriedade customLibraries no corpo do pedido.

"customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

Também pode atualizar as bibliotecas do conjunto do Spark ao especificar a propriedade libraryRequirements no corpo do pedido.
```
"libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}
```

Passos seguintes

Ver as bibliotecas predefinidas: suporte da versão do Apache Spark
Gerir pacotes ao nível do conjunto do Spark através do portal do Synapse Studio: Gestão de pacotes Python na Sessão do Bloco de Notas

Partilhar via