Automatización del proceso de administración de bibliotecas mediante cmdlets de Azure PowerShell y API REST

Artículo
03/10/2023

Es posible que quiera administrar las bibliotecas de los grupos de Apache Spark sin servidor sin ir a las páginas de la interfaz de usuario de Synapse Analytics. Por ejemplo:

desarrolla un paquete personalizado y quiere cargarlo en el área de trabajo y usarlo en el grupo de Spark. Y quiere finalizar los pasos de las herramientas locales sin visitar las interfaces de usuario de administración de paquetes.
está actualizando los paquetes a través del proceso de CI/CD.

En este artículo, proporcionaremos una guía general para ayudarle a administrar bibliotecas a través de Azure PowerShell cmdlets o API de REST.

Administración de paquetes mediante cmdlets de Azure PowerShell

Agregar nuevas bibliotecas

El comando New-AzSynapseWorkspacePackage puede usarse para cargar nuevas bibliotecas en el área de trabajo.
```
New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
```

La combinación de comandos New-AzSynapseWorkspacePackage y Update-AzSynapseSparkPool se puede usar para cargar nuevas bibliotecas en el área de trabajo y adjuntar la biblioteca a un grupo de Spark.

$package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

Si desea adjuntar una biblioteca de área de trabajo existente al grupo de Spark, consulte la combinación de comandos de Get-AzSynapseWorkspacePackage y Update-AzSynapseSparkPool.

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Quitar bibliotecas

Para quitar un paquete instalado del grupo de Spark, consulte la combinación de comandos de Get-AzSynapseWorkspacePackage y Update-AzSynapseSparkPool.

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

También puede recuperar un grupo de Spark y quitar todas las bibliotecas de área de trabajo asociadas del grupo mediante una llamada a los comandos Get-AzSynapseSparkPool y Update-AzSynapseSparkPool.

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Para conocer más funcionalidades de los cmdlets de Azure PowerShell, consulte Azure PowerShell cmdlets para Azure Synapse Analytics.

Administración de paquetes a través de las API de REST

Administración de los paquetes del área de trabajo

Con la capacidad de las API de REST, puede agregar y eliminar paquetes o enumerar todos los archivos cargados del área de trabajo. Consulte las API compatibles completas. Consulte Introducción a las API de la biblioteca de áreas de trabajo.

Administración de los paquetes del grupo de Spark

Puede aprovechar la API de REST del grupo de Spark para asociar o quitar las bibliotecas personalizadas o código abierto a los grupos de Spark.

Para las bibliotecas personalizadas, especifique la lista de archivos personalizados como la propiedad customLibraries en el cuerpo de la solicitud.

"customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

También puede actualizar las bibliotecas del grupo de Spark al especificar la propiedad libraryRequirements en el cuerpo de la solicitud.
```
"libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}
```

Pasos siguientes

Visualización de las bibliotecas predeterminadas: Compatibilidad de las versiones de Azure Spark
Administración de paquetes de nivel de grupo de Spark mediante Synapse Studio portal: Administración de paquetes de Python en la sesión de Notebook

Compartir vía