Partekatu honen bidez:

Automatización del proceso de administración de bibliotecas mediante cmdlets de Azure PowerShell y API REST

  • Artikulua

Es posible que quiera administrar las bibliotecas de los grupos de Apache Spark sin servidor sin ir a las páginas de la interfaz de usuario de Synapse Analytics. Por ejemplo:

  • desarrolla un paquete personalizado y quiere cargarlo en el área de trabajo y usarlo en el grupo de Spark. Y quiere finalizar los pasos de las herramientas locales sin visitar las interfaces de usuario de administración de paquetes.
  • está actualizando los paquetes a través del proceso de CI/CD.

En este artículo, proporcionaremos una guía general para ayudarle a administrar bibliotecas a través de Azure PowerShell cmdlets o API de REST.

Administración de paquetes mediante cmdlets de Azure PowerShell

Agregar nuevas bibliotecas

  1. El comando New-AzSynapseWorkspacePackage puede usarse para cargar nuevas bibliotecas en el área de trabajo.

    New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"

  2. La combinación de comandos New-AzSynapseWorkspacePackage y Update-AzSynapseSparkPool se puede usar para cargar nuevas bibliotecas en el área de trabajo y adjuntar la biblioteca a un grupo de Spark.

    $package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

  3. Si desea adjuntar una biblioteca de área de trabajo existente al grupo de Spark, consulte la combinación de comandos de Get-AzSynapseWorkspacePackage y Update-AzSynapseSparkPool.

    $packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Quitar bibliotecas

  1. Para quitar un paquete instalado del grupo de Spark, consulte la combinación de comandos de Get-AzSynapseWorkspacePackage y Update-AzSynapseSparkPool.

    $package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

  2. También puede recuperar un grupo de Spark y quitar todas las bibliotecas de área de trabajo asociadas del grupo mediante una llamada a los comandos Get-AzSynapseSparkPool y Update-AzSynapseSparkPool.

    $pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Para conocer más funcionalidades de los cmdlets de Azure PowerShell, consulte Azure PowerShell cmdlets para Azure Synapse Analytics.

Administración de paquetes a través de las API de REST

Administración de los paquetes del área de trabajo

Con la capacidad de las API de REST, puede agregar y eliminar paquetes o enumerar todos los archivos cargados del área de trabajo. Consulte las API compatibles completas. Consulte Introducción a las API de la biblioteca de áreas de trabajo.

Administración de los paquetes del grupo de Spark

Puede aprovechar la API de REST del grupo de Spark para asociar o quitar las bibliotecas personalizadas o código abierto a los grupos de Spark.

  1. Para las bibliotecas personalizadas, especifique la lista de archivos personalizados como la propiedad customLibraries en el cuerpo de la solicitud.

    "customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

  2. También puede actualizar las bibliotecas del grupo de Spark al especificar la propiedad libraryRequirements en el cuerpo de la solicitud.

    "libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}

Pasos siguientes