Automatisieren des Bibliotheksverwaltungsprozesses über Azure PowerShell-Cmdlets und REST-APIs

  • Artikel

Möglicherweise möchten Sie Ihre Bibliotheken für Ihre serverlosen Apache Spark-Pools verwalten, ohne in die Synapse Analytics-UI-Seiten zu wechseln. Beispielsweise stellen Sie Folgendes fest:

  • Sie entwickeln ein benutzerdefiniertes Paket und möchten es in Ihren Arbeitsbereich hochladen und in Ihrem Spark-Pool verwenden. Und Sie möchten die Schritte für Ihre lokalen Tools abschließen, ohne die Paketverwaltungs-UIs zu besuchen.
  • Sie aktualisieren Ihre Pakete über den CI/CD-Prozess

In diesem Artikel finden Sie einen allgemeinen Leitfaden zum Verwalten von Bibliotheken über Azure PowerShell Cmdlets oder REST-APIs.

Verwalten von Paketen über Azure PowerShell Cmdlets

Neue Bibliotheken hinzufügen

  1. Der Befehl New-AzSynapseWorkspacePackage kann verwendet werden, um neue Bibliotheken in den Arbeitsbereich hochzuladen.

    New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"

  2. Die Kombination aus New-AzSynapseWorkspacePackage und Update-AzSynapseSparkPool-Befehlen kann verwendet werden, um neue Bibliotheken in den Arbeitsbereich hochzuladen und die Bibliothek an einen Spark-Pool anzufügen.

    $package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

  3. Wenn Sie eine vorhandene Arbeitsbereichsbibliothek an Ihren Spark-Pool anfügen möchten, beziehen Sie sich bitte auf die Befehlskombination Get-AzSynapseWorkspacePackage und Update-AzSynapseSparkPool.

    $packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Entfernen von Bibliotheken

  1. Um ein installiertes Paket aus Ihrem Spark-Pool zu entfernen, beziehen Sie sich bitte auf die Befehlskombination Get-AzSynapseWorkspacePackage und Update-AzSynapseSparkPool.

    $package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

  2. Sie können auch einen Spark-Pool abrufen und alle angefügten Arbeitsbereichbibliotheken aus dem Pool entfernen, indem Sie Get-AzSynapseSparkPool und Update-AzSynapseSparkPool-Befehle aufrufen.

    $pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Weitere Azure PowerShell Cmdlets-Funktionen finden Sie unter Azure PowerShell Cmdlets für Azure Synapse Analytics.

Verwalten von Paketen über REST-APIs

Verwalten von Arbeitsbereichspaketen

Mit der Möglichkeit von REST-APIs können Sie Pakete hinzufügen/löschen oder alle hochgeladenen Dateien Ihres Arbeitsbereichs auflisten. Die vollständig unterstützten APIs finden Sie unter Übersicht über Arbeitsbereichsbibliotheks-APIs.

Verwalten von Spark-Poolpaketen

Sie können die SPARK-Pool-REST-API verwenden, um Ihre benutzerdefinierten oder Open-Source-Bibliotheken an Ihre Spark-Pools anzufügen oder zu entfernen.

  1. Geben Sie für benutzerdefinierte Bibliotheken die Liste der benutzerdefinierten Dateien als die customLibraries-Eigenschaft im Anforderungstext an.

    "customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

  2. Sie können Ihre Spark-Poolbibliotheken auch aktualisieren, indem Sie die Eigenschaft libraryRequirements im Anforderungstext angeben.

    "libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}

Nächste Schritte