Dela via

Automatisera bibliotekshanteringsprocessen via Azure PowerShell-cmdletar och REST-API:er

Du kanske vill hantera dina bibliotek för dina serverlösa Apache Spark-pooler utan att gå in på synapse Analytics-användargränssnittssidorna. Du kan till exempel upptäcka att:

  • du utvecklar ett anpassat paket och vill ladda upp det till din arbetsyta och använda det i Spark-poolen. Och du vill slutföra stegen på dina lokala verktyg utan att besöka UIs för pakethantering.
  • du uppdaterar dina paket via CI/CD-processen

I den här artikeln innehåller vi en allmän guide som hjälper dig att hantera bibliotek via Azure PowerShell-cmdletar eller REST-API:er.

Hantera paket via Azure PowerShell cmdlets

Lägga till nya bibliotek

  1. Kommandot New-AzSynapseWorkspacePackage kan användas för att ladda upp nya bibliotek till arbetsytan.

    New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"

  2. Kombinationen av kommandona New-AzSynapseWorkspacePackage och Update-AzSynapseSparkPool kan användas för att ladda upp nya bibliotek till arbetsytan och koppla biblioteket till en Spark-pool.

    $package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

  3. Om du vill koppla ett befintligt arbetsytebibliotek till Spark-poolen kan du läsa kommandokombinationen Get-AzSynapseWorkspacePackage och Update-AzSynapseSparkPool.

    $packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Ta bort bibliotek

  1. Om du vill ta bort ett installerat paket från Spark-poolen läser du kommandokombinationen Get-AzSynapseWorkspacePackage och Update-AzSynapseSparkPool.

    $package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

  2. Du kan också hämta en Spark-pool och ta bort alla anslutna arbetsytebibliotek från poolen genom att anropa Kommandona Get-AzSynapseSparkPool och Update-AzSynapseSparkPool .

    $pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Mer funktioner för Azure PowerShell-cmdletar finns i Azure PowerShell-cmdletar för Azure Synapse Analytics.

Hantera paket via REST-API:er

Hantera arbetsytepaketen

Med hjälp av REST-API:er kan du lägga till/ta bort paket eller visa en lista över alla uppladdade filer på din arbetsyta. Se de fullständiga API:er som stöds. Se Översikt över API:er för arbetsytebibliotek.

Hantera Spark-poolpaketen

Du kan använda SPARK-poolens REST API för att koppla eller ta bort dina anpassade bibliotek eller bibliotek med öppen källkod till dina Spark-pooler.

  1. För anpassade bibliotek anger du listan över anpassade filer som egenskapen customLibraries i begärandetexten.

    "customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

  2. Du kan också uppdatera dina Spark-poolbibliotek genom att ange egenskapen libraryRequirements i begärandetexten.

    "libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}

Nästa steg