Udostępnij za pośrednictwem

Automatyzowanie procesu zarządzania biblioteką za pomocą poleceń cmdlet Azure PowerShell i interfejsów API REST

  • Artykuł

Możesz chcieć zarządzać bibliotekami dla bezserwerowych pul platformy Apache Spark bez przechodzenia do stron interfejsu użytkownika usługi Synapse Analytics. Na przykład można znaleźć następujące elementy:

  • Utworzysz pakiet niestandardowy i chcesz przekazać go do obszaru roboczego i użyć go w puli spark. Chcesz też wykonać kroki w narzędziach lokalnych bez odwiedzania interfejsów użytkownika zarządzania pakietami.
  • Aktualizujesz pakiety za pośrednictwem procesu ciągłej integracji/ciągłego wdrażania

W tym artykule przedstawimy ogólny przewodnik ułatwiający zarządzanie bibliotekami za pomocą poleceń cmdlet Azure PowerShell lub interfejsów API REST.

Zarządzanie pakietami za pomocą poleceń cmdlet Azure PowerShell

Dodawanie nowych bibliotek

  1. Polecenie New-AzSynapseWorkspacePackage może służyć do przekazywania nowych bibliotek do obszaru roboczego.

    New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"

  2. Kombinacja poleceń New-AzSynapseWorkspacePackage i Update-AzSynapseSparkPool może służyć do przekazywania nowych bibliotek do obszaru roboczego i dołączania biblioteki do puli spark.

    $package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

  3. Jeśli chcesz dołączyć istniejącą bibliotekę obszarów roboczych do puli spark, zapoznaj się z kombinacją poleceń Get-AzSynapseWorkspacePackage i Update-AzSynapseSparkPool.

    $packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Usuwanie bibliotek

  1. Aby usunąć zainstalowany pakiet z puli Spark, zapoznaj się z kombinacją poleceń Get-AzSynapseWorkspacePackage i Update-AzSynapseSparkPool.

    $package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

  2. Możesz również pobrać pulę spark i usunąć wszystkie dołączone biblioteki obszarów roboczych z puli, wywołując polecenia Get-AzSynapseSparkPool i Update-AzSynapseSparkPool .

    $pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Aby uzyskać więcej Azure PowerShell możliwości poleceń cmdlet, zapoznaj się z Azure PowerShell poleceniami cmdlet dotyczącymi usługi Azure Synapse Analytics.

Zarządzanie pakietami za pomocą interfejsów API REST

Zarządzanie pakietami obszarów roboczych

Dzięki możliwości interfejsów API REST można dodawać/usuwać pakiety lub wyświetlać listę wszystkich przekazanych plików obszaru roboczego. Zobacz pełne obsługiwane interfejsy API, zobacz Omówienie interfejsów API biblioteki obszarów roboczych.

Zarządzanie pakietami puli Spark

Interfejs API REST puli Spark umożliwia dołączanie lub usuwanie niestandardowych lub open source bibliotek do pul platformy Spark.

  1. W przypadku bibliotek niestandardowych określ listę plików niestandardowych jako właściwość customLibraries w treści żądania.

    "customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

  2. Biblioteki puli Spark można również zaktualizować, określając właściwość libraryRequirements w treści żądania.

    "libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}

Następne kroki