Automatizace procesu správy knihoven pomocí rutin Azure PowerShell a rozhraní REST API

Článek
03/10/2023

Můžete chtít spravovat knihovny pro bezserverové fondy Apache Sparku, aniž byste museli přecházet na stránky uživatelského rozhraní Synapse Analytics. Můžete například zjistit, že:

vyvíjíte vlastní balíček a chcete ho nahrát do svého pracovního prostoru a použít ho ve fondu Sparku. A chcete dokončit kroky v místních nástrojích, aniž byste museli navštívit uživatelská rozhraní pro správu balíčků.
aktualizujete balíčky prostřednictvím procesu CI/CD

V tomto článku poskytneme obecného průvodce, který vám pomůže se správou knihoven prostřednictvím Azure PowerShell rutin nebo rozhraní REST API.

Správa balíčků prostřednictvím rutin Azure PowerShell

Přidání nových knihoven

K nahrání nových knihoven do pracovního prostoru je možné použít příkaz New-AzSynapseWorkspacePackage.
```
New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
```

Pomocí kombinace příkazů New-AzSynapseWorkspacePackage a Update-AzSynapseSparkPool můžete nahrát nové knihovny do pracovního prostoru a připojit knihovnu k fondu Sparku.

$package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

Pokud chcete k fondu úloh Spark připojit existující knihovnu pracovních prostorů , projděte si kombinaci příkazů Get-AzSynapseWorkspacePackage a Update-AzSynapseSparkPool.

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Odebrat knihovny

Pokud chcete odebrat nainstalovaný balíček z fondu Sparku, projděte si kombinaci příkazů Get-AzSynapseWorkspacePackage a Update-AzSynapseSparkPool.

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Můžete také načíst fond Sparku a odebrat z fondu všechny připojené knihovny pracovních prostorů voláním příkazů Get-AzSynapseSparkPool a Update-AzSynapseSparkPool .

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Další možnosti rutin Azure PowerShell najdete v tématu rutiny Azure PowerShell pro Azure Synapse Analytics.

Správa balíčků prostřednictvím rozhraní REST API

Správa balíčků pracovních prostorů

Díky možnostem rozhraní REST API můžete přidávat nebo odstraňovat balíčky nebo vypisovat všechny nahrané soubory vašeho pracovního prostoru. Projděte si plně podporovaná rozhraní API, projděte si přehled rozhraní API knihoven pracovních prostorů.

Správa balíčků fondů Sparku

K připojení nebo odebrání vlastních nebo open source knihoven k fondům Sparku můžete využít rozhraní REST API fondu Úloh.

V případě vlastních knihoven zadejte seznam vlastních souborů jako vlastnost customLibraries v textu požadavku.

"customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

Knihovny fondu Sparku můžete také aktualizovat zadáním vlastnosti libraryRequirements v textu požadavku.
```
"libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}
```

Další kroky

Zobrazení výchozích knihoven: Podpora verzí Apache Sparku
Správa balíčků na úrovni fondu Sparku prostřednictvím portálu Synapse Studio: Správa balíčků Pythonu v relaci poznámkového bloku

Sdílet prostřednictvím