Megosztás a következőn keresztül:

A tárkezelési folyamat automatizálása Azure PowerShell parancsmagokkal és REST API-kkal

  • Cikk

Előfordulhat, hogy a Synapse Analytics felhasználói felületi lapjainak megnyitása nélkül szeretné kezelni a kiszolgáló nélküli Apache Spark-készletek tárait. Előfordulhat például, hogy a következőt találja:

  • egyéni csomagot fejleszt, és fel szeretné tölteni a munkaterületre, és a Spark-készletben szeretné használni. A helyi eszközök lépéseit pedig a csomagkezelési felhasználói felületek felkeresése nélkül szeretné elvégezni.
  • a ci/CD-folyamaton keresztül frissíti a csomagokat

Ebben a cikkben általános útmutatót nyújtunk a kódtárak Azure PowerShell parancsmagok vagy REST API-k használatával történő kezeléséhez.

Csomagok kezelése Azure PowerShell parancsmagokkal

Új kódtárak hozzáadása

  1. A New-AzSynapseWorkspacePackage paranccsal új kódtárakat tölthet fel a munkaterületre.

    New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"

  2. A New-AzSynapseWorkspacePackage és az Update-AzSynapseSparkPool parancsok kombinációjával új kódtárakat tölthet fel a munkaterületre , és csatolhatja a tárat egy Spark-készlethez.

    $package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

  3. Ha meglévő munkaterület-tárat szeretne csatolni a Spark-készlethez, tekintse meg a Get-AzSynapseWorkspacePackage és az Update-AzSynapseSparkPool parancskombinációját.

    $packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Kódtárak eltávolítása

  1. Ha el szeretne távolítani egy telepített csomagot a Spark-készletből, tekintse meg a Get-AzSynapseWorkspacePackage és az Update-AzSynapseSparkPool parancskombinációját.

    $package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

  2. A Get-AzSynapseSparkPool és az Update-AzSynapseSparkPool parancsok meghívásával lekérheti a Spark-készletet, és eltávolíthatja az összes csatolt munkaterületi kódtárat a készletből.

    $pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

További Azure PowerShell parancsmag-képességekért tekintse meg Azure PowerShell Azure Synapse Analytics parancsmagjait.

Csomagok kezelése REST API-k használatával

Munkaterület-csomagok kezelése

A REST API-k segítségével csomagokat adhat hozzá/törölhet, vagy listázhatja a munkaterület összes feltöltött fájlját. Tekintse meg a teljes támogatott API-kat, tekintse meg a munkaterületi kódtár API-k áttekintését ismertető cikket.

A Spark-készletcsomagok kezelése

A Spark-készlet REST API-jának használatával csatolhatja vagy eltávolíthatja egyéni vagy nyílt forráskód kódtárait a Spark-készletekhez.

  1. Egyéni kódtárak esetén adja meg az egyéni fájlok listáját customLibraries tulajdonságként a kérelem törzsében.

    "customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

  2. A Spark-készlet kódtárait úgy is frissítheti, hogy megadja a libraryRequirements tulajdonságot a kérelemtörzsben.

    "libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}

Következő lépések