Omgevingsdefinitie

Artikel
2025-03-22

Dit artikel bevat een uitsplitsing van de definitiestructuur voor omgevingsitems.

Definitieonderdelen

Pad van definitieonderdeel	soort	Verplicht	Beschrijving
`Libraries/CustomLibraries/<libraryname>.jar`	CustomLibraries (JAR)	onwaar	Een aangepaste JAR-bibliotheek in met Base64 gecodeerde indeling
`Libraries/CustomLibraries/<libraryname>.py`	CustomLibraries (PY)	onwaar	Een aangepast Python-scriptbestand in de met Base64 gecodeerde indeling
`Libraries/CustomLibraries/<libraryname>.whl`	CustomLibraries (WHL)	onwaar	Een aangepast wielbestand in base64-gecodeerde indeling
`Libraries/CustomLibraries/<libraryname>.tar.gz`	CustomLibraries (TAR. GZ)	onwaar	Een aangepast R-archiefbestand in met Base64 gecodeerde indeling
`Libraries/PublicLibraries/environment.yml`	ExternalLibraries (YAML)	onwaar	Een YAML-omgevingsbestand met externe bibliotheken in base64-gecodeerde indeling
`Setting/Sparkcompute.yml`	SparkComputeSettings (YAML)	onwaar	YAML met Spark-rekeninstellingen in gecodeerde indeling met Base64
`.platform`	PlatformDetails (JSON)	onwaar	Beschrijft de metagegevens van het item

Elk definitieonderdeel van een omgevingsitem wordt als volgt samengesteld:

Pad : de bestandsnaam, bijvoorbeeld Setting/Sparkcompute.yml.
Payload-type - InlineBase64
Payload Zie: Voorbeeld van inhoud van nettolading die is gedecodeerd uit Base64.

Beschrijving voor inhoud van externe Spark-bibliotheken

Beschrijft de velden die worden gebruikt om de environment.yml.

Naam	Typ	Verplicht	Beschrijving
Afhankelijkheden	Woordenboek	waar	Een lijst met Conda-pakketten die in de omgeving worden geïnstalleerd. Het formaat is `<package_name>==<version_number>`.
pip	Woordenboek	onwaar	Hiermee geeft u extra Python-pakketten op die moeten worden geïnstalleerd met behulp van pip. Dit kan een lijst met tekenreeksen zijn waarbij elke tekenreeks een pip-pakket is dat moet worden geïnstalleerd in indeling `<package_name>==<version_number>`.

Beschrijving voor inhoud van Spark-instellingen

Beschrijft de velden die worden gebruikt om de SparkCompute.ymlsamen te stellen.

Naam	Typ	Verplicht	Beschrijving
enable_native_execution_engine	Boolean	waar	Systeemeigen uitvoeringsengine inschakelen. True - Ingeschakeld, Onwaar - Uitgeschakeld.
instance_pool_id	Draad	waar	Omgevingspool. Moet een geldige aangepaste pool zijn die is opgegeven door de exemplaargroep-id. Wanneer er geen starterspool (null) is opgegeven, wordt er een starterspool gemaakt.
driver_cores	Integer	waar	Spark-stuurprogrammakernen. De toegestane waarden zijn 4, 8, 16, 32 en 64.
driver_memory	Draad	waar	Spark-stuurprogrammageheugen. De toegestane waarden zijn 28g, 56g, 112g, 224g, 400g.
executor_cores	Integer	waar	Spark-uitvoerkernen. De toegestane waarden zijn 4, 8, 16, 32, 64.
executor_memory	Draad	waar	Spark-uitvoerprogrammageheugen. De toegestane waarden zijn 28g, 56g, 112g, 224g, 400g.
dynamic_executor_allocation	Voorwerp	waar	Dynamische uitvoerdertoewijzing. Zie beschrijving voor dynamic_executor_allocation inhoud.
spark_conf	Woordenboek	onwaar	Spark-configuraties.
runtime_version	Draad	waar	Runtimeversie, zoek de ondersteunde fabric-runtimes.

Beschrijving voor dynamic_executor_allocation inhoud

Beschrijft de velden die worden gebruikt om de dynamic_executor_allocationsamen te stellen.

Naam	Typ	Verplicht	Beschrijving
Ingeschakeld	Boolean	waar	De status van de dynamische uitvoerderstoewijzing. True - Ingeschakeld, Onwaar - Uitgeschakeld.
min_executors	Integer	waar	Het minimale uitvoerprogrammanummer voor dynamische toewijzing. De minimumwaarde is 1. De maximumwaarde moet lager zijn dan de `maxExecutors`.
max_executors	Integer	waar	Het maximum aantal uitvoerders voor dynamische toewijzing. De minimumwaarde is 1. De maximumwaarde moet lager zijn dan de `maxNodeCount` exemplaargroep.

Platformonderdeel

Het platformonderdeel is een bestand dat de metagegevensgegevens van de omgeving bevat.

Item maken met definitie respecteert het platformbestand indien opgegeven
definitie Item ophalen retourneert altijd het platformbestand.
definitie item bijwerken accepteert het platformbestand indien opgegeven, maar alleen als u een nieuwe URL-parameter instelt updateMetadata=true.

Voorbeeld van openbare Spark-bibliotheken `environment.yml` inhoud gedecodeerd uit Base64

dependencies:
  - matplotlib==0.10.1
  - scipy==0.0.1
  - pip:
      - fuzzywuzzy==0.18.0
      - numpy==0.1.28

Voorbeeld van Spark-instellingen `Sparkcompute.yml` inhoud gedecodeerd uit Base64

enable_native_execution_engine: false
instance_pool_id: 655fc33c-2712-45a3-864a-b2a00429a8aa
driver_cores: 4
driver_memory: 28g
executor_cores: 4
executor_memory: 28g
dynamic_executor_allocation:
  enabled: true
  min_executors: 1
  max_executors: 2
spark_conf:
  spark.acls.enable: true
runtime_version: 1.3

Definitievoorbeeld

{
    "format": "null",
    "parts": [
        {
            "path": "Libraries/CustomLibraries/samplelibrary.jar",
            "payload": "eyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/samplepython.py",
            "payload": "FyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/samplewheel-0.18.0-py2.py3-none-any.whl",
            "payload": "LyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/sampleR.tar.gz",
            "payload": "ZyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/PublicLibraries/environment.yml",
            "payload": "IyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Setting/Sparkcompute.yml",
            "payload": "GyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": ".platform",
            "payload": "ZG90UGxhdGZvcm1CYXNlNjRTdHJpbmc",
            "payloadType": "InlineBase64"
        }
    ]
}

Delen via