Ortam tanımı

Bu makalede, ortam öğeleri için tanım yapısının dökümü sağlanır.

Tanım bölümleri

Tanım bölümü yolu	tür	Gerekli	Açıklama
Libraries/CustomLibraries/<libraryname>.jar	CustomLibraries (JAR)	yanlış	Base64 kodlanmış biçiminde özel jar kitaplığı
Libraries/CustomLibraries/<libraryname>.py	CustomLibraries (PY)	yanlış	Base64 kodlanmış biçiminde özel bir Python betik dosyası
Libraries/CustomLibraries/<libraryname>.whl	CustomLibraries (WHL)	yanlış	Base64 kodlanmış biçiminde özel bir tekerlek dosyası
Libraries/CustomLibraries/<libraryname>.tar.gz	CustomLibraries (TAR. GZ)	yanlış	Base64 kodlanmış biçiminde özel R arşiv dosyası
Libraries/PublicLibraries/environment.yml	ExternalLibraries (YAML)	yanlış	Base64 kodlanmış biçiminde dış kitaplıkları olan bir ortam YAML dosyası
Setting/Sparkcompute.yml	SparkComputeSettings (YAML)	yanlış	Base64 kodlanmış biçiminde Spark işlem ayarları YAML
.platform	PlatformDetails (JSON)	yanlış	Öğenin meta verilerini açıklar

Ortam öğesinin her tanım bölümü aşağıdaki gibi oluşturulur:

• Yol - Dosya adı, örneğin Setting/Sparkcompute.yml.
• Yük türü - InlineBase64
• Yükü Bkz. Base64kodu çözülen yük içeriği örneği.

Spark Dış Kitaplık İçerikleri için açıklama

environment.yml. oluşturmak için kullanılan alanları açıklar

İsim	Türü	Gerekli	Açıklama
Bağımlılık	Sözlük	doğru	Ortama yüklenecek conda paketlerinin listesi. Biçim şöyledir: <package_name>==<version_number>.
Pip	Sözlük	yanlış	Pip kullanılarak yüklenecek ek Python paketlerini belirtir. Bu, her dizenin <package_name>==<version_number>biçiminde yüklenecek bir pip paketi olduğu dizelerin listesi olabilir.

Spark Ayarları İçeriği için açıklama

SparkCompute.ymloluşturmak için kullanılan alanları açıklar.

İsim	Türü	Gerekli	Açıklama
enable_native_execution_engine	Boole mantığı	doğru	Yerel yürütme altyapısını etkinleştirin. True - Etkin, Yanlış - Devre Dışı.
instance_pool_id	Dize	doğru	Ortam havuzu. Örnek havuzu kimliği tarafından belirtilen geçerli bir özel havuz olmalıdır. Belirtilmediğinde (null) bir başlangıç havuzu oluşturulur.
driver_cores	Tamsayı	doğru	Spark sürücü çekirdekleri. İzin verilen değerler 4, 8, 16, 32 ve 64'lerdir.
driver_memory	Dize	doğru	Spark sürücü belleği. İzin verilen değerler 28g, 56g, 112g, 224g, 400g'dır.
executor_cores	Tamsayı	doğru	Spark yürütücü çekirdekleri. İzin verilen değerler 4, 8, 16, 32, 64'tir.
executor_memory	Dize	doğru	Spark yürütücü belleği. İzin verilen değerler 28g, 56g, 112g, 224g, 400g'dır.
dynamic_executor_allocation	Nesne	doğru	Dinamik yürütücü ayırma. dynamic_executor_allocation İçeriği içinAçıklama bölümüne bakın.
spark_conf	Sözlük	yanlış	Spark yapılandırmaları.
runtime_version	Dize	doğru	Çalışma zamanı sürümü, desteklenendoku çalışma zamanlarını bulun.

dynamic_executor_allocation İçeriği için açıklama

dynamic_executor_allocationoluşturmak için kullanılan alanları açıklar.

İsim	Türü	Gerekli	Açıklama
etkinleştirildi	Boole mantığı	doğru	Dinamik yürütücü ayırmasının durumu. True - Etkin, Yanlış - Devre Dışı.
min_executors	Tamsayı	doğru	Dinamik ayırma için en düşük yürütücü numarası. En düşük değer 1'dir. En büyük değer maxExecutorsdeğerinden düşük olmalıdır.
max_executors	Tamsayı	doğru	Dinamik ayırma için en yüksek yürütücü sayısı. En düşük değer 1'dir. En yüksek değer maxNodeCount örnek havuzundan daha düşük olmalıdır.

Platform bölümü

Platform bölümü, ortam meta veri bilgilerini içeren bir dosyadır.

• Öğe Oluşturma tanımı sağlanmışsa platform dosyasına göre belirlenir
• Öğe Al tanımı her zaman platform dosyasını döndürür.
• Öğeyi Güncelleştir tanımı, platform dosyasını sağlanırsa kabul eder, ancak yalnızca updateMetadata=trueyeni bir URL parametresi ayarlarsanız kabul eder.

Base64'ten çözülen spark ortak kitaplıkları environment.yml içerik örneği

dependencies:
  - matplotlib==0.10.1
  - scipy==0.0.1
  - pip:
      - fuzzywuzzy==0.18.0
      - numpy==0.1.28

Base64'ten çözülen içerik Sparkcompute.yml spark ayarları örneği

enable_native_execution_engine: false
instance_pool_id: 655fc33c-2712-45a3-864a-b2a00429a8aa
driver_cores: 4
driver_memory: 28g
executor_cores: 4
executor_memory: 28g
dynamic_executor_allocation:
  enabled: true
  min_executors: 1
  max_executors: 2
spark_conf:
  spark.acls.enable: true
runtime_version: 1.3

Tanım örneği

{
    "format": "null",
    "parts": [
        {
            "path": "Libraries/CustomLibraries/samplelibrary.jar",
            "payload": "eyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/samplepython.py",
            "payload": "FyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/samplewheel-0.18.0-py2.py3-none-any.whl",
            "payload": "LyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/sampleR.tar.gz",
            "payload": "ZyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/PublicLibraries/environment.yml",
            "payload": "IyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Setting/Sparkcompute.yml",
            "payload": "GyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": ".platform",
            "payload": "ZG90UGxhdGZvcm1CYXNlNjRTdHJpbmc",
            "payloadType": "InlineBase64"
        }
    ]
}