ReinforcementLearningEstimator Klasse

  • Referenz

Stellt einen Schätzer für das Training von Reinforcement Learning-Experimenten dar.

Vererbung
azureml.contrib.train.rl._rl_base_estimator._RLBaseEstimator
ReinforcementLearningEstimator

Konstruktor

ReinforcementLearningEstimator(source_directory, *, environment=None, entry_script=None, script_params=None, compute_target=None, use_gpu=None, pip_packages=None, conda_packages=None, environment_variables=None, rl_framework=ray-0.8.0, cluster_coordination_timeout_seconds=None, max_run_duration_seconds=None, worker_configuration=None, conda_dependencies_file=None, pip_requirements_file=None, shm_size=None, inputs=None)

Parameter

source_directory
str
Erforderlich

Ein lokales Verzeichnis mit Konfigurationsdateien für Experimente.

environment
Environment
Erforderlich

Die Umgebungsdefinition für das Experiment Sie enthält PythonSection, DockerSection und Umgebungsvariablen. Jede Umgebungsoption, die nicht direkt über andere Parameter für die Erstellung des Schätzers verfügbar gemacht wird, kann mit diesem Parameter festgelegt werden. Wenn dieser Parameter angegeben wird, wird er als Basis verwendet, auf der in pip_packages und conda_packages angegebene Pakete hinzugefügt werden.

entry_script
str
Erforderlich

Der relative Pfad zu der Datei, die das Trainingsskript enthält.

script_params
dict
Erforderlich

Ein Wörterbuch mit Befehlszeilenargumenten, die an das in entry_script angegebene Trainingsskript übergeben werden.

compute_target
AbstractComputeTarget oder str
Erforderlich

Das Computeziel, auf dem das Hauptskript ausgeführt wird. Dies kann entweder ein Objekt oder der Name des Computeziels sein. AmlWindowsCompute unterstützt nur Azure Files als bereitgestellten Speicher und keine Umgebungsdefinition.

use_gpu
bool
Erforderlich

Gibt an, ob die Umgebung GPUs unterstützen soll. True gibt an, dass ein GPU-basiertes Docker-Standardimage in der Umgebung verwendet wird. Bei „False“ wird ein CPU-basiertes Image verwendet. Docker-Standardimages (CPU oder GPU) werden nur verwendet, wenn der Parameter environment nicht festgelegt ist.

conda_packages
list
Erforderlich

Eine Liste von Zeichenfolgen, die Conda-Pakete darstellen, die der Python-Umgebung des Hauptbereichs für das Experiment hinzugefügt werden sollen.

pip_packages
list
Erforderlich

Eine Liste von Zeichenfolgen, die PIP-Pakete darstellen, die der Python-Umgebung des Hauptbereichs für das Experiment hinzugefügt werden sollen.

rl_framework
RLFramework
Erforderlich

Orchestrierungs-Framework, das im Experiment verwendet werden soll. Der Standardwert ist Ray Version 0.8.0

cluster_coordination_timeout_seconds
int
Erforderlich

Die maximale Zeit in Sekunden, die der Auftrag zum Starten dauern kann, nachdem er den Status in der Warteschlange bestanden hat.

max_run_duration_seconds
int
Erforderlich

Die maximal zulässige Zeit für die Ausführung. Azure Machine Learning versucht, den Auftrag automatisch abzubrechen, wenn er länger dauert als dieser Wert angibt.

worker_configuration
WorkerConfiguration
Erforderlich

Die Konfiguration für die Workers.

pip_requirements_file
str
Erforderlich

Der relative Pfad zur PIP-Anforderungstextdatei des Kopfteils. Dieser kann in Kombination mit dem Parameter pip_packages bereitgestellt werden.

conda_dependencies_file
str
Erforderlich

Der relative Pfad zur YAML-Datei der Conda-Abhängigkeiten des Kopfteils.

environment_variables
dict
Erforderlich

Ein Wörterbuch mit Umgebungsvariablennamen und Werten. Diese Umgebungsvariablen werden auf dem Hauptprozess festgelegt, in dem entry_script ausgeführt wird.

shm_size
str
Erforderlich

Die Größe des freigegebenen Speicherblocks des Docker-Containers. Wenn diese Einstellung nicht festgelegt ist, wird die Standardgröße „azureml.core.environment._DEFAULT_SHM_SIZE“ verwendet. Weitere Informationen finden Sie in der Referenz zur Docker-Ausführung.

inputs
list
Erforderlich

Eine Liste von DataReference- oder DatasetConsumptionConfig-Objekten, die als Eingabe verwendet werden sollen.

Hinweise

Beim Übermitteln eines Trainingsauftrags führt Azure Machine Learning Ihr Skript in einer Conda-Umgebung innerhalb eines Docker-Containers aus. Auf den Reinforcement Learning-Containern sind die folgenden Abhängigkeiten installiert.

Abhängigkeiten | Ray 0.8.0 | Ray 0.8.3 | ————————————–| —————– | —————– | Python-| 3.6.2 | 3.6.2 | CUDA (nur GPU-Image) | 10.0 | 10.0 | cuDNN (nur GPU-Image) | 7.5 | 7.5 | NCCL (nur GPU-Image) | 2.4.2 | 2.4.2 | azureml-defaults | Neueste | Neueste | azureml-contrib-reinforcementlearning | Neueste | Neueste | ray[rllib,dashboard] | 0.8.0 | 0.8.3 | tensorflow | 1.14.0 | 1.14.0 | psutil | Neueste | Neueste | setproctitle | Neueste | Neueste | gym[atari] | Neueste | Neueste |

Die Docker-Images erweitern Ubuntu 16.04.

Um zusätzliche Abhängigkeiten im Docker-Hauptcontainer zu installieren, können Sie entweder oder pip_packages verwenden conda_packages. Alternativ können Sie ein eigenes Image erstellen und es als Teil eines Umgebungsobjekts im Umgebungsparameter übergeben.

Der Reinforcement Learning-Schätzer unterstützt verteiltes Training über CPU- und GPU-Cluster mit Ray, einem Open Source-Framework für die Verarbeitung verteilter Trainings.

Attribute

DEFAULT_FRAMEWORK 

DEFAULT_FRAMEWORK = ray-0.8.0