TensorFlow 類別
表示 TensorFlow 實驗中訓練的估算器。
荒廢的。 將 ScriptRunConfig 物件與您自己的已定義環境或其中一個 Azure ML TensorFlow 策劃的環境搭配使用。 如需使用 ScriptRunConfig 設定 TensorFlow 實驗執行的簡介,請參閱 使用 Azure Machine Learning 大規模定型 TensorFlow 模型。
支援的版本:1.10、1.12、1.13、2.0、2.1、2.2
初始化 TensorFlow 估算器。
Docker 執行參考。 :type shm_size:str :p aram resume_from:包含要繼續實驗的檢查點或模型檔案的數據路徑。 :type resume_from:azureml.data.datapath.DataPath :p aram max_run_duration_seconds:執行允許的時間上限。 Azure ML 將嘗試自動
如果執行時間超過此值,請取消執行。
建構函式
TensorFlow(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, worker_count=1, parameter_server_count=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)
參數
| 名稱 | Description |
|---|---|
|
source_directory
必要
|
包含實驗組態檔的本機目錄。 |
|
compute_target
必要
|
定型的計算目標。 這可以是物件或字串 「local」。 |
|
vm_size
必要
|
將針對定型建立之計算目標的 VM 大小。 支援的值:任何 Azure VM 大小。 |
|
vm_priority
必要
|
將針對定型建立之計算目標的 VM 優先順序。 如果未指定,則會使用 'dedicated'。 支援的值:'dedicated' 和 'lowpriority'。 只有在 |
|
entry_script
必要
|
包含定型腳本之檔案的相對路徑。 |
|
script_params
必要
|
要傳遞至 中所 |
|
node_count
必要
|
用於定型的計算目標中的節點數目。
AmlCompute只有分散式定型支援目標 ( |
|
process_count_per_node
必要
|
使用 MPI 時,每個節點的進程數目。 |
|
worker_count
必要
|
使用參數伺服器進行分散式定型時,背景工作節點的數目。 荒廢的。 將指定為 參數的 |
|
parameter_server_count
必要
|
使用參數伺服器進行分散式定型時,參數伺服器節點的數目。 |
|
distributed_backend
必要
|
分散式定型的通訊後端。 荒廢的。 請使用 支援的值:『mpi』 和 『ps』。 'mpi' 代表 MPI/Horovod,而 'ps' 代表參數伺服器。 當任何 當 == 1 和 |
|
distributed_training
必要
|
執行分散式定型作業的參數。 若要使用 Parameter Server 後端執行分散式作業,請使用 ParameterServer 物件來指定 若要使用 MPI 後端執行分散式作業,請使用 Mpi 物件來指定 |
|
use_gpu
必要
|
指定執行實驗的環境是否應該支援 GPU。
如果為 true,則會在環境中使用 GPU 型預設 Docker 映射。 如果為 false,則會使用以 CPU 為基礎的映像。 只有在未設定 參數時 |
|
use_docker
必要
|
指定執行實驗的環境是否應以 Docker 為基礎。 |
|
custom_docker_base_image
必要
|
將建置要用於定型之映像的 Docker 映像名稱。 荒廢的。 請使用 如果未設定,則會使用預設CPU型映像作為基底映像。 |
|
custom_docker_image
必要
|
將建置要用於定型之映像的 Docker 映像名稱。 如果未設定,則會使用預設CPU型映像作為基底映像。 |
|
image_registry_details
必要
|
Docker 映像登錄的詳細數據。 |
|
user_managed
必要
|
指定 Azure ML 是否重複使用現有的 Python 環境。 如果為 false,Azure ML 會根據 conda 相依性規格建立 Python 環境。 |
|
conda_packages
必要
|
字串清單,代表要新增至實驗 Python 環境的 conda 套件。 |
|
pip_packages
必要
|
字串清單,代表要新增至實驗 Python 環境的 pip 套件。 |
|
conda_dependencies_file_path
必要
|
字串,表示 conda 相依性 yaml 檔案的相對路徑。
如果指定,Azure ML 將不會安裝任何架構相關套件。
荒廢的。 請使用 |
|
pip_requirements_file_path
必要
|
字串,表示 pip 需求文字文件的相對路徑。
這可以搭配 |
|
conda_dependencies_file
必要
|
字串,表示 conda 相依性 yaml 檔案的相對路徑。 如果指定,Azure ML 將不會安裝任何架構相關套件。 |
|
pip_requirements_file
必要
|
字串,表示 pip 需求文字文件的相對路徑。
這可以搭配 |
|
environment_variables
必要
|
環境變數名稱和值的字典。 這些環境變數會在執行使用者文本的程序上設定。 |
|
environment_definition
必要
|
實驗的環境定義。 它包含 PythonSection、DockerSection 和環境變數。 任何未透過其他參數直接公開至估算器建構的環境選項,都可以使用此參數來設定。 如果指定此參數,則會優先於其他環境相關參數,例如 |
|
inputs
必要
|
要做為輸入的 DataReference 或 DatasetConsumptionConfig 物件清單。 |
|
source_directory_data_store
必要
|
專案共用的備份數據存放區。 |
|
shm_size
必要
|
Docker 容器共用記憶體區塊的大小。 如果未設定,則會使用預設azureml.core.environment._DEFAULT_SHM_SIZE。 如需詳細資訊,請參閱 Docker 執行參考。 |
|
resume_from
必要
|
包含要繼續實驗之檢查點或模型檔案的數據路徑。 |
|
max_run_duration_seconds
必要
|
執行所允許的時間上限。 如果執行時間超過此值,Azure ML 會嘗試自動取消執行。 |
|
framework_version
必要
|
要用於執行定型程序代碼的 TensorFlow 版本。
如果未提供任何版本,估算器會預設為 Azure ML 支援的最新版本。
使用 |
|
source_directory
必要
|
包含實驗組態檔的本機目錄。 |
|
compute_target
必要
|
定型的計算目標。 這可以是物件或字串 「local」。 |
|
vm_size
必要
|
將針對定型建立之計算目標的 VM 大小。 支援的值:任何 Azure VM 大小。 |
|
vm_priority
必要
|
將針對定型建立之計算目標的 VM 優先順序。 如果未指定,則會使用 'dedicated'。 支援的值:'dedicated' 和 'lowpriority'。 只有在 |
|
entry_script
必要
|
包含定型腳本之檔案的相對路徑。 |
|
script_params
必要
|
命令行自變數的字典,傳遞至 中指定的 |
|
node_count
必要
|
用於定型的計算目標中的節點數目。
AmlCompute只有分散式定型支援目標 ( |
|
process_count_per_node
必要
|
使用 MPI 時,每個節點的進程數目。 |
|
worker_count
必要
|
使用參數伺服器時,背景工作節點的數目。 荒廢的。 將指定為 參數的 |
|
parameter_server_count
必要
|
使用參數伺服器時,參數伺服器節點的數目。 |
|
distributed_backend
必要
|
分散式定型的通訊後端。 荒廢的。 請使用 支援的值:『mpi』 和 『ps』。 'mpi' 代表 MPI/Horovod,而 'ps' 代表參數伺服器。 當任何 當 == 1 和 |
|
distributed_training
必要
|
執行分散式定型作業的參數。 若要使用參數伺服器後端執行分散式作業,請使用 ParameterServer 物件來指定 若要使用 MPI 後端執行分散式作業,請使用 Mpi 物件來指定 |
|
use_gpu
必要
|
指定執行實驗的環境是否應該支援 GPU。
如果為 true,則會在環境中使用 GPU 型預設 Docker 映射。 如果為 false,則會使用以 CPU 為基礎的映像。 只有在未設定參數時 |
|
use_docker
必要
|
指定執行實驗的環境是否應以 Docker 為基礎。 |
|
custom_docker_base_image
必要
|
將建置要用於定型之映像的 Docker 映像名稱。 荒廢的。 請使用 如果未設定,則會使用預設CPU型映像作為基底映像。 |
|
custom_docker_image
必要
|
將建置要用於定型之映像的 Docker 映像名稱。 如果未設定,則會使用預設CPU型映像作為基底映像。 |
|
image_registry_details
必要
|
Docker 映像登錄的詳細數據。 |
|
user_managed
必要
|
指定 Azure ML 是否重複使用現有的 Python 環境。 如果為 false,Azure ML 會根據 conda 相依性規格建立 Python 環境。 |
|
conda_packages
必要
|
字串清單,代表要新增至實驗 Python 環境的 conda 套件。 |
|
pip_packages
必要
|
字串清單,代表要新增至實驗 Python 環境的 pip 套件。 |
|
conda_dependencies_file_path
必要
|
conda 相依性 yaml 檔案的相對路徑。 如果指定,Azure ML 將不會安裝任何架構相關套件。
荒廢的。 請使用 |
|
pip_requirements_file_path
必要
|
pip 需求文字文件的相對路徑。
這可以搭配 |
|
environment_variables
必要
|
環境變數名稱和值的字典。 這些環境變數會在執行使用者文本的程序上設定。 |
|
conda_dependencies_file
必要
|
字串,表示 conda 相依性 yaml 檔案的相對路徑。 如果指定,Azure ML 將不會安裝任何架構相關套件。 |
|
pip_requirements_file
必要
|
pip 需求文字文件的相對路徑。
這可以搭配 |
|
environment_variables
必要
|
環境變數名稱和值的字典。 這些環境變數會在執行使用者文本的程序上設定。 |
|
environment_definition
必要
|
實驗的環境定義。 它包含 PythonSection、DockerSection 和環境變數。 任何未透過其他參數直接公開至估算器建構的環境選項,都可以使用此參數來設定。 如果指定此參數,則會優先於其他環境相關參數,例如 |
|
inputs
必要
|
azureml.data.data_reference清單。要當做輸入使用的 DataReference 物件。 |
|
source_directory_data_store
必要
|
專案共用的備份數據存放區。 |
|
shm_size
必要
|
Docker 容器共用記憶體區塊的大小。 如果未設定,預設值為 azureml.core.environment._DEFAULT_SHM_SIZE。 如需更多資訊,請參閱 |
|
framework_version
必要
|
要用於執行定型程序代碼的 TensorFlow 版本。 如果未提供任何版本,估算器會預設為 Azure ML 支援的最新版本。 使用 TensorFlow.get_supported_versions() 傳回清單,以取得目前 Azure ML SDK 支援的所有版本清單。 |
|
_enable_optimized_mode
必要
|
使用預先建置的架構映射啟用累加式環境建置,以加快環境準備的速度。 預先建置的架構映射建置在預安裝架構相依性的 Azure ML 預設 CPU/GPU 基底映射之上。 |
|
_disable_validation
必要
|
在執行提交之前停用腳本驗證。 預設值為 True。 |
|
_show_lint_warnings
必要
|
顯示腳本 linting 警告。 預設值為 False。 |
|
_show_package_warnings
必要
|
顯示套件驗證警告。 預設值為 False。 |
備註
提交定型作業時,Azure ML 會在 Docker 容器內的 conda 環境中執行您的腳本。 TensorFlow 容器已安裝下列相依性。
相依性 |TensorFlow 1.10/1.12 |TensorFlow 1.13 |TF 2.0/2.1/2.2 |———————————— |——————– |————— |—————— |Python |3.6.2 |3.6.2 |3.6.2 |CUDA (僅限 GPU 映射) |9.0 |10.0 |10.0 |cuDNN (僅限 GPU 映射) |7.6.3 |7.6.3 |7.6.3 |NCCL (僅限 GPU 映射) |2.4.8 |2.4.8 |2.4.8 |azureml-defaults |最新 |最新 |最新 |azureml-dataset-runtime[fuse,pandas] |最新 |最新 |最新 |IntelMpi |2018.3.222 |2018.3.222 |—- |OpenMpi |—- |—- |3.1.2 |horovod |0.15.2 |0.16.1 |0.18.1/0.19.1/0.19.5 |miniconda |4.5.11 |4.5.11 |4.5.11 |tensorflow |1.10.0/1.12.0 |1.13.1 |2.0.0/2.1.0/2.2.0 |git |2.7.4 |2.7.4 |2.7.4 |
v1 Docker 映射延伸 Ubuntu 16.04。 v2 Docker 映射延伸 Ubuntu 18.04。
若要安裝其他相依性,您可以使用 pip_packages 或 conda_packages 參數。 或者,您可以指定 pip_requirements_file 或 conda_dependencies_file 參數。
或者,您可以建置自己的映像,並將 參數傳遞 custom_docker_image 至估算器建構函式。
如需 TensorFlow 定型中使用的 Docker 容器詳細資訊,請參閱 https://github.com/Azure/AzureML-Containers。
TensorFlow 類別支持兩種分散式定型方法:
使用 以 MPI 為基礎的分散式定型
Horovod 架構
如需在分散式定型中使用 TensorFlow 的範例和詳細資訊,請參閱 使用 Azure Machine Learning 大規模定型和註冊 TensorFlow 模型教學課程。
屬性
DEFAULT_VERSION
DEFAULT_VERSION = '1.13'
FRAMEWORK_NAME
FRAMEWORK_NAME = 'TensorFlow'