Megosztás a következőn keresztül:

DatabricksStep Osztály

  • Referencia

Létrehoz egy Azure ML Pipeline-lépést egy DataBricks-jegyzetfüzet, Python-szkript vagy JAR csomópontként való hozzáadásához.

A DatabricksStep használatára a jegyzetfüzetben https://aka.ms/pl-databrickstalál példát.

Hozzon létre egy Azure ML-folyamatlépést egy DataBricks-jegyzetfüzet, Python-szkript vagy JAR csomópontként való hozzáadásához.

A DatabricksStep használatára a jegyzetfüzetben https://aka.ms/pl-databrickstalál példát.

:p aram python_script_name:[Kötelező] Egy Python-szkript neve a következőhöz source_directoryviszonyítva: . Ha a szkript bemeneteket és kimeneteket vesz fel, azokat a rendszer paraméterekként továbbítja a szkriptnek. Ha python_script_name meg van adva, akkor source_directory annak is meg kell lennie.

Adja meg pontosan az egyiket, python_script_patha , python_script_namea vagy main_class_namea notebook_pathértéket.

Ha egy DataReference objektumot ad meg bemenetként data_reference_name=input1 értékkel, és egy PipelineData objektumot kimenetként name=output1 értékkel, akkor a bemenetek és kimenetek paraméterként lesznek átadva a szkriptnek. Így fognak kinézni, és elemeznie kell a szkript argumentumait az egyes bemenetek és kimenetek elérési útjainak eléréséhez: "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

Emellett a következő paraméterek is elérhetők lesznek a szkriptben:

  • AZUREML_RUN_TOKEN: Az Azure Machine Learning-hitelesítés AML-jogkivonata.
  • AZUREML_RUN_TOKEN_EXPIRY: Az AML-jogkivonat lejárati ideje.
  • AZUREML_RUN_ID: Azure Machine Learning-futtatási azonosító ehhez a futtatáshoz.
  • AZUREML_ARM_SUBSCRIPTION: Azure-előfizetés az AML-munkaterülethez.
  • AZUREML_ARM_RESOURCEGROUP: Azure-erőforráscsoport az Azure Machine Learning-munkaterülethez.
  • AZUREML_ARM_WORKSPACE_NAME: Az Azure Machine Learning-munkaterület neve.
  • AZUREML_ARM_PROJECT_NAME: Az Azure Machine Learning-kísérlet neve.
  • AZUREML_SERVICE_ENDPOINT: Az AML-szolgáltatások végponti URL-címe.
  • AZUREML_WORKSPACE_ID: Az Azure Machine Learning-munkaterület azonosítója.
  • AZUREML_EXPERIMENT_ID: Az Azure Machine Learning-kísérlet azonosítója.
  • AZUREML_SCRIPT_DIRECTORY_NAME: Könyvtár elérési útja a DBFS-ben, ahol a source_directory átmásolták.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

Amikor a DatabricksStep paraméterekkel source_directorypython_script_namefuttat egy Python-szkriptet a helyi gépről a Databricksben, a source_directory átmásolja a DBFS-be, és a DBFS könyvtárelérési útvonala paraméterként lesz átadva a szkriptnek a végrehajtás megkezdésekor. Ez a paraméter -AZUREML_SCRIPT_DIRECTORY_NAME címkével van ellátva. A könyvtár dbFS-ben való eléréséhez előtaggal kell ellátva a "dbfs:/" vagy a "/dbfs/" sztringgel.

Öröklődés
azureml.pipeline.core._databricks_step_base._DatabricksStepBase
DatabricksStep

Konstruktor

DatabricksStep(name, inputs=None, outputs=None, existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, notebook_path=None, notebook_params=None, python_script_path=None, python_script_params=None, main_class_name=None, jar_params=None, python_script_name=None, source_directory=None, hash_paths=None, run_name=None, timeout_seconds=None, runconfig=None, maven_libraries=None, pypi_libraries=None, egg_libraries=None, jar_libraries=None, rcran_libraries=None, compute_target=None, allow_reuse=True, version=None, permit_cluster_restart=None)

Paraméterek

Name Description
name
Kötelező
str

[Kötelező] A lépés neve.
inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Az ebben a lépésben felhasznált adatok bemeneti kapcsolatainak listája. Ezt a dbutils.widgets.get("input_name") használatával olvassa be a jegyzetfüzetbe. Lehet DataReference vagy PipelineData. A DataReference egy meglévő adatrészletet jelöl egy adattárban. Ez lényegében egy adattár elérési útja. A DatabricksStep támogatja a DBFS, az Azure Blob vagy az ADLS v1 csomagokat tartalmazó adattárakat. A PipelineData egy folyamat egy másik lépése által előállított köztes adatokat jelöli.

Alapértelmezett érték: None
outputs
list[Union[OutputPortBinding, PipelineOutputAbstractDataset, PipelineData]]

Az ebben a lépésben létrehozott kimenetek kimeneti portdefinícióinak listája. Ezt a dbutils.widgets.get("output_name") használatával olvassa be a jegyzetfüzetbe. PipelineData-nak kell lennie.

Alapértelmezett érték: None
existing_cluster_id
str

Egy meglévő interaktív fürt fürtazonosítója a Databricks-munkaterületen. Ha ezt a paramétert adja át, nem adhatja át az új fürt létrehozásához használt alábbi paraméterek egyikét sem:

  • spark_version
  • node_type
  • instance_pool_id
  • num_workers
  • min_workers
  • max_workers
  • spark_env_variables
  • spark_conf

Megjegyzés: Új feladatfürt létrehozásához a fenti paramétereket kell megadnia. Ezeket a paramétereket közvetlenül is átadhatja, vagy átadhatja őket a RunConfiguration objektum részeként a runconfig paraméterrel. Ha ezeket a paramétereket közvetlenül és a RunConfiguration használatával adja át, az hibát eredményez.

Alapértelmezett érték: None
spark_version
str

A Databricks spark-verziója futtatja a fürtöt, például: "10.4.x-scala2.12". További információt a paraméter leírásában existing_cluster_id talál.

Alapértelmezett érték: None
node_type
str

[Kötelező] A Databricks-fürt Azure-beli virtuálisgép-csomóponttípusai, például: "Standard_D3_v2". Adja meg a node_type vagy a értéket instance_pool_id. További információt a paraméter leírásában existing_cluster_id talál.

Alapértelmezett érték: None
instance_pool_id
str

[Kötelező] Az a példánykészlet-azonosító, amelyhez a fürtöt hozzá kell csatolni. Adja meg a node_type vagy a értéket instance_pool_id. További információt a paraméter leírásában existing_cluster_id talál.

Alapértelmezett érték: None
num_workers
int

[Kötelező] A Databricks-fürthöz tartozó feldolgozók statikus száma. Meg kell adnia a num_workers vagy mindkettőt min_workers és max_workersa értéket. További információt a paraméter leírásában existing_cluster_id talál.

Alapértelmezett érték: None
min_workers
int

[Kötelező] A Databricks-futtató fürt automatikus skálázásához használandó feldolgozók minimális száma. Meg kell adnia a num_workers vagy mindkettőt min_workers és max_workersa értéket. További információt a paraméter leírásában existing_cluster_id talál.

Alapértelmezett érték: None
max_workers
int

[Kötelező] A Databricks-futtató fürt automatikus skálázásához használandó feldolgozók maximális száma. Meg kell adnia a num_workers vagy mindkettőt min_workers és max_workersa értéket. További információt a paraméter leírásában existing_cluster_id talál.

Alapértelmezett érték: None
spark_env_variables
dict

A Databricks-fürt Spark környezeti változói. További információt a paraméter leírásában existing_cluster_id talál.

Alapértelmezett érték: None
spark_conf
dict

A Databricks-fürt Spark-konfigurációja. További információt a paraméter leírásában existing_cluster_id talál.

Alapértelmezett érték: None
init_scripts
[str]

Elavult. A Databricks bejelentette, hogy a DBFS-ben tárolt init-szkript 2023. december 1. után leáll. A probléma megoldásához kérjük, 1) használjon globális init szkripteket a databricksben a következő https://learn.microsoft.com/azure/databricks/init-scripts/global 2. lépésben) tegye megjegyzésbe az AzureML databricks lépésben szereplő init_scripts sorát.

Alapértelmezett érték: None
cluster_log_dbfs_path
str

A DBFS elérési útjai, ahol a fürtök naplóit kézbesíteni kell.

Alapértelmezett érték: None
notebook_path
str

[Kötelező] A Databricks-példány jegyzetfüzetének elérési útja. Ez az osztály négyféleképpen adja meg a Databricks-fürtön végrehajtandó kódot.

  1. A Databricks-munkaterületen található jegyzetfüzet végrehajtásához használja a következőt: notebook_path=notebook_path, notebook_params={'myparam': 'testparam'}

  2. A DBFS-ben található Python-szkriptek végrehajtásához használja a következőt: python_script_path=python_script_dbfs_path, python_script_params={'arg1', 'arg2'}

  3. A DBFS-ben található JAR végrehajtásához használja a következőt: main_class_name=main_jar_class_name, jar_params={'arg1", "arg2"}, jar_libraries=[JarLibrary(jar_library_dbfs_path)]

  4. A helyi gépen található Python-szkript végrehajtásához használja a következőt: python_script_name=python_script_name, source_directory=source_directory

Adja meg pontosan az egyiket, python_script_patha , python_script_namea vagy a notebook_pathmain_class_nameértéket.

Alapértelmezett érték: None
notebook_params
dict[str, Union[str, PipelineParameter]]

A jegyzetfüzetbe továbbítandó paraméterek szótára. notebook_params widgetként érhetők el. A dbutils.widgets.get("myparam") használatával lekérheti az értékeket ezekből a widgetekből a jegyzetfüzetben.

Alapértelmezett érték: None
python_script_path
str

[Kötelező] A PYTHON-szkript elérési útja a DBFS-ben. Adja meg pontosan az egyiket, python_script_patha , python_script_namea vagy a notebook_pathmain_class_nameértéket.

Alapértelmezett érték: None
python_script_params
list[str, PipelineParameter]

A Python-szkript paraméterei.

Alapértelmezett érték: None
main_class_name
str

[Kötelező] A JAR-modul belépési pontjának neve. Adja meg pontosan az egyiket, python_script_patha , python_script_namea vagy a notebook_pathmain_class_nameértéket.

Alapértelmezett érték: None
jar_params
list[str, PipelineParameter]

A JAR modul paraméterei.

Alapértelmezett érték: None
python_script_name
str

[Kötelező] Egy Python-szkript neve a következőhöz source_directoryviszonyítva: . Ha a szkript bemeneteket és kimeneteket vesz fel, azokat a rendszer paraméterekként továbbítja a szkriptnek. Ha python_script_name meg van adva, akkor source_directory is meg kell lennie.

Adja meg pontosan az egyiket, python_script_patha , python_script_namea vagy a notebook_pathmain_class_nameértéket.

Ha egy DataReference-objektumot ad meg bemenetként data_reference_name=input1 és egy PipelineData objektumot a name=output1 kimenetként, akkor a bemenetek és kimenetek paraméterként lesznek átadva a szkriptnek. Így fognak kinézni, és elemeznie kell a szkript argumentumait az egyes bemenetek és kimenetek elérési útjainak eléréséhez: "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

Emellett a szkriptben a következő paraméterek lesznek elérhetők:

  • AZUREML_RUN_TOKEN: Az Azure Machine Learning-hitelesítés AML-jogkivonata.
  • AZUREML_RUN_TOKEN_EXPIRY: Az AML-jogkivonat lejárati ideje.
  • AZUREML_RUN_ID: Azure Machine Learning-futtatási azonosító ehhez a futtatáshoz.
  • AZUREML_ARM_SUBSCRIPTION: Azure-előfizetés az AML-munkaterülethez.
  • AZUREML_ARM_RESOURCEGROUP: Azure-erőforráscsoport az Azure Machine Learning-munkaterülethez.
  • AZUREML_ARM_WORKSPACE_NAME: Az Azure Machine Learning-munkaterület neve.
  • AZUREML_ARM_PROJECT_NAME: Az Azure Machine Learning-kísérlet neve.
  • AZUREML_SERVICE_ENDPOINT: Az AML-szolgáltatások végponti URL-címe.
  • AZUREML_WORKSPACE_ID: Az Azure Machine Learning-munkaterület azonosítója.
  • AZUREML_EXPERIMENT_ID: Az Azure Machine Learning-kísérlet azonosítója.
  • AZUREML_SCRIPT_DIRECTORY_NAME: Könyvtár elérési útja a DBFS-ben, ahol source_directory másolták. (Ezt a paramétert csak akkor tölti ki a rendszer, ha python_script_name használják. További részleteket alább talál.)

Amikor a DatabricksStep paraméterekkel source_directorypython_script_namefuttat egy Python-szkriptet a helyi gépről a Databricksben, a source_directory át lesz másolva a DBFS-be, és a DBFS könyvtárelérési útvonala paraméterként lesz átadva a szkriptnek a végrehajtás megkezdésekor. Ez a paraméter -AZUREML_SCRIPT_DIRECTORY_NAME címkével van ellátva. A dbFS könyvtárának eléréséhez a "dbfs:/" vagy a "/dbfs/" sztringgel kell előtagot adni.

Alapértelmezett érték: None
source_directory
str

A szkriptet és más fájlokat tartalmazó mappa. Ha python_script_name meg van adva, akkor source_directory is meg kell lennie.

Alapértelmezett érték: None
hash_paths
[str]

ELAVULT: már nincs rá szükség.

A kivonat elérési útjainak listája a lépés tartalmának módosításakor. Ha nem észlelhető változás, a folyamat újra felhasználja az előző futtatásból származó lépés tartalmát. Alapértelmezés szerint a tartalom source_directory kivonatolva van, kivéve az .amlignore vagy .gitignore fájlokat.

Alapértelmezett érték: None
run_name
str

A Databricksben a futtatás neve.

Alapértelmezett érték: None
timeout_seconds
int

A Databricks futásának időtúllépése.

Alapértelmezett érték: None
runconfig
RunConfiguration

A használni kívánt runconfig.

Megjegyzés: Annyi tárat adhat át a feladatnak, amennyit csak szeretne, a következő paraméterekkel: maven_libraries, pypi_libraries, egg_libraries, , jar_librariesvagy rcran_libraries. Adja meg ezeket a paramétereket közvetlenül a megfelelő paraméterekkel, vagy a RunConfiguration objektum részeként a runconfig paraméter használatával, de nem mindkettővel.

Alapértelmezett érték: None
maven_libraries
list[MavenLibrary]

A Databricks futtatásához használandó Maven-kódtárak.

Alapértelmezett érték: None
pypi_libraries
list[PyPiLibrary]

A Databricks futtatásához használandó PyPi-kódtárak.

Alapértelmezett érték: None
egg_libraries
list[EggLibrary]

A Databricks futtatásához használandó tojáskódtárak.

Alapértelmezett érték: None
jar_libraries
list[JarLibrary]

Jar-kódtárak a Databricks futtatásához.

Alapértelmezett érték: None
rcran_libraries
list[RCranLibrary]

A Databricks futtatásához használandó RCran-kódtárak.

Alapértelmezett érték: None
compute_target
str, DatabricksCompute

[Kötelező] Egy Azure Databricks-számítás. Ahhoz, hogy a DatabricksStep használatával végrehajthassa a szkripteket vagy jegyzetfüzeteket egy Azure Databricks-munkaterületen, hozzá kell adnia az Azure Databricks-munkaterületet számítási célként az Azure Machine Learning-munkaterülethez.

Alapértelmezett érték: None
allow_reuse
bool

Azt jelzi, hogy a lépés újra felhasználja-e a korábbi eredményeket, amikor ugyanazokat a beállításokat használja újra. Az újrafelhasználás alapértelmezés szerint engedélyezve van. Ha a lépés tartalma (szkriptek/függőségek), valamint a bemenetek és paraméterek változatlanok maradnak, a lépés előző futtatásából származó kimenet újra felhasználva lesz. A lépés újbóli használata esetén a feladat számítási feladatba való elküldése helyett az előző futtatás eredményei azonnal elérhetővé válnak a további lépésekhez. Ha az Azure Machine Learning-adathalmazokat használja bemenetként, az újrafelhasználást az határozza meg, hogy az adathalmaz definíciója megváltozott-e, nem pedig az, hogy a mögöttes adatok megváltoztak-e.

Alapértelmezett érték: True
version
str

Választható verziócímke, amely a lépés funkcióváltozását jelzi.

Alapértelmezett érték: None
permit_cluster_restart
bool

ha existing_cluster_id van megadva, ez a paraméter azt jelzi, hogy a fürt újraindítható-e a felhasználó nevében.

Alapértelmezett érték: None
name
Kötelező
str

[Kötelező] A lépés neve.
inputs
Kötelező
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Az ebben a lépésben felhasznált adatok bemeneti kapcsolatainak listája. Ezt a dbutils.widgets.get("input_name") használatával olvassa be a jegyzetfüzetbe. Lehet DataReference vagy PipelineData. A DataReference egy meglévő adatrészletet jelöl egy adattárban. Ez lényegében egy adattár elérési útja. A DatabricksStep támogatja a DBFS, az Azure Blob vagy az ADLS v1 csomagokat tartalmazó adattárakat. A PipelineData egy folyamat egy másik lépése által előállított köztes adatokat jelöli.
outputs
Kötelező
list[Union[OutputPortBinding, <xref:azureml.pipeline.core.pipeline_output_dataset.PipelineOutputDataset>, PipelineData]]

Az ebben a lépésben létrehozott kimenetek kimeneti portdefinícióinak listája. Ezt a dbutils.widgets.get("output_name") használatával olvassa be a jegyzetfüzetbe. PipelineData-nak kell lennie.
existing_cluster_id
Kötelező
str

Egy meglévő interaktív fürt fürtazonosítója a Databricks-munkaterületen. Ha ezt a paramétert adja át, nem adhatja át az új fürt létrehozásához használt alábbi paraméterek egyikét sem:

  • spark_version
  • node_type
  • instance_pool_id
  • num_workers
  • min_workers
  • max_workers
  • spark_env_variables
  • spark_conf

Megjegyzés: Új feladatfürt létrehozásához a fenti paramétereket kell megadnia. Ezeket a paramétereket közvetlenül is átadhatja, vagy átadhatja őket a RunConfiguration objektum részeként a runconfig paraméterrel. Ha ezeket a paramétereket közvetlenül és a RunConfiguration használatával adja át, az hibát eredményez.
spark_version
Kötelező
str

A Databricks spark-verziója futtatja a fürtöt, például: "10.4.x-scala2.12". További információt a paraméter leírásában existing_cluster_id talál.
node_type
Kötelező
str

[Kötelező] A Databricks-fürt Azure-beli virtuálisgép-csomóponttípusai, például: "Standard_D3_v2". Adja meg a node_type vagy a értéket instance_pool_id. További információt a paraméter leírásában existing_cluster_id talál.
instance_pool_id
Kötelező
str

[Kötelező] Az a példánykészlet-azonosító, amelyhez a fürtöt hozzá kell csatolni. Adja meg a node_type vagy a értéket instance_pool_id. További információt a paraméter leírásában existing_cluster_id talál.
num_workers
Kötelező
int

[Kötelező] A Databricks-futtató fürt feldolgozóinak statikus száma. Meg kell adnia a num_workers vagy mindkettőt min_workers és max_workersa értéket.

További információt a paraméter leírásában existing_cluster_id talál.
min_workers
Kötelező
int

[Kötelező] A Databricks-futtató fürt automatikus skálázásához használandó feldolgozók minimális száma. Meg kell adnia a num_workers vagy mindkettőt min_workers és max_workersa értéket.

További információt a paraméter leírásában existing_cluster_id talál.
max_workers
Kötelező
int

[Kötelező] A Databricks-futtató fürt automatikus skálázásához használandó feldolgozók maximális száma. Meg kell adnia a num_workers vagy mindkettőt min_workers és max_workersa értéket.

További információt a paraméter leírásában existing_cluster_id talál.
spark_env_variables
Kötelező
dict

A Databricks-futtató fürt Spark környezeti változói. További információt a paraméter leírásában existing_cluster_id talál.
spark_conf
Kötelező
dict

A Databricks-fürt Spark-konfigurációja. További információt a paraméter leírásában existing_cluster_id talál.
init_scripts
Kötelező
[str]

Elavult. A Databricks bejelentette, hogy a DBFS-ben tárolt init szkript 2023. december 1-jével leáll. A probléma megoldásához 1. használjon globális init szkripteket a databricksben a következő https://learn.microsoft.com/azure/databricks/init-scripts/global 2. lépésben) tegye megjegyzésbe az AzureML databricks-lépésben init_scripts sorát.
cluster_log_dbfs_path
Kötelező
str

A DBFS elérési útjai, ahol a fürtök naplóit kézbesíteni kell.
notebook_path
Kötelező
str

[Kötelező] A Jegyzetfüzet elérési útja a Databricks-példányban. Ez az osztály négyféleképpen adja meg a Databricks-fürtön végrehajtandó kódot.

  1. A Databricks-munkaterületen található jegyzetfüzet végrehajtásához használja a következőt: notebook_path=notebook_path, notebook_params={'myparam': 'testparam'}

  2. A DBFS-ben található Python-szkript végrehajtásához használja a következőt: python_script_path=python_script_dbfs_path, python_script_params={'arg1', 'arg2'}

  3. A DBFS-ben található JAR végrehajtásához használja a következőt: main_class_name=main_jar_class_name, jar_params={'arg1', 'arg2'}, jar_libraries=[JarLibrary(jar_library_dbfs_path)]

  4. A helyi gépen található Python-szkript végrehajtásához használja a következőt: python_script_name=python_script_name, source_directory=source_directory

Adja meg pontosan az egyiket, python_script_patha , python_script_namea vagy main_class_namea notebook_pathértéket.
notebook_params
Kötelező
dict[str, (str vagy PipelineParameter)]

A jegyzetfüzetbe továbbítandó paraméterek szótára. notebook_params vezérlőkként érhetők el. Ezekből a widgetekből a dbutils.widgets.get("myparam") használatával lekérheti az értékeket a jegyzetfüzetben.
python_script_path
Kötelező
str

[Kötelező] A PYTHON-szkript elérési útja a DBFS-ben. Adja meg pontosan az egyiket, python_script_patha , python_script_namea vagy main_class_namea notebook_pathértéket.
python_script_params
Kötelező
list[str, PipelineParameter]

A Python-szkript paraméterei.
main_class_name
Kötelező
str

[Kötelező] A JAR-modul belépési pontjának neve. Adja meg pontosan az egyiket, python_script_patha , python_script_namea vagy main_class_namea notebook_pathértéket.
jar_params
Kötelező
list[str, PipelineParameter]

A JAR-modul paraméterei.
source_directory
Kötelező
str

A szkriptet és más fájlokat tartalmazó mappa. Ha python_script_name meg van adva, akkor source_directory annak is meg kell lennie.
hash_paths
Kötelező
[str]

ELAVULT: már nincs rá szükség.

A kivonat elérési útjainak listája a lépés tartalmának módosításakor. Ha nem észlelhető változás, a folyamat újra felhasználja az előző futtatás lépéstartalmat. Alapértelmezés szerint a tartalma source_directory kivonatolva van, kivéve az .amlignore vagy .gitignore fájlokat.
run_name
Kötelező
str

A Databricksben a futtatás neve.
timeout_seconds
Kötelező
int

A Databricks futásának időtúllépése.
runconfig
Kötelező
RunConfiguration

A használni kívánt runconfig.

Megjegyzés: Annyi kódtárat adhat át a feladatnak, amennyit csak szeretne függőségként a következő paraméterekkel: , , , vagy rcran_librariesjar_libraries. egg_librariespypi_librariesmaven_libraries Adja át ezeket a paramétereket közvetlenül a megfelelő paraméterekkel, vagy a RunConfiguration objektum részeként a runconfig paraméterrel, de nem mindkettővel.
maven_libraries
Kötelező
list[<xref:azureml.core.runconfig.MavenLibrary>]

A Databricks futtatásához használandó Maven-kódtárak. További információ a Maven-kódtárak specifikációiról: help(azureml.core.runconfig.MavenLibrary).
pypi_libraries
Kötelező
list[<xref:azureml.core.runconfig.PyPiLibrary>]

A Databricks futtatásához használandó PyPi-kódtárak. További információ a PyPi-kódtárak specifikációiról: help(azureml.core.runconfig.PyPiLibrary).
egg_libraries
Kötelező
list[<xref:azureml.core.runconfig.EggLibrary>]

A Databricks futtatásához használandó tojáskódtárak. A Tojás kódtárak specifikációjára vonatkozó további információkért lásd: help(azureml.core.runconfig.EggLibrary).
jar_libraries
Kötelező
list[<xref:azureml.core.runconfig.JarLibrary>]

A Databricks futtatásához használandó JAR-kódtárak. A Jar-kódtárak specifikációjára vonatkozó további információkért lásd: help(azureml.core.runconfig.JarLibrary).
rcran_libraries
Kötelező
list[<xref:azureml.core.runconfig.RCranLibrary>]

A Databricks futtatásához használandó RCran-kódtárak. További információ az RCran-kódtárak specifikációiról: help(azureml.core.runconfig.RCranLibrary).
compute_target
Kötelező
str, DatabricksCompute

[Kötelező] Azure Databricks-számítás. Ahhoz, hogy a DatabricksStep használatával végrehajthassa a szkripteket vagy jegyzetfüzeteket egy Azure Databricks-munkaterületen, hozzá kell adnia az Azure Databricks-munkaterületet számítási célként az Azure Machine Learning-munkaterülethez.
allow_reuse
Kötelező
bool

Azt jelzi, hogy a lépés újra felhasználja-e a korábbi eredményeket, amikor ugyanazokkal a beállításokkal fut újra. Az újrafelhasználás alapértelmezés szerint engedélyezve van. Ha a lépés tartalma (szkriptek/függőségek), valamint a bemenetek és paraméterek változatlanok maradnak, a rendszer újra felhasználja a lépés előző futtatásának kimenetét. A lépés újrahasználásakor a feladat számítási feladatként való elküldése helyett az előző futtatás eredményei azonnal elérhetővé válnak a további lépésekhez. Ha az Azure Machine Learning-adatkészleteket használja bemenetként, az újrafelhasználást az határozza meg, hogy az adathalmaz definíciója megváltozott-e, nem pedig az, hogy az alapul szolgáló adatok megváltoztak-e.
version
Kötelező
str

Nem kötelező verziócímke, amely a lépés funkcióváltozását jelzi.
permit_cluster_restart
Kötelező
bool

ha existing_cluster_id van megadva, ez a paraméter azt jelzi, hogy a fürt újraindítható-e a felhasználó nevében.

Metódusok

create_node

Hozzon létre egy csomópontot a Databricks lépésből, és adja hozzá a megadott gráfhoz.

Ezt a módszert nem közvetlenül kell használni. Ha ezzel a lépéssel példányosít egy folyamatot, az Azure ML automatikusan átadja a szükséges paramétereket ezen a módon, hogy a lépés hozzáadható legyen a munkafolyamatot képviselő folyamatgráfhoz.

create_node

Hozzon létre egy csomópontot a Databricks lépésből, és adja hozzá a megadott gráfhoz.

Ezt a módszert nem közvetlenül kell használni. Ha ezzel a lépéssel példányosít egy folyamatot, az Azure ML automatikusan átadja a szükséges paramétereket ezen a módon, hogy a lépés hozzáadható legyen a munkafolyamatot képviselő folyamatgráfhoz.

create_node(graph, default_datastore, context)

Paraméterek

Name Description
graph
Kötelező
Graph

A csomópontot hozzáadni kívánt gráfobjektum.
default_datastore
Kötelező
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Az alapértelmezett adattár.
context
Kötelező
<xref:azureml.pipeline.core._GraphContext>

A gráfkörnyezet.

Válaszok

Típus Description
Node

A létrehozott csomópont.