Trenowanie modeli uczenia maszynowego platformy Spark w usłudze Databricks Połączenie za pomocą poleceniapyspark.ml.connect
Ważne
Ta funkcja jest dostępna w publicznej wersji zapoznawczej.
W tym artykule przedstawiono przykład użycia modułu do wykonywania trenowania rozproszonego pyspark.ml.connect
w celu trenowania modeli uczenia maszynowego platformy Spark i uruchamiania wnioskowania modelu w usłudze Databricks Połączenie.
Co to jest usługa pyspark.ml.connect
?
Platforma Spark 3.5 wprowadza, pyspark.ml.connect
która jest przeznaczona do obsługi trybu łączenia platformy Spark i usługi Databricks Połączenie. Dowiedz się więcej o Połączenie usługi Databricks.
Moduł pyspark.ml.connect
składa się z typowych algorytmów uczenia i narzędzi, w tym klasyfikacji, przekształcania funkcji, potoków uczenia maszynowego i krzyżowego sprawdzania poprawności. Ten moduł zawiera podobne interfejsy do starszego pyspark.ml
modułu, ale pyspark.ml.connect
moduł zawiera obecnie tylko podzbiór algorytmów w programie pyspark.ml
. Obsługiwane algorytmy są wymienione poniżej:
- Algorytm klasyfikacji:
pyspark.ml.connect.classification.LogisticRegression
- Transformatory cech:
pyspark.ml.connect.feature.MaxAbsScaler
ipyspark.ml.connect.feature.StandardScaler
- Ewaluator:
pyspark.ml.connect.RegressionEvaluator
,pyspark.ml.connect.BinaryClassificationEvaluator
iMulticlassClassificationEvaluator
- Rurociągu:
pyspark.ml.connect.pipeline.Pipeline
- Dostrajanie modelu:
pyspark.ml.connect.tuning.CrossValidator
Wymagania
- Skonfiguruj Połączenie usługi Databricks w klastrach. Zobacz Konfiguracja klastra dla usługi Databricks Połączenie.
- Zainstalowano środowisko Databricks Runtime 14.0 ML lub nowsze.
- Tryb dostępu do klastra w programie
Assigned
.
Przykładowy notes
W poniższym notesie pokazano, jak używać rozproszonego uczenia maszynowego w usłudze Databricks Połączenie:
Rozproszone uczenie maszynowe w usłudze Databricks Połączenie
Aby uzyskać informacje referencyjne dotyczące interfejsów API w usłudze pyspark.ml.connect
, usługa Databricks zaleca dokumentację interfejsu API platformy Apache Spark