Databricks Connect'te Spark ML modellerini ile eğitin pyspark.ml.connect
Önemli
Bu özellik Genel Önizlemededir.
Bu makalede, Spark ML modellerini eğitmek ve Databricks Connect'te model çıkarımı çalıştırmak için dağıtılmış eğitim gerçekleştirmek üzere modülün nasıl kullanılacağını pyspark.ml.connect gösteren bir örnek sağlanır.
pyspark.ml.connect nedir?
Spark 3.5, Spark bağlantı modunu ve Databricks Connect'i desteklemek için tasarlanmış bir özelliktir pyspark.ml.connect . Databricks Connect hakkında daha fazla bilgi edinin.
Modül sınıflandırma pyspark.ml.connect , özellik dönüştürücüleri, ML işlem hatları ve çapraz doğrulama gibi yaygın öğrenme algoritmalarından ve yardımcı programlarından oluşur. Bu modül, eski pyspark.ml modüle benzer arabirimler sağlar, ancak pyspark.ml.connect modül şu anda içindeki pyspark.mlalgoritmaların yalnızca bir alt kümesini içerir. Desteklenen algoritmalar aşağıda listelenmiştir:
- Sınıflandırma algoritması:
pyspark.ml.connect.classification.LogisticRegression - Özellik transformatörleri:
pyspark.ml.connect.feature.MaxAbsScalervepyspark.ml.connect.feature.StandardScaler - Değerlendirici:
pyspark.ml.connect.RegressionEvaluator,pyspark.ml.connect.BinaryClassificationEvaluatorveMulticlassClassificationEvaluator - Ardışık düzen:
pyspark.ml.connect.pipeline.Pipeline - Model ayarlama:
pyspark.ml.connect.tuning.CrossValidator
Gereksinimler
- Kümelerinizde Databricks Connect'i ayarlayın. Bkz. Databricks Connect için küme yapılandırması.
- Databricks Runtime 14.0 ML veya üzeri yüklü.
- öğesinin
Assignedküme erişim modu.
Örnek not defteri
Aşağıdaki not defterinde Databricks Connect'te Dağıtılmış ML'nin nasıl kullanılacağı gösterilmektedir:
Databricks Connect'te Dağıtılmış ML
içindeki API'ler pyspark.ml.connecthakkında başvuru bilgileri için Databricks Apache Spark API başvurusu önerir