LightGBM-modellek használata a SynapseML-lel a Microsoft Fabricben
A LightGBM-keretrendszer kiváló minőségű és GPU-kompatibilis döntési fa algoritmusok létrehozására specializálódott a rangsoroláshoz, besoroláshoz és sok más gépi tanulási feladathoz. Ebben a cikkben a LightGBM használatával készít besorolási, regressziós és rangsorolási modelleket.
A LightGBM egy nyílt forráskódú, elosztott, nagy teljesítményű színátmenet-növelő keretrendszer (GBDT, GBRT, GBM vagy MART). A LightGBM a Microsoft DMTK-projektjének része. A LightGBM-et a LightGBMClassifier, a LightGBMRegressor és a LightGBMRanker használatával használhatja. A LightGBM a meglévő SparkML-folyamatokba való beépítésének és a számítási feladatok kötegelt, streamelésének és kiszolgálásának előnyeivel jár. Emellett számos beállítható paramétert is kínál, amelyekkel testre szabható a döntési farendszer. A Spark LightGBM új típusú problémákat is támogat, például a kvantilis regressziót.
Előfeltételek
Microsoft Fabric-előfizetés lekérése. Vagy regisztráljon egy ingyenes Microsoft Fabric-próbaverzióra.
A kezdőlap bal oldalán található élménykapcsolóval válthat a Synapse Adattudomány felületre.
- Lépjen a Microsoft Fabric Adattudomány felületére.
- Hozzon létre egy új jegyzetfüzetet.
- Csatolja a jegyzetfüzetet egy tóházhoz. A jegyzetfüzet bal oldalán válassza a Hozzáadás lehetőséget egy meglévő tóház hozzáadásához, vagy hozzon létre egy újat.
Besorolási LightGBMClassifier
modell betanítása
Ebben a szakaszban a LightGBM használatával fog létrehozni egy besorolási modellt a csőd előrejelzéséhez.
Olvassa el az adathalmazt.
from pyspark.sql import SparkSession # Bootstrap Spark Session spark = SparkSession.builder.getOrCreate() from synapse.ml.core.platform import *
df = ( spark.read.format("csv") .option("header", True) .option("inferSchema", True) .load( "wasbs://publicwasb@mmlspark.blob.core.windows.net/company_bankruptcy_prediction_data.csv" ) ) # print dataset size print("records read: " + str(df.count())) print("Schema: ") df.printSchema()
display(df)
Ossza fel az adathalmazt betanítási és tesztelési csoportokra.
train, test = df.randomSplit([0.85, 0.15], seed=1)
Adjon hozzá egy featurálót a funkciók vektorokká alakításához.
from pyspark.ml.feature import VectorAssembler feature_cols = df.columns[1:] featurizer = VectorAssembler(inputCols=feature_cols, outputCol="features") train_data = featurizer.transform(train)["Bankrupt?", "features"] test_data = featurizer.transform(test)["Bankrupt?", "features"]
Ellenőrizze, hogy az adatok kiegyensúlyozatlanok-e.
display(train_data.groupBy("Bankrupt?").count())
A modell betanítása a következővel
LightGBMClassifier
: .from synapse.ml.lightgbm import LightGBMClassifier model = LightGBMClassifier( objective="binary", featuresCol="features", labelCol="Bankrupt?", isUnbalance=True )
model = model.fit(train_data)
A funkció fontosságának megjelenítése
import pandas as pd import matplotlib.pyplot as plt feature_importances = model.getFeatureImportances() fi = pd.Series(feature_importances, index=feature_cols) fi = fi.sort_values(ascending=True) f_index = fi.index f_values = fi.values # print feature importances print("f_index:", f_index) print("f_values:", f_values) # plot x_index = list(range(len(fi))) x_index = [x / len(fi) for x in x_index] plt.rcParams["figure.figsize"] = (20, 20) plt.barh( x_index, f_values, height=0.028, align="center", color="tan", tick_label=f_index ) plt.xlabel("importances") plt.ylabel("features") plt.show()
Előrejelzések létrehozása a modellel
predictions = model.transform(test_data) predictions.limit(10).toPandas()
from synapse.ml.train import ComputeModelStatistics metrics = ComputeModelStatistics( evaluationMetric="classification", labelCol="Bankrupt?", scoredLabelsCol="prediction", ).transform(predictions) display(metrics)
Kvantilis LightGBMRegressor
regressziós modell betanítása
Ebben a szakaszban a LightGBM használatával fog regressziós modellt létrehozni a kábítószerek felderítéséhez.
Olvassa el az adathalmazt.
triazines = spark.read.format("libsvm").load( "wasbs://publicwasb@mmlspark.blob.core.windows.net/triazines.scale.svmlight" )
# print some basic info print("records read: " + str(triazines.count())) print("Schema: ") triazines.printSchema() display(triazines.limit(10))
Ossza fel az adathalmazt betanítási és tesztelési csoportokra.
train, test = triazines.randomSplit([0.85, 0.15], seed=1)
A modell betanítása a következővel
LightGBMRegressor
: .from synapse.ml.lightgbm import LightGBMRegressor model = LightGBMRegressor( objective="quantile", alpha=0.2, learningRate=0.3, numLeaves=31 ).fit(train)
print(model.getFeatureImportances())
Előrejelzések létrehozása a modellel.
scoredData = model.transform(test) display(scoredData)
from synapse.ml.train import ComputeModelStatistics metrics = ComputeModelStatistics( evaluationMetric="regression", labelCol="label", scoresCol="prediction" ).transform(scoredData) display(metrics)
Rangsorolási LightGBMRanker
modell betanítása
Ebben a szakaszban a LightGBM használatával fog létrehozni egy rangsorolási modellt.
Olvassa el az adathalmazt.
df = spark.read.format("parquet").load( "wasbs://publicwasb@mmlspark.blob.core.windows.net/lightGBMRanker_train.parquet" ) # print some basic info print("records read: " + str(df.count())) print("Schema: ") df.printSchema() display(df.limit(10))
A rangsorolási modell betanítása a következővel
LightGBMRanker
: .from synapse.ml.lightgbm import LightGBMRanker features_col = "features" query_col = "query" label_col = "labels" lgbm_ranker = LightGBMRanker( labelCol=label_col, featuresCol=features_col, groupCol=query_col, predictionCol="preds", leafPredictionCol="leafPreds", featuresShapCol="importances", repartitionByGroupingColumn=True, numLeaves=32, numIterations=200, evalAt=[1, 3, 5], metric="ndcg", )
lgbm_ranker_model = lgbm_ranker.fit(df)
Előrejelzések létrehozása a modellel.
dt = spark.read.format("parquet").load( "wasbs://publicwasb@mmlspark.blob.core.windows.net/lightGBMRanker_test.parquet" ) predictions = lgbm_ranker_model.transform(dt) predictions.limit(10).toPandas()
Kapcsolódó tartalom
Visszajelzés
https://aka.ms/ContentUserFeedback.
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ:Visszajelzés küldése és megtekintése a következőhöz: