Az első SynapseML-modell létrehozása

  • Cikk

Ez a cikk bemutatja, hogyan hozhatja létre első gépi tanulási modelljét a SynapseML használatával, és bemutatja, hogyan egyszerűsíti a SynapseML az összetett gépi tanulási feladatokat. A SynapseML használatával létrehozunk egy kis ml-betanítási folyamatot, amely tartalmaz egy featurizációs szakaszt és egy LightGBM regressziós szakaszt. A folyamat az Amazon könyvkon reviews adatkészletéből származó véleményezések alapján előrejelzi a minősítéseket. Végül bemutatjuk, hogyan egyszerűsíti a SynapseML az előre összeállított modellek használatát az ML-problémák megoldásához.

Előfeltételek

  • Microsoft Fabric-előfizetés lekérése. Vagy regisztráljon egy ingyenes Microsoft Fabric-próbaverzióra.

  • Jelentkezzen be a Microsoft Fabricbe.

  • A kezdőlap bal oldalán található élménykapcsolóval válthat a Synapse Adattudomány felületre.

    Screenshot of the experience switcher menu, showing where to select Data Science.

A környezet beállítása

SynapseML-kódtárak importálása és a Spark-munkamenet inicializálása.

from pyspark.sql import SparkSession
from synapse.ml.core.platform import *

spark = SparkSession.builder.getOrCreate()

Adatkészlet betöltése

Töltse be az adathalmazt, és ossza fel betanítási és tesztelési csoportokra.

train, test = (
    spark.read.parquet(
        "wasbs://publicwasb@mmlspark.blob.core.windows.net/BookReviewsFromAmazon10K.parquet"
    )
    .limit(1000)
    .cache()
    .randomSplit([0.8, 0.2])
)

display(train)

A betanítási folyamat létrehozása

Hozzon létre egy folyamatot, amely a kódtár használatával featurizálja az synapse.ml.featurize.text adatokatTextFeaturizer, és a függvény használatával lekér egy minősítéstLightGBMRegressor.

from pyspark.ml import Pipeline
from synapse.ml.featurize.text import TextFeaturizer
from synapse.ml.lightgbm import LightGBMRegressor

model = Pipeline(
    stages=[
        TextFeaturizer(inputCol="text", outputCol="features"),
        LightGBMRegressor(featuresCol="features", labelCol="rating"),
    ]
).fit(train)

A tesztadatok kimenetének előrejelzése

Hívja meg a transform modell függvényét a tesztadatok kimenetének előrejelzéséhez és adatkeretként való megjelenítéséhez.

display(model.transform(test))

Adatok átalakítása egy lépésben az Azure AI-szolgáltatások használatával

Az ilyen típusú, előre összeállított megoldással rendelkező feladatok esetében a SynapseML Azure AI-szolgáltatásokkal való integrációjával egyetlen lépésben alakíthatja át az adatokat.

from synapse.ml.cognitive import TextSentiment
from synapse.ml.core.platform import find_secret

model = TextSentiment(
    textCol="text",
    outputCol="sentiment",
    subscriptionKey=find_secret("cognitive-api-key"), # Replace it with your cognitive service key, check prerequisites for more details
).setLocation("eastus")

display(model.transform(test))

Kapcsolódó tartalom