Udostępnij przez

Tworzenie modelu za pomocą usługi SynapseML

W tym artykule pokazano, jak utworzyć model uczenia maszynowego za pomocą usługi SynapseML i jak upraszcza złożone zadania uczenia maszynowego. Użyj usługi SynapseML, aby utworzyć potok trenowania z etapem cechowania i etapem regresji LightGBM. Potok przewiduje oceny z tekstu przeglądu książki. Poniżej przedstawiono sposób używania wstępnie utworzonych modeli z usługą SynapseML do rozwiązywania problemów z uczeniem maszynowym.

Wymagania wstępne

Przygotowywanie zasobów

Skonfiguruj narzędzia i zasoby potrzebne do utworzenia modelu i potoku.

  1. Tworzenie nowego notesu
  2. Dołącz notes do magazynu lakehouse. W Eksploratorze rozwiń węzeł Lakehouses, a następnie wybierz pozycję Dodaj.
  3. Pobierz klucz usług AI platformy Azure, postępując zgodnie z instrukcjami w przewodniku Szybki start: tworzenie zasobu wielosługowego dla usług Azure AI.
  4. Utwórz wystąpienie usługi Azure Key Vault i dodaj klucz usług Azure AI do magazynu kluczy jako wpis tajny.
  5. Zarejestruj nazwę magazynu kluczy i nazwę wpisu tajnego. Te informacje są potrzebne do uruchomienia przekształcenia jednego kroku w dalszej części tego artykułu.

Konfigurowanie środowiska

W notesie zaimportuj biblioteki SynapseML i zainicjuj sesję platformy Spark.

from pyspark.sql import SparkSession
from synapse.ml.core.platform import *

spark = SparkSession.builder.getOrCreate()

Ładowanie zestawu danych

Załaduj zestaw danych i podziel go na zestawy trenowania i testowania.

train, test = (
    spark.read.parquet(
        "wasbs://publicwasb@mmlspark.blob.core.windows.net/BookReviewsFromAmazon10K.parquet"
    )
    .limit(1000)
    .cache()
    .randomSplit([0.8, 0.2])
)

display(train)

Tworzenie potoku trenowania

Utwórz potok, który featurizuje dane przy użyciu TextFeaturizersynapse.ml.featurize.text biblioteki i uzyskuje klasyfikację przy użyciu LightGBMRegressor funkcji .

from pyspark.ml import Pipeline
from synapse.ml.featurize.text import TextFeaturizer
from synapse.ml.lightgbm import LightGBMRegressor

model = Pipeline(
    stages=[
        TextFeaturizer(inputCol="text", outputCol="features"),
        LightGBMRegressor(featuresCol="features", labelCol="rating", dataTransferMode="bulk")
    ]
).fit(train)

Przewidywanie danych wyjściowych danych testowych

Wywołaj transform funkcję w modelu, aby przewidzieć i wyświetlić dane wyjściowe danych testowych jako ramkę danych.

display(model.transform(test))

Przekształcanie danych w jednym kroku za pomocą usług Azure AI

Alternatywnie w przypadku tego rodzaju zadań, które mają wstępnie utworzone rozwiązanie, możesz użyć integracji usługi SynapseML z usługami Azure AI, aby przekształcić dane w jednym kroku. Uruchom następujący kod z następującymi zamianami:

  • Zastąp <secret-name> ciąg nazwą klucza usługi Azure AI Services.
  • Zastąp <key-vault-name> ciąg nazwą magazynu kluczy.
from synapse.ml.services import TextSentiment
from synapse.ml.core.platform import find_secret

model = TextSentiment(
    textCol="text",
    outputCol="sentiment",
    subscriptionKey=find_secret("<secret-name>", "<key-vault-name>")
).setLocation("eastus")

display(model.transform(test))

Powiązana zawartość

  • Last updated on