Del via


Bruk ai.fix_grammar med PySpark

Funksjonen ai.fix_grammar bruker generativ AI for å korrigere stavemåte, grammatikk og tegnsetting av inndatatekst, med en enkelt kodelinje.

Note

Oversikt

Funksjonen ai.fix_grammar er tilgjengelig for Spark DataFrames. Du må angi navnet på en eksisterende inndatakolonne som parameter.

Funksjonen returnerer en ny DataFrame som inneholder korrigert tekst for hver inndatatekstrad, som er lagret i en utdatakolonne.

Syntaks

df.ai.fix_grammar(input_col="input", output_col="corrections")

Parametere

Name Beskrivelse
input_col
Obligatorisk
En streng som inneholder navnet på en eksisterende kolonne med inndatatekstverdier som skal korrigeres for stavemåte, grammatikk og tegnsetting.
output_col
Valgfritt
En streng som inneholder navnet på en ny kolonne for å lagre korrigert tekst for hver rad med inndatatekst. Hvis du ikke angir denne parameteren, genereres et standardnavn for utdatakolonnen.
error_col
Valgfritt
En streng som inneholder navnet på en ny kolonne for å lagre eventuelle OpenAI-feil som skyldes behandling av hver rad med inndatatekst. Hvis du ikke angir denne parameteren, genereres et standardnavn for feilkolonnen. Hvis det ikke er noen feil for en rad med inndata, er verdien i denne kolonnen null.

Returnerer

Funksjonen returnerer en Spark DataFrame som inneholder en ny kolonne som inneholder korrigert tekst for hver rad med tekst i inndatakolonnen. Hvis inndatateksten er null, blir resultatet null.

Eksempel

# This code uses AI. Always review output for mistakes.

df = spark.createDataFrame([
        ("There are an error here.",),
        ("She and me go weigh back. We used to hang out every weeks.",),
        ("The big picture are right, but you're details is all wrong.",)
    ], ["text"])

results = df.ai.fix_grammar(input_col="text", output_col="corrections")
display(results)

Denne eksempelkodecellen gir følgende utdata:

Skjermbilde som viser en dataramme med en tekstkolonne og en korreksjonskolonne, som har teksten fra tekstkolonnen med korrigert grammatikk.