Používanie ai.fix_grammar s aplikáciou PySpark

Funkcia ai.fix_grammar využíva generatívnu umelú inteligenciu na opravu pravopisu, gramatiky a interpunkcie vstupného textu pomocou jedného riadku kódu.

Poznámka

• Tento článok sa zaoberá používaním ai.fix_grammar s PySparkom. Ak chcete použiť ai.fix_grammar s pandami, pozrite si tento článok.
• Ďalšie funkcie umelej inteligencie nájdete v tomto prehľadnom článku.
• Naučte sa, ako prispôsobiť konfiguráciu funkcií AI.

Overview

Táto ai.fix_grammar funkcia je k dispozícii pre údajové rámce Spark. Názov existujúceho vstupného stĺpca musíte zadať ako parameter.

Funkcia vráti nový údajový rámec, ktorý obsahuje opravený text pre každý riadok vstupného textu uložený vo výstupnom stĺpci.

Syntax

df.ai.fix_grammar(input_col="input", output_col="corrections")

Parametre

Name	Popis
input_col Povinné	Reťazec, ktorý obsahuje názov existujúceho stĺpca so vstupnými textovými hodnotami na opravu pravopisu, gramatiky a interpunkcie.
output_col Voliteľné	Reťazec, ktorý obsahuje názov nového stĺpca na uloženie opraveného textu pre každý riadok vstupného textu. Ak tento parameter nenastavíte, pre výstupný stĺpec sa vygeneruje predvolený názov.
error_col Voliteľné	Reťazec, ktorý obsahuje názov nového stĺpca na uloženie všetkých chýb OpenAI, ktoré sú výsledkom spracovania každého riadka vstupného textu. Ak tento parameter nenastavíte, pre chybový stĺpec sa vygeneruje predvolený názov. Ak sa v riadku vstupu nenachádzajú žiadne chyby, hodnota v tomto stĺpci je null.

Vrátené hodnoty

Funkcia vráti údajový rámec Spark , ktorý obsahuje nový stĺpec, ktorý obsahuje opravený text pre každý riadok textu vo vstupnom stĺpci. Ak je vstupný text null, výsledok je null.

Príklad

# This code uses AI. Always review output for mistakes.

df = spark.createDataFrame([
        ("There are an error here.",),
        ("She and me go weigh back. We used to hang out every weeks.",),
        ("The big picture are right, but you're details is all wrong.",)
    ], ["text"])

results = df.ai.fix_grammar(input_col="text", output_col="corrections")
display(results)

Táto príkladová bunka kódu poskytuje nasledujúci výstup:

Súvisiaci obsah

• Používajte ai.fix_grammar s pandami.

• Zistite sentiment pomocou ai.analyze_sentiment.

• Kategorizujte text pomocou ai.classify.

• Generujte vektorové embeddingy pomocou ai.embed.

• Extrahujte entity pomocou ai_extract.

• Opravte gramatiku pomocou ai.fix_grammar.

• Odpovedzte na vlastné výzvy používateľov pomocou ai.generate_response.

• Vypočítajte podobnosť s ai.podobnosťou.

• Zhrňte text pomocou ai.summarize.

• Preložte text pomocou ai.translate.

• Prečítajte si viac o úplnej sade funkcií umelej inteligencie.

• Prispôsobte konfiguráciu funkcií AI.

• Chýbala vám funkcia, ktorú potrebujete? Navrhnite ho na fóre Fabric Ideas.