Brug ai.translate med PySpark

Funktionen ai.translate bruger generativ AI til at oversætte inputtekst til et nyt sprog (efter eget valg) med en enkelt kodelinje.

Notat

• Denne artikel omhandler brug af ai.translate med PySpark. For at bruge ai.translate med pandaer, se denne artikel.
• Se andre AI-funktioner i denne oversigtsartikel.
• Få mere at vide om, hvordan du tilpasser konfigurationen af AI-funktioner.

Oversigt

Funktionen ai.translate er tilgængelig for Spark DataFrames. Du skal angive et eksisterende inputkolonnenavn som en parameter sammen med et destinationssprog.

Funktionen returnerer en ny DataFrame med oversættelser for hver inputtekstrække, der er gemt i en outputkolonne.

Syntaks

df.ai.translate(to_lang="spanish", input_col="text", output_col="translations")

Parametre

Navn	Beskrivelse
to_lang Påkrævet	En streng, der repræsenterer målsproget for tekstoversættelser.
input_col Påkrævet	En streng , der indeholder navnet på en eksisterende kolonne med inputtekstværdier, der skal oversættes.
output_col Valgfrit	En streng, der indeholder navnet på en ny kolonne, der gemmer oversættelser for hver inputtekstrække. Hvis du ikke angiver denne parameter, genereres der et standardnavn for outputkolonnen.
error_col Valgfrit	En streng , der indeholder navnet på en ny kolonne, der gemmer eventuelle OpenAI-fejl, der skyldes behandling af hver inputtekstrække. Hvis du ikke angiver denne parameter, genereres der et standardnavn for fejlkolonnen. Hvis der ikke er nogen fejl i en inputrække, er værdien i denne kolonne null.

Returnerer

Funktionen returnerer en Spark DataFrame , der indeholder en ny kolonne, der indeholder oversættelser af teksten i inputkolonnerækken. Hvis inputteksten er null, er resultatet null.

Eksempel

# This code uses AI. Always review output for mistakes.

df = spark.createDataFrame([
        ("Hello! How are you doing today?",),
        ("Tell me what you'd like to know, and I'll do my best to help.",),
        ("The only thing we have to fear is fear itself.",),
    ], ["text"])

translations = df.ai.translate(to_lang="spanish", input_col="text", output_col="translations")
display(translations)

Denne eksempelkodecelle indeholder følgende output:

Relateret indhold

• Brug ai.translate med pandaer.

• Registrer synspunkter med ai.analyze_sentiment.

• Kategoriser tekst med ai.classify.

• Generer vektorindlejringer med ai.embed.

• Udtræk enheder med ai_extract.

• Ret grammatik med ai.fix_grammar.

• Besvar brugerdefinerede brugerprompter med ai.generate_response.

• Beregn lighed med ai.similarity.

• Opsummer tekst med ai.summarize.

• Få mere at vide om det komplette sæt af AI-funktioner.

• Tilpas konfigurationen af AI-funktioner.

• Gik vi glip af en funktion, du har brug for? Foreslå det på Fabric Ideas forum.