Uso de ai.fix_grammar con PySpark

La ai.fix_grammar función usa ia generativa para corregir la ortografía, gramática y puntuación del texto de entrada, con una sola línea de código.

Nota:

• En este artículo se describe el uso de ai.fix_grammar con PySpark. Para usar ai.fix_grammar con pandas, consulte este artículo.
• Consulte otras funciones de IA en este artículo de información general.
• Aprenda a personalizar la configuración de las funciones de IA.

Información general

La ai.fix_grammar función está disponible para DataFrames de Spark. Debe especificar el nombre de una columna de entrada existente como parámetro.

La función devuelve un nuevo DataFrame que incluye texto corregido para cada fila de texto de entrada, almacenada en una columna de salida.

Syntax

df.ai.fix_grammar(input_col="input", output_col="corrections")

Parámetros

Nombre	Description
input_col Obligatorio	Cadena que contiene el nombre de una columna existente con valores de texto de entrada para corregir la ortografía, gramática y puntuación.
output_col Opcional	Cadena que contiene el nombre de una nueva columna para almacenar texto corregido para cada fila de texto de entrada. Si no establece este parámetro, se genera un nombre predeterminado para la columna de salida.
error_col Opcional	La cadena que contiene el nombre de una nueva columna para almacenar los errores de OpenAI que resultan del procesamiento de cada fila de texto de entrada. Si no establece este parámetro, se genera un nombre predeterminado para la columna de error. Si no hay ningún error para una fila de entrada, el valor de esta columna es null.

Devoluciones

La función devuelve un DataFrame de Spark que incluye una nueva columna que contiene texto corregido para cada fila de texto de la columna de entrada. Si el texto de entrada es null, el resultado es null.

Example

# This code uses AI. Always review output for mistakes.

df = spark.createDataFrame([
        ("There are an error here.",),
        ("She and me go weigh back. We used to hang out every weeks.",),
        ("The big picture are right, but you're details is all wrong.",)
    ], ["text"])

results = df.ai.fix_grammar(input_col="text", output_col="corrections")
display(results)

Esta celda de código de ejemplo proporciona la siguiente salida:

Contenido relacionado

• Usa ai.fix_grammar con pandas.

• Detectar opiniones con ai.analyze_sentiment.

• Clasificar texto con ai.classify.

• Genere incrustaciones de vectores con ai.embed.

• Extraiga entidades con ai_extract.

• Corrija la gramática con ai.fix_grammar.

• Responda a las solicitudes de usuario personalizadas con ai.generate_response.

• Calcule la similitud con ai.similarity.

• Resumir texto con ai.summarize.

• Traducir texto con ai.translate.

• Obtenga más información sobre el conjunto completo de funciones de inteligencia artificial.

• Personalice la configuración de las funciones de IA.

• ¿Perdimos una característica que necesita? Sugerirlo en el foro de Ideas de Fabric.