Uso de ai.classify con PySpark

La ai.classify función usa ia generativa para clasificar el texto de entrada según las etiquetas personalizadas que elija, con una sola línea de código.

Nota:

• En este artículo se describe el uso de ai.classify con PySpark. Para usar ai.classify con pandas, consulte este artículo.
• Consulte otras funciones de IA en este artículo de información general.
• Aprenda a personalizar la configuración de las funciones de IA.

Información general

La ai.classify función está disponible para DataFrames de Spark. Debe especificar el nombre de una columna de entrada existente como parámetro, junto con una lista de etiquetas de clasificación.

La función devuelve un nuevo DataFrame con etiquetas que coinciden con cada fila de texto de entrada, almacenada en una columna de salida.

Syntax

df.ai.classify(labels=["category1", "category2", "category3"], input_col="text", output_col="classification")

Parámetros

Nombre	Description
labels Obligatorio	Matriz de cadenas que representa el conjunto de etiquetas de clasificación para que coincidan con los valores de texto de la columna de entrada.
input_col Obligatorio	Cadena que contiene el nombre de una columna existente con datos de texto de entrada para clasificar según las etiquetas personalizadas.
output_col Opcional	Una cadena que contiene el nombre de una nueva columna en la que desea almacenar una etiqueta de clasificación para cada fila de texto de entrada. Si no establece este parámetro, se genera un nombre predeterminado para la columna de salida.
error_col Opcional	Cadena que contiene el nombre de una nueva columna. La nueva columna almacena los errores de OpenAI resultantes del procesamiento de cada fila de texto de entrada. Si no establece este parámetro, se genera un nombre predeterminado para la columna de error. Si no hay ningún error para una fila de entrada, el valor de esta columna es null.

Devoluciones

La función devuelve un DataFrame de Spark que incluye una nueva columna que contiene etiquetas de clasificación que coinciden con cada fila de texto de entrada. Si no se puede clasificar un valor de texto, la etiqueta correspondiente es null.

Example

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",),
        ("Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",),
        ("Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!",)
    ], ["descriptions"])
    
categories = df.ai.classify(labels=["kitchen", "bedroom", "garage", "other"], input_col="descriptions", output_col="categories")
display(categories)

Esta celda de código de ejemplo proporciona la siguiente salida:

Contenido relacionado

• Utiliza ai.classify con pandas.

• Detectar opiniones con ai.analyze_sentiment.

• Genere incrustaciones de vectores con ai.embed.

• Extraiga entidades con ai_extract.

• Corrija la gramática con ai.fix_grammar.

• Responda a las solicitudes de usuario personalizadas con ai.generate_response.

• Calcule la similitud con ai.similarity.

• Resumir texto con ai.summarize.

• Traducir texto con ai.translate.

• Obtenga más información sobre el conjunto completo de funciones de inteligencia artificial.

• Personalice la configuración de las funciones de IA.

• ¿Perdimos una característica que necesita? Sugerirlo en el foro de Ideas de Fabric.