Enriquecimiento de datos mediante AI Functions

Importante

Esta característica está en versión preliminar pública.

AI Functions son funciones integradas que se pueden usar para aplicar modelos de lenguaje extenso (LLMs) o técnicas de investigación de vanguardia sobre los datos almacenados en Azure Databricks para la transformación y el enriquecimiento de datos. Se pueden ejecutar desde cualquier lugar de Databricks, incluidos Databricks SQL, cuadernos, canalizaciones declarativas de Spark de Lakeflow y flujos de trabajo.

Las funciones de IA son fáciles de usar, rápidas y escalables. Los analistas pueden usarlos para aplicar la inteligencia de datos a sus datos propietarios, mientras que los ingenieros de datos, los científicos de datos y los ingenieros de aprendizaje automático pueden usarlos para crear canalizaciones por lotes de nivel de producción.

Tarea específica y de uso general

Ai Functions tiene funciones específicas de tareas y de uso general:

• Funciones de IA específicas de tareas: funciones diseñadas específicamente optimizadas para una tarea específica, como el análisis de documentos, la extracción de entidades, la clasificación y el análisis de sentimiento. Estas funciones están impulsadas por sistemas respaldados en investigación y gestionados por Azure Databricks. Algunas funciones incluyen experiencias de interfaz de usuario. Consulte Funciones de IA específicas de la tarea para conocer las funciones y modelos admitidos.
• ai_query — Función de uso general para la flexibilidad de tareas y modelos. Proporcione un mensaje y elija cualquier API de Foundation Model compatible. Consulte Uso de ai_query.

Funciones de IA específicas de la tarea

Las funciones específicas de la tarea se limitan a una determinada tarea para que pueda automatizar transformaciones rutinarias, como la extracción de entidades, la traducción y la clasificación. Databricks recomienda estas funciones para empezar porque invocan técnicas de investigación de última generación mantenidas por Databricks y no requieren ninguna personalización.

Consulte Análisis de opiniones de clientes con AI Functions para obtener un ejemplo.

En la tabla siguiente se enumeran las funciones admitidas y la tarea que realizan.

Función	Descripción
ai_parse_document	Analizar contenido estructurado (texto, tablas, descripciones de figura) y diseño de documentos no estructurados mediante técnicas de investigación de última generación.
ai_extract	Extraiga campos estructurados de documentos o texto mediante un esquema que defina.
ai_classify	Clasifique el texto de entrada según las etiquetas que proporcione mediante técnicas de investigación de última generación.
ai_analyze_sentiment	Realice un análisis de sentimiento en el texto de entrada mediante un modelo de ia generativa de última generación.
ai_corregir_gramática	Corrija los errores gramaticales en el texto mediante un modelo de ia generativa de última generación.
ai_gen	Responda al mensaje proporcionado por el usuario mediante un modelo de ia generativa de última generación.
ai_mask	Enmascarar las entidades especificadas en el texto mediante un modelo de IA generativo de última generación.
ai_query	Una función de IA de uso general para tareas que van más allá de lo que ofrecen las funciones específicas de la tarea. Proporcione un mensaje personalizado y elija cualquier modelo de API de Foundation Model compatible.
ai_similarity	Compare dos cadenas y calcule la puntuación de similitud semántica mediante un modelo de ia generativa de última generación.
ai_summarize	Genere un resumen del texto mediante SQL y el modelo de ia generativa de última generación.
ai_translate	Traduzca texto a un idioma de destino especificado mediante un modelo de ia generativa de última generación.
ai_forecast	Previsión de datos hasta un horizonte especificado. Esta función con valores de tabla está diseñada para extrapolar los datos de series temporales en el futuro.
vector_search	Busque y consulte un índice de búsqueda de vectores de IA de mosaico mediante un modelo de IA generativo de última generación.

Uso de funciones de IA en flujos de trabajo de producción

Para la inferencia por lotes a gran escala, puede integrar funciones de IA específicas de tareas o la función ai_query de uso general en sus flujos de trabajo de producción, como Declarative Pipelines de Lakeflow Spark, flujos de trabajo de Databricks y Structured Streaming. Esto permite el procesamiento de nivel de producción a escala.

Procedimientos recomendados para las funciones de inteligencia artificial en producción:

Permitir que AI Functions controle la carga de trabajo a escala: Ai Functions administra automáticamente la paralelización, los reintentos y el escalado. Se recomienda enviar el conjunto de datos completo en una sola consulta en lugar de dividirlo manualmente en lotes pequeños. Es posible que el rendimiento no se escale linealmente de cargas de trabajo muy pequeñas a cargas de trabajo a gran escala.

Use modelos de base hospedados en Databricks: Al usar la función de ia de ai_query, use modelos de base hospedados en Databricks (prefijo con databricks-), no con rendimiento aprovisionado. Estos puntos de conexión sin aprovisionamiento están totalmente administrados y funcionan mejor para el procesamiento por lotes.

Consulte Implementación de canalizaciones de inferencia por lotes para obtener ejemplos y detalles.

Supervisión del progreso de las funciones de IA

Para comprender cuántas inferencias se han completado o producido errores y solucionar problemas de rendimiento, puede supervisar el progreso de las funciones de IA mediante la característica de perfil de consulta.

En Databricks Runtime 16.1 ML y versiones posteriores, desde la ventana de consulta del editor de SQL del área de trabajo:

1. Seleccione el vínculo En ejecución--- en la parte inferior de la ventana Resultados sin procesar. La ventana de rendimiento aparece a la derecha.
2. Haga clic en Ver perfil de consulta para ver los detalles del rendimiento.
3. Haga clic en Consulta de IA para ver las métricas de esa consulta concreta, incluido el número de inferencias completadas y con errores y el tiempo total que tardó la solicitud en completarse.

Visualización de los costos de las cargas de trabajo de la función de IA

Los costos de la función de IA quedan registrados como parte del MODEL_SERVING producto bajo el BATCH_INFERENCE tipo de oferta. Consulte Visualización de los costos de las cargas de trabajo de inferencia por lotes para obtener una consulta de ejemplo.

Nota:

Los costos de ai_parse_document, ai_extract y ai_classify se registran como parte del producto AI_FUNCTIONS. Consulte Visualización de los costos de ai_parse_document ejecuciones para obtener una consulta de ejemplo.

Visualización de los costos de las cargas de trabajo de inferencia por lotes

En los ejemplos siguientes se muestra cómo filtrar las cargas de trabajo de inferencia por lotes en función del trabajo, el proceso, los almacenes de SQL y las canalizaciones declarativas de Spark de Lakeflow.

Consulte Supervisión de los costos de servicio del modelo para obtener ejemplos generales sobre cómo ver los costos de las cargas de trabajo de inferencia por lotes que usan AI Functions.

Jobs

En la consulta siguiente se muestran los trabajos que se utilizan para la inferencia por lotes mediante una tabla de sistemas system.workflow.jobs. Consulte Supervisión de costos y rendimiento de trabajos con tablas del sistema.

SELECT *
FROM system.billing.usage u
  JOIN system.workflow.jobs x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.job_id = x.job_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Compute

A continuación se muestran los clústeres que se están utilizando para la inferencia por lotes con la tabla de sistemas system.compute.clusters.

SELECT *
FROM system.billing.usage u
  JOIN system.compute.clusters x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.cluster_id = x.cluster_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Canalizaciones declarativas de Spark de Lakeflow

La siguiente descripción muestra cuáles canalizaciones declarativas de Lakeflow Spark se están utilizando para la inferencia por lotes con la tabla system.lakeflow.pipelines systems.

SELECT *
FROM system.billing.usage u
  JOIN system.lakeflow.pipelines x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.dlt_pipeline_id = x.pipeline_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Almacén de SQL

A continuación se muestran los almacenes de SQL que se usan para la inferencia en lotes mediante la tabla de sistemas system.compute.warehouses.

SELECT *
FROM system.billing.usage u
  JOIN system.compute.clusters x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.cluster_id = x.cluster_id
  WHERE u.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Visualización de los costos de ai_parse_document ejecuciones

En el ejemplo siguiente se muestra cómo consultar las tablas del sistema de facturación para ver los costos de las ai_parse_document ejecuciones.

SELECT *
FROM system.billing.usage u
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "AI_FUNCTIONS"
  AND u.product_features.ai_functions.ai_function = "AI_PARSE_DOCUMENT";