Consultar LLM y agentes en Azure Databricks

Azure Databricks proporciona varias maneras de consultar modelos de lenguaje grande (LLM), modelos básicos e agentes implementados. Elija una interfaz de usuario interactiva, SQL, API REST o bibliotecas cliente en función del flujo de trabajo.

AI Playground

El AI Playground es un entorno de chat sin necesidad de código en su espacio de trabajo de Azure Databricks para crear instrucciones y comparar los LLM. Úselo para experimentar con avisos, optimizar parámetros como temperatura y tokens máximos, y crear prototipos de agentes de llamada a herramientas y bots de respuesta a preguntas en paralelo antes de pasar al código.

Enriquecimiento de datos mediante AI Functions

AI Functions son funciones SQL integradas que aplican LLM y otros modelos a los datos almacenados en Azure Databricks. Ejecútelos desde Databricks SQL, cuadernos, canalizaciones declarativas de Spark de Lakeflow o flujos de trabajo para clasificar incidencias de soporte técnico, extraer entidades de documentos, resumir contenido o traducir texto a escala por lotes.

Elija entre dos estilos de funciones:

• Funciones de tareas específicas como ai_classify, ai_extract y ai_parse_document están optimizadas para una sola tarea y utilizan sistemas administrados por Azure Databricks y respaldados por la investigación.
• ai_query es la función de uso general: proporcione su propio aviso y elija cualquier modelo de base compatible. Consulte Uso de ai_query.

Para obtener un ejemplo completo, consulte Análisis de revisiones de clientes mediante AI Functions.

Agentes de consulta

Después de compilar e implementar un agente, consulte el agente desde la aplicación. Los agentes se pueden hospedar en las aplicaciones de Databricks o en los puntos de conexión de servicio del modelo de IA de Mosaico. Azure Databricks admite tres métodos de consulta:

• Databricks OpenAI Client — recomendado para aplicaciones nuevas, con transmisión en tiempo real nativa y compatibilidad completa con todas las funciones.
• Api REST compatible con OpenAI : independiente del lenguaje, funciona con cualquier plataforma que ya hable la API de OpenAI.
• ai_query — consulta agentes heredados alojados en endpoints de Model Serving mediante SQL.

Modelos de base

Mosaic AI Model Serving aloja modelos abiertos, modelos fundacionales administrados por Azure Databricks y modelos fundacionales externos detrás de una API unificada. Elija la opción de implementación que se adapte a la carga de trabajo:

• Pago por token : consulte puntos de conexión preconfigurados en el área de trabajo sin compromiso de infraestructura. Bueno para la experimentación.
• Rendimiento aprovisionado : implemente modelos optimizados con garantías de rendimiento y servicio optimizadas para producción.
• Modelos externos — dirige las solicitudes a proveedores como OpenAI o Anthropic a través de la gobernanza de Azure Databricks.