Consultar LLM y agentes en Azure Databricks

Azure Databricks proporciona varias maneras de consultar modelos de lenguaje grande (LLM), modelos básicos e agentes implementados. Elija una interfaz de usuario interactiva, SQL, API REST o bibliotecas cliente en función del flujo de trabajo.

AI Playground

El AI Playground es un entorno de chat sin código en tu espacio de trabajo de Azure Databricks para introducir indicaciones y comparar modelos de lenguaje grande (LLM). Úselo para experimentar con avisos, optimizar parámetros como temperatura y tokens máximos, y crear prototipos de agentes de llamada a herramientas y bots de respuesta a preguntas en paralelo antes de pasar al código.

Modelos de base

Unity AI Gateway sirve modelos de base de pago por token administrados Azure Databricks detrás de una API unificada, lista para usar sin compromiso de infraestructura. Elija el tipo de servicio de modelos que se adapte a sus necesidades:

• Servicios de modelo proporcionados por el sistema en system.ai : servicios de modelo preconfigurados en el catálogo de Unity. Ideal para dar los primeros pasos.
• Servicios de modelo personalizados — crear sus propios servicios de modelo para distribuir la carga entre varios modelos o configurar mecanismos de respaldo. Ideal para gobernanza y escalabilidad avanzadas.

Agentes de consulta

Después de compilar e implementar un agente, consulte el agente desde la aplicación. Los agentes se pueden alojar en Databricks Apps o en endpoints de Model Serving. Azure Databricks admite tres métodos de consulta:

• Databricks OpenAI Client — recomendado para aplicaciones nuevas, con transmisión en tiempo real nativa y compatibilidad completa con todas las funciones.
• Api REST compatible con OpenAI : independiente del lenguaje, funciona con cualquier plataforma que ya hable la API de OpenAI.
• ai_query — consulta agentes heredados alojados en endpoints de Model Serving mediante SQL.

Enriquecimiento de datos mediante AI Functions

AI Functions son funciones SQL integradas que aplican LLM y otros modelos a los datos almacenados en Azure Databricks. Ejecútelos desde Databricks SQL, cuadernos, canalizaciones de Lakeflow o flujos de trabajo para clasificar incidencias de soporte técnico, extraer entidades de documentos, resumir contenido o traducir texto a escala por lotes.

Elija entre dos estilos de funciones:

• Funciones de tareas específicas como ai_classify, ai_extract y ai_parse_document están optimizadas para una sola tarea y utilizan sistemas administrados por Azure Databricks y respaldados por la investigación.
• ai_query es la función de uso general: proporcione su propio aviso y elija cualquier modelo de base compatible. Vea Usar ai_query.

Para obtener un ejemplo completo, consulte Análisis de revisiones de clientes mediante AI Functions.