Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Note
Esta página describe el flujo de trabajo de Servicio de Modelos basado en endpoints heredado. Para encontrar y consultar modelos a través de Unity Gateway, consulta los modelos disponibles y consultar los servicios de modelos.
Modelos fundamentales de acceso alojados fuera de Databricks
Los modelos base creados por proveedores de LLM, como OpenAI y Anthropic, también se pueden acceder en Databricks utilizando modelos externos . Estos modelos se hospedan fuera de Databricks y puede crear un punto de conexión para consultarlos. Estos puntos de conexión se pueden regular de forma centralizada desde Azure Databricks, lo que simplifica el uso y la administración de varios proveedores de LLM dentro de su organización.
En la tabla siguiente se presenta una lista no exhaustiva de los modelos admitidos y los tipos de punto de conexión correspondientes. Puedes usar las asociaciones de modelos listadas para ayudarte a configurar un endpoint para cualquier tipo de modelo recién lanzado a medida que esté disponible con un proveedor determinado. Los clientes son responsables de garantizar el cumplimiento de las licencias de modelo aplicables.
Note
Con el rápido desarrollo de LLM, no hay ninguna garantía de que esta lista esté actualizada en todo momento. Las nuevas versiones de modelo del mismo proveedor se admiten normalmente incluso si no están en la lista.
| Proveedor de modelos | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
| OpenAI** |
|
|
|
| Azure OpenAI** |
|
|
|
| Anthropic |
|
|
|
| Cohere** |
|
|
|
| Servicio de modelos | Punto de conexión de servicio de Databricks | Punto de conexión de servicio de Databricks | Punto de conexión de servicio de Databricks |
| Roca madre amazónica | Anthropic:
Cohere:
Laboratorios AI21:
|
Anthropic:
Cohere:
Amazona:
|
Amazona:
Cohere:
|
AI21 Labs† |
|
||
| Vertex AI de Google Cloud | text-bison |
|
|
El proveedor de modelos ** admite modelos de chat y finalización ajustados. Para consultar un modelo ajustado, rellene el campo name de la configuración de external model con el nombre del modelo ajustado.
† El proveedor de modelos admite modelos de finalización personalizados.
Creación de puntos de conexión de servicio del modelo de base
Para consultar y utilizar modelos fundamentales en sus aplicaciones de IA, primero debe crear un extremo de servicio para modelos. Model Serving usa una API y una interfaz de usuario unificadas para crear y actualizar los puntos de conexión de servicio del modelo de base.
- Para crear un punto de conexión que ofrezca variantes ajustadas de los modelos fundamentales disponibles a través de las APIs de modelos fundamentales con rendimiento aprovisionado, consulte Creación del punto de conexión con rendimiento aprovisionado mediante la API REST.
- Para crear puntos de conexión de servicio que tengan acceso a los modelos básicos disponibles mediante la oferta de modelos externos, consulte Creación de un modelo externo que atiende el punto de conexión.
Consulta del modelo de base que sirve puntos de conexión
Después de crear el modelo de puntos de conexión de servicio, podrá consultar el modelo de base. Model Serving usa una API y un SDK unificados compatibles con OpenAI para consultar modelos de base. Esta experiencia unificada simplifica cómo se experimenta con y personaliza los modelos fundamentales para su producción en las nubes y proveedores compatibles.
Consulte Uso de modelos de base.