Catálogo de modelos y colecciones
El catálogo de modelos de Estudio de Azure Machine Learning es un centro en el que podrá descubrir y usar una amplia gama de modelos que le permitirán crear aplicaciones de inteligencia artificial generativa. El catálogo de modelos incluye cientos de modelos de proveedores de modelos como el servicio Azure OpenAI, Mistral, Meta, Cohere, Nvidia, Hugging Face, incluidos los modelos entrenados por Microsoft. Los modelos de proveedores distintos de Microsoft son Productos que no son de Microsoft, tal como se define en los Términos de producto de Microsoft, y están sujetos a los términos proporcionados con el modelo.
Colecciones de modelos
Los modelos se organizan mediante Colecciones en el catálogo de modelos. Hay tres tipos de colecciones en el catálogo de modelos:
- Modelos mantenidos por Azure AI: Los modelos de peso abierto y propiedades de terceros más populares empaquetados y optimizados para funcionar sin problemas en la plataforma de Azure AI. El uso de estos modelos está sujeto a los términos de licencia del proveedor de modelos proporcionados con el modelo. Cuando la implementación se realiza en Azure Machine Learning, la disponibilidad del modelo está sujeta al contrato de nivel de servicio de Azure aplicable y Microsoft proporciona soporte para los problemas de implementación. Los modelos de asociados como Meta, NVIDIA, Mistral AI son ejemplos de modelos disponibles en la colección "Mantenido por Azure AI" en el catálogo. Estos modelos se pueden identificar mediante una marca de verificación verde en los iconos del modelo del catálogo o puede filtrar por la colección "Mantenido por Azure AI".
- Modelos de Azure OpenAI, disponibles exclusivamente en Azure: modelos insignia de Azure OpenAI a través de la colección "Azure OpenAI" mediante una integración con Azure OpenAI Service. Microsoft admite estos modelos y su uso está sujeto a los términos del producto y al contrato de nivel de servicio de Azure OpenAI Service.
- Modelos abiertos de Hugging Face Hub: se puede acceder a cientos de modelos de Hugging Face Hub a través de la colección "Hugging Face" para la inferencia en tiempo real con puntos de conexión en línea. Hugging face crea y mantiene modelos enumerados en la colección HuggingFace. Use el foro de HuggingFace o el soporte técnico de HuggingFace para obtener ayuda. Obtenga más información sobre cómo implementar modelos de Hugging Face.
Sugerencias de adiciones al catálogo de modelos: puede enviar una solicitud para agregar un modelo al catálogo de modelos mediante este formulario.
Introducción a las funcionalidades del catálogo de modelos
Para obtener información sobre los modelos de Azure OpenAI, consulte Azure OpenAI Service.
En el caso de los modelos mantenidos por Azure AI y los modelos abiertos del centro Hugging Face, algunos de ellos se pueden implementar con una opción de proceso administrado y algunos de ellos están disponibles para implementarse mediante API sin servidor con facturación de pago por uso. Estos modelos se pueden detectar, comparar, evaluar, ajustar (cuando se admita), implementarse a escala e integrarse en las aplicaciones de inteligencia artificial generativa con seguridad y gobernanza de datos de nivel empresarial.
- Descubrir: Revisar tarjetas de modelo, probar la inferencia de ejemplo y examinar ejemplos de código para evaluar, ajustar o implementar el modelo.
- Comparar: Comparar pruebas comparativas entre modelos y conjuntos de datos disponibles en el sector para evaluar cuál cumple su escenario empresarial.
- Evaluar: evalúe si el modelo es adecuado para su carga de trabajo específica al proporcionar sus propios datos de prueba. Las métricas de evaluación facilitan la visualización del rendimiento del modelo seleccionado en su escenario.
- Ajuste: personalice modelos ajustables mediante sus propios datos de entrenamiento y elija el mejor modelo comparando las métricas de todos los ajustes. Las optimizaciones integradas aceleran el ajuste preciso y reducen la memoria y el proceso necesarios para realizar el ajuste.
- Implementación: implemente modelos entrenados previamente o modelos optimizados sin problemas para la inferencia. Los modelos que se pueden implementar en el proceso administrado también se pueden descargar.
Implementación de modelos: API de proceso administrada y sin servidor (pago por uso)
Catálogo de modelos ofrece dos maneras distintas de implementar modelos desde el catálogo para su uso: API de proceso administradas y sin servidor. Cada modelo tiene diferentes opciones de implementación disponibles; obtenga más información sobre las características de las opciones de implementación y las opciones disponibles para modelos específicos en las tablas siguientes. Obtenga más información sobre el procesamiento de datos con las opciones de implementación.
| Características | Proceso administrado | API sin servidor (pago por uso) |
|---|---|---|
| Experiencia de implementación y facturación | Los pesos del modelo se implementan en máquinas virtuales dedicadas con puntos de conexión en línea administrados. El punto de conexión en línea administrado, que puede tener una o varias implementaciones, pone a disposición una API de REST para la inferencia. Se le facturan las horas principales de la máquina virtual usadas por las implementaciones. | El acceso a los modelos se realiza a través de una implementación que aprovisiona una API para acceder al modelo. La API proporciona acceso al modelo hospedado en un grupo de GPU central, administrado por Microsoft, para la inferencia. Este modo de acceso se conoce como "Modelos como servicio". Se le facturan entradas y salidas a las API, normalmente en tokens; se proporciona información de precios antes de implementar. |
| Autenticación de API | Autenticación de Microsoft Entra ID y claves. Más información. | Solo claves. |
| Seguridad del contenido | Use las API del servicio Azure Content Safety. | Los filtros de seguridad de contenido de Azure AI están disponibles integrados con las API de inferencia. Los filtros de seguridad de contenido de Azure AI se pueden facturar por separado. |
| Aislamiento de red avanzado | Red virtual administrada con puntos de conexión en línea. Más información. |
Opciones de implementación
| Modelo | Proceso administrado | API sin servidor (pago por uso) |
|---|---|---|
| Modelos de familia llama | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Modelos de familia Mistral | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Modelos de familia Cohere | No disponible | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
| JAIS | No disponible | jais-30b-chat |
| Modelos de familia Phi3 | Phi-3-small-128k-Instruct Phi-3-small-8k-Instruct Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct Phi-3-vision-128k-instruct |
| Nixtla | No disponible | TimeGEN-1 |
| Otros modelos | Disponible | No disponible |
Proceso administrado
La capacidad de implementar modelos con procesos administrados se basa en funcionalidades de plataforma de Azure Machine Learning para habilitar la integración sin problemas, en todo el ciclo de vida de LLMOps, de la amplia colección de modelos del catálogo de modelos.
¿Cómo están disponibles los modelos para el proceso administrado?
Los modelos se ponen a su disposición a través de los registros de Azure Machine Learning que permiten el primer enfoque de ML para recursos de hospedaje y distribución de Machine Learning, como pesos de modelos, entornos de ejecución de contenedor para ejecutar los modelos, canalizaciones para evaluar y ajustar los modelos y conjuntos de datos para puntos de referencia y ejemplos. Estos registros de ML se basan en una infraestructura altamente escalable y lista para la empresa que ofrece las siguientes ventajas:
Ofrece artefactos de modelo de acceso de baja latencia a todas las regiones de Azure con replicación geográfica integrada.
Admite requisitos de seguridad empresarial, como la limitación del acceso a los modelos con Azure Policy y la implementación segura con redes virtuales administradas.
Evaluación y ajuste de modelos implementados con proceso administrado
Puede evaluar y ajustar la recopilación "Mantenido por Azure AI" en Azure Machine Learning mediante canalizaciones de Azure Machine Learning. Puede optar por traer su propio código de evaluación y ajuste y simplemente acceder a los pesos del modelo o usar componentes de Azure Machine Learning que ofrecen funcionalidades integradas de evaluación y ajuste. Para obtener más información, haga clic en este vínculo.
Implementación de modelos para la inferencia con proceso administrado
Los modelos disponibles para la implementación con proceso administrado se pueden implementar en puntos de conexión en línea de Azure Machine Learning para la inferencia en tiempo real o se pueden usar para la inferencia por lotes de Azure Machine Learning para procesar por lotes los datos. La implementación en un proceso administrado requiere que tenga cuota de máquina virtual en la suscripción de Azure para las SKU específicas necesarias para ejecutar el modelo de forma óptima. Algunos modelos le permiten realizar la implementación en una cuota compartida temporalmente para probar el modelo. Más información sobre la implementación de modelos:
- Implementación de modelos Meta Llama
- Implementación de modelos abiertos creados por Azure AI
- Implementación de modelos de Hugging Face
Creación de aplicaciones de IA generativas con proceso administrado
Flujo de avisos ofrece funcionalidades para crear prototipos, experimentar, iterar e implementar las aplicaciones de IA. Puede usar modelos implementados con proceso administrado en Prompt Flow con la herramienta Open Model LLM. También puede usar la API de REST expuesta por los procesos administrados en herramientas de LLM populares como LangChain con la Extensión de Azure Machine Learning.
Seguridad del contenido para los modelos implementados con proceso administrado
El servicio de seguridad de contenido de Azure AI (AACS) está disponible para su uso con modelos implementados para el proceso administrado para detectar diversas categorías de contenido perjudicial, como contenido sexual, violencia, odio y autolesión y amenazas avanzadas, como la detección de riesgos de Jailbreak y la detección de texto de material protegido. Puede consultar este cuaderno para la integración de referencias con AACS para Llama 2 o usar la herramienta Seguridad del contenido (texto) del Flujo de avisos para pasar respuestas del modelo a AACS para su filtrado. Se le facturará por separado según los precios de AACS para dicho uso.
Trabajar con modelos que no están en el catálogo de modelos
Para los modelos que no están disponibles en el catálogo de modelos, Azure Machine Learning proporciona una plataforma abierta y extensible para trabajar con modelos de su elección. Puede traer un modelo con cualquier marco o entorno de ejecución mediante las funcionalidades de la plataforma abierta y extensible de Azure Machine Learning, como los entornos de Azure Machine Learning para contenedores que pueden empaquetar marcos y entornos de ejecución y las canalizaciones de Azure Machine Learning para que el código evalúe o ajuste los modelos. Consulte este cuaderno para obtener una referencia de ejemplo para importar modelos y trabajar con los entornos de ejecución y las canalizaciones integrados.
API sin servidor con facturación de pago por uso
Algunos modelos del catálogo de modelos se pueden implementar como API sin servidor con facturación de pago por uso; este método de implementación se denomina Models-as-a Service (MaaS). Los modelos disponibles a través de MaaS se hospedan en la infraestructura administrada por Microsoft, lo que permite el acceso basado en API al modelo del proveedor de modelos. El acceso basado en API puede reducir drásticamente el costo de acceder a un modelo y simplificar significativamente la experiencia de aprovisionamiento. La mayoría de los modelos MaaS incluyen precios basados en tokens.
¿Cómo están disponibles los modelos de terceros en MaaS?
El proveedor de modelos ofrece modelos disponibles para la implementación como API sin servidor con facturación de pago por uso, pero hospedados en la infraestructura de Azure administrada por Microsoft y a los que se accede a través de la API. Los proveedores de modelos definen los términos de licencia y establecen el precio para su uso de sus modelos, mientras que Azure Machine Learning Service administra la infraestructura de hospedaje, hace que las API de inferencia estén disponibles y actúe como el procesador de datos para solicitar solicitudes enviadas y salidas de contenido por modelos implementados a través de MaaS. Obtenga más información sobre el procesamiento de datos para MaaS en el artículo privacidad de datos.
Pago por el uso del modelo en MaaS
La experiencia de detección, suscripción y consumo de los modelos implementados a través de MaaS se encuentra en Azure AI Studio y Azure Machine Learning Studio. Los usuarios aceptan los términos de licencia para el uso de los modelos y se proporciona información de precios para el consumo durante la implementación. Los modelos de proveedores de terceros se facturan a través de Azure Marketplace, de acuerdo con las Condiciones de uso de Marketplace comercial; los modelos de Microsoft se facturan mediante medidores de Azure como servicios de consumo de primera entidad. Tal y como se describe en los Términos del producto, los servicios de consumo de primera entidad se compran mediante medidores de Azure, pero no están sujetos a los términos del servicio de Azure; el uso de estos modelos está sujeto a los términos de licencia proporcionados.
Implementación de modelos para la inferencia a través de MaaS
La implementación de un modelo a través de MaaS permite a los usuarios acceder a las API de inferencia listas para usar las API de inferencia sin necesidad de configurar la infraestructura ni aprovisionar GPU, lo que ahorra tiempo y recursos de ingeniería. Estas API se pueden integrar con varias herramientas de LLM y el uso se facturan como se describe en la sección anterior.
Ajuste de modelos a través de MaaS con pago por uso
Para los modelos que están disponibles a través de MaaS y admiten ajustes, los usuarios pueden aprovechar el ajuste hospedado con facturación de pago por uso para adaptar los modelos utilizando los datos que proporcionan. Para más información, consulte Ajuste de un modelo Llama 2 en Inteligencia artificial de Azure Studio.
RAG con modelos implementados a través de MaaS
Azure AI Studio permite a los usuarios usar los índices vectoriales y la generación aumentada de recuperación. Los modelos que se pueden implementar a través de la API sin servidor se pueden usar para generar inserciones e inferencias basadas en datos personalizados para generar respuestas específicas de su caso de uso. Para obtener más información, consulte Generación aumentada de recuperación e índices.
Disponibilidad regional de ofertas y modelos
La implementación de pago por uso solo está disponible para los usuarios cuya suscripción de Azure pertenece a una cuenta de facturación en un país en el que el proveedor de modelos ha puesto la oferta disponible (vea "región de disponibilidad de la oferta" en la tabla de la sección siguiente). Si la oferta está disponible en la región pertinente, el usuario debe tener un área de trabajo en la región de Azure en la que el modelo esté disponible para la implementación o el ajuste, según corresponda (consulte las columnas "Región del área de trabajo" en la tabla siguiente).
| Modelo | Región de la disponibilidad de la oferta | Región del área de trabajo para la implementación | Región del área de trabajo para el ajuste |
|---|---|---|---|
| Llama-3-70B-Instruct Llama-3-8B-Instruct |
Países administrados por Microsoft | Este de EE. UU. 2, Centro de Suecia | No disponible |
| Llama-2-7b Llama-2-13b Llama-2-70b |
Países administrados por Microsoft | Este de EE. UU. 2, Oeste de EE. UU. 3 | Oeste de EE. UU. 3 |
| Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat |
Países administrados por Microsoft | Este de EE. UU. 2, Oeste de EE. UU. 3 | No disponible |
| Mistral-Large Mistral Small |
Países administrados por Microsoft | Este de EE. UU. 2, Centro de Suecia | No disponible |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
Países administrados por Microsoft Japón |
Este de EE. UU. 2, Centro de Suecia | No disponible |
Seguridad del contenido para los modelos implementados a través de MaaS
Importante
Esta característica actualmente está en su versión preliminar pública. Esta versión preliminar se ofrece sin un Acuerdo de Nivel de Servicio y no se recomienda para cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas.
Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.
Azure Machine Learning implementa una configuración predeterminada de Seguridad del contenido de Azure AI filtros de moderación de texto para contenido dañino (odio, autolesión, sexual y violencia) para los modelos de lenguaje implementados con MaaS. Para más información sobre el filtrado de contenido (versión preliminar), consulte Categorías de daños en Azure AI Content Safety. El filtrado de contenido (versión preliminar) se produce de forma sincrónica a medida que el servicio procesa las solicitudes para generar contenido, y se puede facturar por separado según Precios de AACS para dicho uso. Puede deshabilitar el filtrado de contenido (versión preliminar) para puntos de conexión individuales sin servidor cuando implemente por primera vez un modelo de lenguaje o en la página de detalles de implementación seleccionando el botón de alternancia de filtrado de contenido. Es posible que esté en mayor riesgo de exponer a los usuarios a contenido perjudicial si desactiva los filtros de contenido.
Saber más
- Obtenga información sobre cómo usar modelos fundacionales en Azure Machine Learning para ajustar, evaluar e implementar estos modelos mediante la interfaz de usuario de Estudio de Azure Machine Learning o métodos basados en código.
- Explore el Catálogo de modelo en Estudio de Azure Machine Learning. Necesita un área de trabajo de Azure Machine Learning para explorar el catálogo.
- Evaluar, ajustar e implementar modelos mantenidos por Azure Machine Learning.