Catálogo de modelos y colecciones en Azure AI Studio

Importante

Algunas de las características descritas en este artículo solo pueden estar disponibles en versión preliminar. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.

El catálogo de modelos de Azure AI Studio es el centro para detectar y usar una amplia gama de modelos que le permiten crear aplicaciones de inteligencia artificial generativa. El catálogo de modelos incluye cientos de modelos entre proveedores de modelos, como el servicio Azure OpenAI, Mistral, Meta, Cohere, Nvidia, Hugging Face, incluidos los modelos entrenados por Microsoft. Los modelos de proveedores distintos de Microsoft son Productos que no son de Microsoft, tal como se define en los Términos de producto de Microsoft, y están sujetos a los términos proporcionados con el modelo.

Colecciones de modelos

El catálogo de modelos organiza los modelos en colecciones. Hay tres tipos de colecciones en el catálogo de modelos:

• Modelos mantenidos por Azure AI: Los modelos de peso abierto y propiedades de terceros más populares empaquetados y optimizados para funcionar sin problemas en la plataforma de Azure AI. El uso de estos modelos está sujeto a los términos de licencia del proveedor de modelos proporcionados con el modelo. Cuando se implementa en Azure AI Studio, la disponibilidad del modelo está sujeta a los SLA de Azure aplicables, y Microsoft proporciona compatibilidad con problemas de implementación. Los modelos de asociados como Meta, NVIDIA, Mistral AI son ejemplos de modelos disponibles en la colección "Mantenido por Azure AI" en el catálogo. Estos modelos se pueden identificar mediante una marca de verificación verde en los iconos del modelo del catálogo o puede filtrar por la colección "Mantenido por Azure AI".
• Modelos de Azure OpenAI, disponibles exclusivamente en Azure: Modelos de Azure OpenAI insignia a través de la colección "Azure OpenAI" a través de una integración con el servicio Azure OpenAI. Microsoft admite estos modelos y su uso sujeto a los términos del producto y Acuerdo de Nivel de Servicio de Azure OpenAI.
• Modelos abiertos del centro Hugging Face: cientos de modelos del centro HuggingFace son accesibles mediante la colección "Hugging Face" para la inferencia en tiempo real con el proceso administrado. Hugging face crea y mantiene modelos enumerados en la colección HuggingFace. Use el foro de HuggingFace o el soporte técnico de HuggingFace para obtener ayuda. Obtenga más información en Implementación de modelos abiertos.

Sugerencias de adiciones al catálogo de modelos: Puede enviar una solicitud para agregar un modelo al catálogo de modelos mediante este formulario.

Introducción a las funcionalidades del catálogo de modelos

Para obtener información sobre los modelos de Azure OpenAI, consulte Azure OpenAI Service.

Algunos modelos de las colecciones Mantenido por Azure AI y Modelos abiertos del centro Hugging Face pueden implementarse con una opción de proceso administrado, mientras que otros pueden implementarse mediante API sin servidor con facturación de pago por uso. Estos modelos se pueden detectar, comparar, evaluar, ajustar (cuando se admita), implementarse a escala e integrarse en las aplicaciones de inteligencia artificial generativa con seguridad y gobernanza de datos de nivel empresarial.

• Descubrir: Revisar tarjetas de modelo, probar la inferencia de ejemplo y examinar ejemplos de código para evaluar, ajustar o implementar el modelo.
• Comparar: Comparar pruebas comparativas entre modelos y conjuntos de datos disponibles en el sector para evaluar cuál cumple su escenario empresarial.
• Evaluar: evalúe si el modelo es adecuado para su carga de trabajo específica al proporcionar sus propios datos de prueba. Las métricas de evaluación facilitan la visualización del rendimiento del modelo seleccionado en su escenario.
• Ajustar: Personalizar modelos ajustables mediante sus propios datos de entrenamiento y elegir el mejor modelo comparando las métricas en todos los trabajos de ajuste preciso. Las optimizaciones integradas aceleran el ajuste preciso y reducen la memoria y el proceso necesarios para el ajuste preciso.
• Implementar: Implementar modelos entrenados previamente o modelos optimizados sin problemas para la inferencia. Los modelos que se pueden implementar en el proceso administrado también se pueden descargar.

Implementación de modelos: API de proceso administrada y sin servidor (pago por uso)

Catálogo de modelos ofrece dos maneras distintas de implementar modelos desde el catálogo para su uso: API de proceso administradas y sin servidor. Las opciones de implementación disponibles para cada modelo varían; obtenga más información sobre las características de las opciones de implementación y las opciones disponibles para modelos específicos, en las tablas siguientes. Obtenga más información sobre el procesamiento de datos con las opciones de implementación.

Características	Proceso administrado	API sin servidor (pago por uso)
Experiencia de implementación y facturación	Los pesos del modelo se implementan en máquinas virtuales dedicadas con puntos de conexión en línea administrados. El punto de conexión en línea administrado, que puede tener una o varias implementaciones, pone a disposición una API de REST para la inferencia. Se le facturan las horas principales de la máquina virtual usadas por las implementaciones.	El acceso a los modelos es a través de una implementación que aprovisiona una API para acceder al modelo. La API proporciona acceso al modelo hospedado y administrado por Microsoft para la inferencia. Este modo de acceso se conoce como "Modelos como servicio". Se le facturan entradas y salidas a las API, normalmente en tokens; se proporciona información de precios antes de implementar.
Autenticación de API	Claves y autenticación de Microsoft Entra ID.	Solo claves.
Seguridad del contenido	Use las API del servicio Azure Content Safety.	Los filtros de seguridad de contenido de Azure AI están disponibles integrados con las API de inferencia. Los filtros de seguridad de contenido de Azure AI se pueden facturar por separado.
Aislamiento de red avanzado	Configuración de la red administrada. Más información.

Modelo	Proceso administrado	API sin servidor (pago por uso)
Modelos de familia llama	Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B	Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat
Modelos de familia Mistral	mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01	Mistral-large Mistral-small
Modelos de familia Cohere	No disponible	Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual
JAIS	No disponible	jais-30b-chat
Modelos de familia Phi3	Phi-3-small-128k-Instruct Phi-3-small-8k-Instruct Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct	Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct
Nixtla	No disponible	TimeGEN-1
Otros modelos	Disponible	No disponible

Proceso administrado

La capacidad de implementar modelos como proceso administrado se basa en funcionalidades de plataforma de Azure Machine Learning para habilitar la integración sin problemas, en todo el ciclo de vida de LLMOps, de la amplia colección de modelos en el catálogo de modelos.

¿Cómo están disponibles los modelos para la implementación como proceso administrado?

Los modelos se ponen a su disposición a través de los registros de Azure Machine Learning que permiten el primer enfoque de ML para recursos de hospedaje y distribución de Machine Learning, como pesos de modelos, entornos de ejecución de contenedor para ejecutar los modelos, canalizaciones para evaluar y ajustar los modelos y conjuntos de datos para puntos de referencia y ejemplos. Estos registros de ML se basan en una infraestructura altamente escalable y lista para la empresa que ofrece las siguientes ventajas:

• Ofrece artefactos de modelo de acceso de baja latencia a todas las regiones de Azure con replicación geográfica integrada.

• Admite requisitos de seguridad empresarial, como la limitación del acceso a los modelos con Azure Policy y la implementación segura con redes virtuales administradas.

Implementación de modelos para la inferencia con proceso administrado

Los modelos disponibles para la implementación en un proceso administrado se pueden implementar en puntos de conexión en línea de Azure Machine Learning para la inferencia en tiempo real. La implementación en un proceso administrado requiere que tenga cuota de máquina virtual en la suscripción de Azure para las SKU específicas necesarias para ejecutar el modelo de forma óptima. Algunos modelos le permiten realizar la implementación en una cuota compartida temporalmente para probar el modelo. Más información sobre la implementación de modelos:

• Implementación de modelos Meta Llama
• Implementación de modelos abiertos creados por Azure AI

Creación de aplicaciones de IA generativa con proceso administrado

Prompt flow ofrece una excelente experiencia para la creación de prototipos. Puede usar modelos implementados con procesos administrados en Prompt Flow con la Herramienta Open Model LLM. También puede usar la API de REST expuesta por el proceso administrado en herramientas de LLM populares como LangChain con la Extensión de Azure Machine Learning.

Seguridad del contenido para los modelos implementados como proceso administrado

Servicio de seguridad de contenido de Azure AI (AACS) está disponible para su uso con procesos administrados para detectar diversas categorías de contenido dañino, como contenido sexual, violencia, odio y amenazas avanzadas, como la detección de riesgos de Jailbreak y la detección de texto de material protegido. Puede consultar este cuaderno para la integración de referencias con AACS para Llama 2 o usar la herramienta Seguridad de contenido (texto) en Prompt Flow para pasar respuestas del modelo a AACS para su filtrado. Se le factura por separado según precios de AACS para este uso.

API sin servidor con facturación de pago por uso

Algunos modelos del catálogo de modelos se pueden implementar como API sin servidor con facturación de pago por uso; Este método de implementación se denomina Models-as-a Service (MaaS), lo que proporciona una manera de consumirlos como UNA API sin hospedarlos en la suscripción. Los modelos disponibles a través de MaaS se hospedan en la infraestructura administrada por Microsoft, lo que permite el acceso basado en API al modelo del proveedor de modelos. El acceso basado en API puede reducir drásticamente el costo de acceder a un modelo y simplificar significativamente la experiencia de aprovisionamiento. La mayoría de los modelos MaaS incluyen precios basados en tokens.

¿Cómo están disponibles los modelos de terceros en MaaS?

El proveedor de modelos ofrece modelos disponibles para la implementación como API sin servidor con facturación de pago por uso, pero hospedados en la infraestructura de Azure administrada por Microsoft y a los que se accede a través de la API. Los proveedores de modelos definen los términos de licencia y establecen el precio para su uso de sus modelos, mientras que Azure Machine Learning Service administra la infraestructura de hospedaje, hace que las API de inferencia estén disponibles y actúe como el procesador de datos para solicitar solicitudes enviadas y salidas de contenido por modelos implementados a través de MaaS. Obtenga más información sobre el procesamiento de datos para MaaS en el artículo privacidad de datos.

Pago por el uso del modelo en MaaS

La experiencia de detección, suscripción y consumo de los modelos implementados a través de MaaS se encuentra en Azure AI Studio y Azure Machine Learning Studio. Los usuarios aceptan los términos de licencia para el uso de los modelos y se proporciona información de precios para el consumo durante la implementación. Los modelos de proveedores de terceros se facturan a través de Azure Marketplace, de acuerdo con las Condiciones de uso de Marketplace comercial; los modelos de Microsoft se facturan mediante medidores de Azure como servicios de consumo de primera entidad. Tal y como se describe en los Términos del producto, los servicios de consumo de primera entidad se compran mediante medidores de Azure, pero no están sujetos a los términos del servicio de Azure; el uso de estos modelos está sujeto a los términos de licencia proporcionados.

Implementación de modelos para la inferencia a través de MaaS

La implementación de un modelo a través de MaaS permite a los usuarios acceder a las API de inferencia listas para usar las API de inferencia sin necesidad de configurar la infraestructura ni aprovisionar GPU, lo que ahorra tiempo y recursos de ingeniería. Estas API se pueden integrar con varias herramientas de LLM y el uso se facturan como se describe en la sección anterior.

Ajuste de modelos a través de MaaS con pago por uso

En el caso de los modelos disponibles a través de MaaS y que admiten el ajuste preciso, los usuarios pueden aprovechar la optimización hospedada con la facturación de pago por uso para adaptar los modelos mediante los datos que proporcionan. Para obtener más información, consulte la introducción a la optimización.

RAG con modelos implementados como API sin servidor

Azure AI Studio permite a los usuarios usar los índices vectoriales y la generación aumentada de recuperación. Los modelos que se pueden implementar a través de la API sin servidor se pueden usar para generar inserciones e inferencias basadas en datos personalizados para generar respuestas específicas de su caso de uso. Para obtener más información, vea Creación de un índice de vectores.

Disponibilidad regional de ofertas y modelos

La facturación de pago por uso solo está disponible para los usuarios cuya suscripción de Azure pertenece a una cuenta de facturación en un país en el que el proveedor de modelos ha puesto la oferta disponible (consulte "región de disponibilidad de la oferta" en la tabla de la sección siguiente). Si la oferta está disponible en la región pertinente, el usuario debe tener un centro o proyecto en la región de Azure donde el modelo está disponible para la implementación o ajuste, según corresponda (vea las columnas "centro/región del proyecto" en la tabla siguiente).

Modelo	Región de disponibilidad de la oferta	Centro o región del proyecto para la implementación	Centro o región del proyecto para ajustar
Llama-3-70B-Instruct Llama-3-8B-Instruct	Países administrados por Microsoft	Este de EE. UU., Este de EE. UU. 2, Centro-norte de EE. UU., Centro-sur de EE. UU., Centro de Suecia, Oeste de EE. UU., Oeste de EE. UU. 3	No disponible
Llama-2-7b Llama-2-13b Llama-2-70b	Países administrados por Microsoft	Este de EE. UU., Este de EE. UU. 2, Centro y norte de EE. UU., Centro y sur de EE. UU., Oeste de EE. UU., Oeste de EE. UU. 3	Oeste de EE. UU. 3
Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat	Países administrados por Microsoft	Este de EE. UU., Este de EE. UU. 2, Centro y norte de EE. UU., Centro y sur de EE. UU., Oeste de EE. UU., Oeste de EE. UU. 3	No disponible
Mistral Small	Países administrados por Microsoft	Este de EE. UU., Este de EE. UU. 2, Centro-norte de EE. UU., Centro-sur de EE. UU., Centro de Suecia, Oeste de EE. UU., Oeste de EE. UU. 3	No disponible
Mistral-Large	Países administrados por Microsoft Brasil RAE de Hong Kong Israel	Este de EE. UU., Este de EE. UU. 2, Centro de Francia, Centro-norte de EE. UU., Centro-sur de EE. UU., Centro de Suecia, Oeste de EE. UU, Oeste de EE. UU. 3	No disponible
Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual	Países administrados por Microsoft Japón	Este de EE. UU., Este de EE. UU. 2, Centro-norte de EE. UU., Centro-sur de EE. UU., Centro de Suecia, Oeste de EE. UU., Oeste de EE. UU. 3	No disponible
TimeGEN-1	Países administrados por Microsoft México Israel	Este de EE. UU., Este de EE. UU. 2, Centro-norte de EE. UU., Centro-sur de EE. UU., Centro de Suecia, Oeste de EE. UU., Oeste de EE. UU. 3	No disponible
jais-30b-chat	Países administrados por Microsoft	Este de EE. UU., Este de EE. UU. 2, Centro-norte de EE. UU., Centro-sur de EE. UU., Centro de Suecia, Oeste de EE. UU., Oeste de EE. UU. 3	No disponible
Phi-3-mini-4k-instruct	Países administrados por Microsoft	Este de EE. UU. 2, Centro de Canadá, Centro de Suecia, Oeste de EE. UU. 3	No disponible
Phi-3-mini-128k-instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct	Países administrados por Microsoft	Este de EE. UU. 2, Centro de Suecia	No disponible

Seguridad del contenido para los modelos implementados a través de la API sin servidor

Importante

Algunas de las características descritas en este artículo solo pueden estar disponibles en versión preliminar. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.

Azure AI Studio implementa una configuración predeterminada de Azure AI Content Safety filtros de moderación de texto para contenido dañino (odio, autolesión, sexual y violencia) en modelos de lenguaje implementados con MaaS. Para más información sobre el filtrado de contenido (versión preliminar), consulte Categorías de daños en Azure AI Content Safety. El filtrado de contenido (versión preliminar) se produce de forma sincrónica a medida que el servicio procesa las solicitudes para generar contenido, y se puede facturar por separado según Precios de AACS para dicho uso. Puede deshabilitar el filtrado de contenido para puntos de conexión individuales sin servidor cuando implemente por primera vez un modelo de lenguaje o en la página de detalles de implementación haciendo clic en el botón de alternancia de filtrado de contenido. Es posible que esté en mayor riesgo de exponer a los usuarios a contenido perjudicial si desactiva los filtros de contenido.

Pasos siguientes

• Exploración de los modelos base de Azure AI en Inteligencia artificial de Azure Studio