Catálogo de modelos y colecciones en Azure AI Studio

Artículo
07/26/2024

Importante

Algunas de las características descritas en este artículo solo pueden estar disponibles en versión preliminar. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.

El catálogo de modelos de Azure AI Studio es el centro para detectar y usar una amplia gama de modelos que le permiten crear aplicaciones de inteligencia artificial generativa. El catálogo de modelos incluye cientos de modelos entre proveedores de modelos, como el servicio Azure OpenAI, Mistral, Meta, Cohere, Nvidia, Hugging Face, incluidos los modelos entrenados por Microsoft. Los modelos de proveedores distintos de Microsoft son Productos que no son de Microsoft, tal como se define en los Términos de producto de Microsoft, y están sujetos a los términos proporcionados con el modelo.

Colecciones de modelos

El catálogo de modelos organiza los modelos en colecciones. Hay tres tipos de colecciones en el catálogo de modelos:

Modelos mantenidos por Azure AI: Los modelos de peso abierto y propiedades de terceros más populares empaquetados y optimizados para funcionar sin problemas en la plataforma de Azure AI. El uso de estos modelos está sujeto a los términos de licencia del proveedor de modelos proporcionados con el modelo. Cuando se implementa en Azure AI Studio, la disponibilidad del modelo está sujeta a los SLA de Azure aplicables, y Microsoft proporciona compatibilidad con problemas de implementación. Los modelos de asociados como Meta, NVIDIA, Mistral AI son ejemplos de modelos disponibles en la colección "Mantenido por Azure AI" en el catálogo. Estos modelos se pueden identificar mediante una marca de verificación verde en los iconos del modelo del catálogo o puede filtrar por la colección "Mantenido por Azure AI".
Modelos de Azure OpenAI, disponibles exclusivamente en Azure: Modelos de Azure OpenAI insignia a través de la colección "Azure OpenAI" a través de una integración con el servicio Azure OpenAI. Microsoft admite estos modelos y su uso sujeto a los términos del producto y Acuerdo de Nivel de Servicio de Azure OpenAI.
Modelos abiertos del centro Hugging Face: cientos de modelos del centro HuggingFace son accesibles mediante la colección "Hugging Face" para la inferencia en tiempo real con el proceso administrado. Hugging face crea y mantiene modelos enumerados en la colección HuggingFace. Use el foro de HuggingFace o el soporte técnico de HuggingFace para obtener ayuda. Obtenga más información en Implementación de modelos abiertos.

Sugerencias de adiciones al catálogo de modelos: Puede enviar una solicitud para agregar un modelo al catálogo de modelos mediante este formulario.

Introducción a las funcionalidades del catálogo de modelos

Para obtener información sobre los modelos de Azure OpenAI, consulte Azure OpenAI Service.

Algunos modelos de las colecciones Mantenido por Azure AI y Modelos abiertos del centro Hugging Face pueden implementarse con una opción de proceso administrado, mientras que otros pueden implementarse mediante API sin servidor con facturación de pago por uso. Estos modelos se pueden detectar, comparar, evaluar, ajustar (cuando se admita), implementarse a escala e integrarse en las aplicaciones de inteligencia artificial generativa con seguridad y gobernanza de datos de nivel empresarial.

Descubrir: Revisar tarjetas de modelo, probar la inferencia de ejemplo y examinar ejemplos de código para evaluar, ajustar o implementar el modelo.
Comparar: Comparar pruebas comparativas entre modelos y conjuntos de datos disponibles en el sector para evaluar cuál cumple su escenario empresarial.
Evaluar: evalúe si el modelo es adecuado para su carga de trabajo específica al proporcionar sus propios datos de prueba. Las métricas de evaluación facilitan la visualización del rendimiento del modelo seleccionado en su escenario.
Ajustar: Personalizar modelos ajustables mediante sus propios datos de entrenamiento y elegir el mejor modelo comparando las métricas en todos los trabajos de ajuste preciso. Las optimizaciones integradas aceleran el ajuste preciso y reducen la memoria y el proceso necesarios para el ajuste preciso.
Implementar: Implementar modelos entrenados previamente o modelos optimizados sin problemas para la inferencia. Los modelos que se pueden implementar en el proceso administrado también se pueden descargar.

Implementación de modelos: API de proceso administrada y sin servidor (pago por uso)

Catálogo de modelos ofrece dos maneras distintas de implementar modelos desde el catálogo para su uso: API de proceso administradas y sin servidor. Las opciones de implementación disponibles para cada modelo varían; obtenga más información sobre las características de las opciones de implementación y las opciones disponibles para modelos específicos, en las tablas siguientes. Obtenga más información sobre el procesamiento de datos con las opciones de implementación.

Características	Proceso administrado	API sin servidor (pago por uso)
Experiencia de implementación y facturación	Los pesos del modelo se implementan en máquinas virtuales dedicadas con puntos de conexión en línea administrados. El punto de conexión en línea administrado, que puede tener una o varias implementaciones, pone a disposición una API de REST para la inferencia. Se le facturan las horas principales de la máquina virtual usadas por las implementaciones.	El acceso a los modelos es a través de una implementación que aprovisiona una API para acceder al modelo. La API proporciona acceso al modelo hospedado y administrado por Microsoft para la inferencia. Se le facturarán las entradas y salidas con relación a las API, normalmente en tokens; se proporcionará la información de los precios antes de realizar la implementación.
Autenticación de API	Claves y autenticación de Microsoft Entra ID.	Solo claves.
Seguridad del contenido	Use las API del servicio Azure Content Safety.	Los filtros de seguridad de contenido de Azure AI están disponibles integrados con las API de inferencia. Los filtros de seguridad de contenido de Azure AI se facturan por separado.
Aislamiento de red avanzado	Configurar redes administradas para centros de Inteligencia artificial de Azure Studio.	Los puntos de conexión seguirán la configuración de la marca de acceso a la red pública (PNA) del centro. Para obtener más información, consulte la sección Aislamiento de red para los modelos implementados a través de API sin servidor.

Modelo	Proceso administrado	API sin servidor (pago por uso)
Modelos de familia llama	Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B	Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat
Modelos de familia Mistral	mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01	Mistral-large (2402) Mistral-large (2407) Mistral-small Mistral-Nemo
Modelos de familia Cohere	No disponible	Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual Cohere-rerank-3-english Cohere-rerank-3-multilingual
JAIS	No disponible	jais-30b-chat
Modelos de familia Phi3	Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct	Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct
Nixtla	No disponible	TimeGEN-1
Otros modelos	Disponible	No disponible

Proceso administrado

La capacidad de implementar modelos como proceso administrado se basa en funcionalidades de plataforma de Azure Machine Learning para habilitar la integración sin problemas, en todo el ciclo de vida de LLMOps, de la amplia colección de modelos en el catálogo de modelos.

¿Cómo están disponibles los modelos para la implementación como proceso administrado?

Los modelos se ponen a su disposición a través de los registros de Azure Machine Learning que permiten el primer enfoque de ML para recursos de hospedaje y distribución de Machine Learning, como pesos de modelos, entornos de ejecución de contenedor para ejecutar los modelos, canalizaciones para evaluar y ajustar los modelos y conjuntos de datos para puntos de referencia y ejemplos. Estos registros de ML se basan en una infraestructura altamente escalable y lista para la empresa que ofrece las siguientes ventajas:

Ofrece artefactos de modelo de acceso de baja latencia a todas las regiones de Azure con replicación geográfica integrada.
Admite requisitos de seguridad empresarial, como la limitación del acceso a los modelos con Azure Policy y la implementación segura con redes virtuales administradas.

Implementación de modelos para la inferencia con proceso administrado

Los modelos disponibles para la implementación en un proceso administrado se pueden implementar en puntos de conexión en línea de Azure Machine Learning para la inferencia en tiempo real. La implementación en un proceso administrado requiere que tenga cuota de máquina virtual en la suscripción de Azure para las SKU específicas necesarias para ejecutar el modelo de forma óptima. Algunos modelos le permiten realizar la implementación en una cuota compartida temporalmente para probar el modelo. Más información sobre la implementación de modelos:

Creación de aplicaciones de IA generativa con proceso administrado

Prompt flow ofrece una excelente experiencia para la creación de prototipos. Puede usar modelos implementados con procesos administrados en Prompt Flow con la Herramienta Open Model LLM. También puede usar la API de REST expuesta por el proceso administrado en herramientas de LLM populares como LangChain con la Extensión de Azure Machine Learning.

Seguridad del contenido para los modelos implementados como proceso administrado

Servicio de seguridad de contenido de Azure AI (AACS) está disponible para su uso con procesos administrados para detectar diversas categorías de contenido dañino, como contenido sexual, violencia, odio y amenazas avanzadas, como la detección de riesgos de Jailbreak y la detección de texto de material protegido. Puede consultar este cuaderno para la integración de referencias con AACS para Llama 2 o usar la herramienta Seguridad de contenido (texto) en Prompt Flow para pasar respuestas del modelo a AACS para su filtrado. Se le factura por separado según precios de AACS para este uso.

API sin servidor con facturación de pago por uso

Algunos modelos del catálogo de modelos se pueden implementar como API sin servidor con facturación de pago por uso, lo que proporciona una manera de consumirlos como una API sin hospedarlos en la suscripción. Los modelos se hospedan en la infraestructura administrada por Microsoft, lo que permite el acceso basado en API al modelo del proveedor de modelos. El acceso basado en API puede reducir drásticamente el coste de acceder a un modelo y simplificar significativamente la experiencia de aprovisionamiento.

El proveedor de modelos ofrece modelos disponibles para la implementación como API sin servidor con facturación de pago por uso, pero hospedados en la infraestructura de Azure administrada por Microsoft y a los que se accede a través de la API. Los proveedores de modelos definen los términos de licencia y establecen el precio para su uso de sus modelos, mientras que Azure Machine Learning Service administra la infraestructura de hospedaje, hace que las API de inferencia estén disponibles y actúe como el procesador de datos para solicitar solicitudes enviadas y salidas de contenido por modelos implementados a través de MaaS. Obtenga más información sobre el procesamiento de datos para MaaS en el artículo privacidad de datos.

Facturación

La experiencia de detección, suscripción y consumo de los modelos implementados a través de MaaS se encuentra en Azure AI Studio y Azure Machine Learning Studio. Los usuarios aceptan los términos de licencia para el uso de los modelos y se proporciona información de precios para el consumo durante la implementación. Los modelos de proveedores de terceros se facturan a través de Azure Marketplace, de acuerdo con las Condiciones de uso de Marketplace comercial; los modelos de Microsoft se facturan mediante medidores de Azure como servicios de consumo de primera entidad. Tal y como se describe en los Términos del producto, los servicios de consumo de primera entidad se compran mediante medidores de Azure, pero no están sujetos a los términos del servicio de Azure; el uso de estos modelos está sujeto a los términos de licencia proporcionados.

Ajustar modelos

Algunos modelos también admiten el ajuste preciso sin servidor, donde los usuarios pueden aprovechar el ajuste adecuado hospedado con la facturación de pago por uso para adaptar los modelos mediante los datos que proporcionan. Para obtener más información, consulte la introducción a la optimización.

RAG con modelos implementados como API sin servidor

Azure AI Studio permite a los usuarios usar los índices vectoriales y la generación aumentada de recuperación. Los modelos que se pueden implementar a través de la API sin servidor se pueden usar para generar inserciones e inferencias basadas en datos personalizados para generar respuestas específicas de su caso de uso. Para obtener más información, vea Creación de un índice de vectores.

Disponibilidad regional de ofertas y modelos

La facturación de pago por uso solo está disponible para los usuarios cuya suscripción de Azure pertenece a una cuenta de facturación en un país en el que el proveedor de modelos ha puesto la oferta disponible (consulte "región de disponibilidad de la oferta" en la tabla de la sección siguiente). Si la oferta está disponible en la región pertinente, el usuario debe tener un centro o proyecto en la región de Azure donde el modelo está disponible para la implementación o ajuste, según corresponda (vea las columnas "centro/región del proyecto" en la tabla siguiente).

Modelo	Región de disponibilidad de la oferta	Centro o región del proyecto para la implementación	Centro o región del proyecto para ajustar
Llama-3-70B-Instruct Llama-3-8B-Instruct	Países administrados por Microsoft	Este de EE. UU., Este de EE. UU. 2, Centro-norte de EE. UU., Centro-sur de EE. UU., Centro de Suecia, Oeste de EE. UU., Oeste de EE. UU. 3	No disponible
Llama-2-7b Llama-2-13b Llama-2-70b	Países administrados por Microsoft	Este de EE. UU., Este de EE. UU. 2, Centro y norte de EE. UU., Centro y sur de EE. UU., Oeste de EE. UU., Oeste de EE. UU. 3	Oeste de EE. UU. 3
Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat	Países administrados por Microsoft	Este de EE. UU., Este de EE. UU. 2, Centro y norte de EE. UU., Centro y sur de EE. UU., Oeste de EE. UU., Oeste de EE. UU. 3	No disponible
Mistral Small	Países administrados por Microsoft	Este de EE. UU., Este de EE. UU. 2, Centro-norte de EE. UU., Centro-sur de EE. UU., Centro de Suecia, Oeste de EE. UU., Oeste de EE. UU. 3	No disponible
Mistral Grande (2402) Mistral-Large (2407)	Países administrados por Microsoft Brasil RAE de Hong Kong Israel	Este de EE. UU., Este de EE. UU. 2, Centro-norte de EE. UU., Centro-sur de EE. UU., Centro de Suecia, Oeste de EE. UU., Oeste de EE. UU. 3	No disponible
Mistral Nemo	Países administrados por Microsoft Brasil RAE de Hong Kong Israel	Este de EE. UU., Este de EE. UU. 2, Centro-norte de EE. UU., Centro-sur de EE. UU., Centro de Suecia, Oeste de EE. UU., Oeste de EE. UU. 3	No disponible
Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual	Países administrados por Microsoft Japón	Este de EE. UU., Este de EE. UU. 2, Centro-norte de EE. UU., Centro-sur de EE. UU., Centro de Suecia, Oeste de EE. UU., Oeste de EE. UU. 3	No disponible
Cohere-rerank-3-english Cohere-rerank-3-multilingual	Países administrados por Microsoft	Este de EE. UU., Este de EE. UU. 2, Centro-norte de EE. UU., Centro-sur de EE. UU., Centro de Suecia, Oeste de EE. UU., Oeste de EE. UU. 3	No disponible
TimeGEN-1	Países administrados por Microsoft México Israel	Este de EE. UU., Este de EE. UU. 2, Centro-norte de EE. UU., Centro-sur de EE. UU., Centro de Suecia, Oeste de EE. UU., Oeste de EE. UU. 3	No disponible
jais-30b-chat	Países administrados por Microsoft	Este de EE. UU., Este de EE. UU. 2, Centro-norte de EE. UU., Centro-sur de EE. UU., Centro de Suecia, Oeste de EE. UU., Oeste de EE. UU. 3	No disponible
Phi-3-mini-4k-instruct Phi-3-mini-128k-instruct	Países administrados por Microsoft	Este de EE. UU. 2, Centro de Suecia	No disponible
Phi-3-small-8k-instruct Phi-3-small-128k-Instruct	Países administrados por Microsoft	Este de EE. UU. 2, Centro de Suecia	No disponible
Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct	Países administrados por Microsoft	Este de EE. UU. 2, Centro de Suecia	No disponible

Seguridad del contenido para los modelos implementados a través de API sin servidor

Importante

En el caso de los modelos de lenguaje implementados a través de API sin servidor, Azure AI implementa una configuración predeterminada de filtros de moderación de texto de Seguridad del contenido de Azure AI que detectan contenido dañino, como odio, autolesión, contenido sexual y violento. Para más información sobre el filtrado de contenido (versión preliminar), consulte Categorías de daños en Azure AI Content Safety.

Sugerencia

Filtrado de contenido (versión preliminar) no está disponible para determinados tipos de modelo que se implementan a través de API sin servidor. Estos tipos de modelo incluyen modelos de inserción y modelos de serie temporal.

El filtrado de contenido (versión preliminar) se produce sincrónicamente a medida que el servicio procesa solicita generar contenido y es posible que se le facture por separado según precios de AACS para dicho uso. Puede deshabilitar el filtrado de contenido (versión preliminar) para puntos de conexión individuales sin servidor en el momento en que implemente por primera vez un modelo de lenguaje o más tarde en la página de detalles de implementación seleccionando el botón de alternancia de filtrado de contenido.

Supongamos que decide usar una API distinta de la API de inferencia de modelo de Azure AI para trabajar con un modelo implementado a través de una API sin servidor. En tal situación, el filtrado de contenido (versión preliminar) no está habilitado a menos que lo implemente por separado mediante Seguridad del contenido de Azure AI. Para obtener más información sobre cómo empezar a usar Seguridad del contenido de Azure AI, consulte Inicio rápido: analizar contenido de texto. Si no usa el filtrado de contenido (versión preliminar) al trabajar con modelos que se implementan a través de API sin servidor, corre un mayor riesgo de exponer a los usuarios a contenido perjudicial.

Aislamiento de red para los modelos implementados a través de API sin servidor

Los puntos de conexión de los modelos implementados como API sin servidor siguen la configuración de la marca de acceso a la red pública (PNA) del centro de AI Studio que tiene el proyecto en el que existe la implementación. Para proteger el punto de conexión de MaaS, deshabilite la marca PNA en el centro de AI Studio. Puede proteger la comunicación entrante de un cliente al punto de conexión mediante un punto de conexión privado para el centro.

Para establecer la marca de PNA para el centro de Azure AI:

Vaya a Azure Portal.
Busque el grupo de recursos al que pertenece el centro y seleccione el centro de Azure AI en los recursos enumerados para este grupo de recursos.
En la página Información general del centro, use el panel de navegación izquierdo para ir a Configuración>Redes.
En la pestaña Acceso público, puede configurar las opciones de la marca de acceso de red pública.
Guarde los cambios. Los cambios pueden tardar hasta cinco minutos en propagarse.

Limitaciones

Si tiene un centro de AI Studio con un punto de conexión privado creado antes del 11 de julio de 2024, los nuevos puntos de conexión de MaaS agregados a los proyectos de este centro no seguirán la configuración de red del centro. En su lugar, debe crear un nuevo punto de conexión privado para el centro y crear nuevas implementaciones de API sin servidor en el proyecto para que las nuevas implementaciones puedan seguir la configuración de red del centro.
Si tiene un centro de AI Studio con implementaciones de MaaS creadas antes del 11 de julio de 2024 y habilita un punto de conexión privado en este centro, las implementaciones de MaaS existentes no seguirán la configuración de red del centro. En el caso de las implementaciones de API sin servidor en el centro para seguir la configuración de red del centro, debe volver a crear las implementaciones.
Actualmente, la compatibilidad con los datos no está disponible para las implementaciones de MaaS en centros privados, ya que los centros privados tienen deshabilitada la marca PNA.
Cualquier cambio de configuración de red (por ejemplo, habilitar o deshabilitar la marca de PNA) puede tardar hasta cinco minutos en propagarse.

Paso siguiente

Exploración de los modelos base de Azure AI en Inteligencia artificial de Azure Studio

Compartir vía