Preguntas más frecuentes sobre el uso de servicios de Azure AI para startups.
Consulte el curso Generative AI para principiantes en GitHub. Se trata de un conjunto de instrucciones de 18 lecciones que presenta todas las características principales de Azure OpenAI y muestra cómo compilar aplicaciones con ellas.
Use Azure AI Studio para probar diversas funcionalidades de inteligencia artificial, incluida la implementación de modelos de Azure OpenAI y la aplicación de servicios de con modo carpa ration.
Los diferentes modelos de Azure OpenAI están restringidos a regiones diferentes. Consulte la tabla de disponibilidad del modelo para obtener una lista completa.
¿Cómo afecta la selección de regiones a la latencia y el rendimiento de los servicios de Azure OpenAI?
El impacto es mínimo, a menos que use la característica de streaming. La latencia de la propia respuesta del modelo tiene un efecto mucho mayor en la latencia que en las diferencias de región.
La elección de usar un servidor de Azure OpenAI dedicado frente a un plan de pago por uso también tiene un mayor impacto en el rendimiento.
Consulte Administración de la cuota del servicio Azure OpenAI para comprender cómo funcionan los límites de cuota y cómo administrarlos.
Para los clientes que usan el modelo de pago por uso (más común), consulte la página Administración de la cuota del servicio OpenAI de Azure. Para los clientes que usan un servidor dedicado de Azure OpenAI, consulte la sección cuota de la guía relacionada.
Considere la posibilidad de combinar varias implementaciones de Azure OpenAI en una arquitectura avanzada para crear un sistema que ofrezca más tokens por minuto a más usuarios.
Debe considerar la posibilidad de cambiar del rendimiento de pago por uso al rendimiento aprovisionado cuando tenga requisitos de rendimiento predecibles y bien definidos. Normalmente, este es el caso cuando la aplicación está lista para producción o ya se ha implementado en producción y existe una comprensión del tráfico esperado. Esto permite a los usuarios predecir con precisión la capacidad necesaria y evitar una facturación inesperada.
Cómo administrar el tráfico elevado y asegurarse de que mi aplicación de Azure OpenAI sigue respondiendo?
Cree un equilibrador de carga para la aplicación.
Consulte el ejemplo equilibrio de carga si usa el modelo de pago por uso. Si usa un servidor de Azure OpenAI dedicado, consulte la guía de PTU para obtener información sobre el equilibrio de carga.
Cree una implementación en línea mediante el flujo de solicitud en Azure AI Studio. A continuación, pruebelo mediante la entrada de valores en el editor de formularios o en el editor JSON.
Consulte la guía de métricas de evaluación y supervisión para obtener información sobre el seguimiento de las métricas de riesgo y seguridad, así como una serie de métricas de calidad de respuesta.
¿Qué herramientas puedo usar para supervisar el rendimiento de mis puntos de conexión de Azure OpenAI?
Use la característica de supervisión de Azure OpenAI Studio. Proporciona paneles que realizan un seguimiento de las métricas de rendimiento de los modelos a lo largo del tiempo.
¿Cuáles son algunos procedimientos recomendados para implementar aplicaciones openAI en Azure en producción?
Consulte la arquitectura de referencia de chat de Azure OpenAI para conocer los procedimientos recomendados para implementar una aplicación de chat estándar.
¿Puede proporcionar ejemplos o casos prácticos de implementaciones correctas del servicio Azure OpenAI?
Para obtener más información, consulte Microsoft for Startups.