Perguntas frequentes sobre como usar os serviços de IA do Azure para startups.
Confira o curso de IA generativa para iniciantes no GitHub. É um conjunto de instruções de 18 lições que apresenta todos os principais recursos do Azure OpenAI e mostra como criar aplicativos com eles.
Use o Azure AI Studio para testar uma variedade de recursos de IA, incluindo a implantação de modelos do Azure OpenAI e a aplicação de serviços de moderação de conteúdo.
Diferentes modelos do Azure OpenAI são restritos a diferentes regiões. Consulte a tabela de disponibilidade do modelo para obter uma lista completa.
O impacto é mínimo, a menos que você esteja usando o recurso de streaming. A latência da própria resposta do modelo tem um efeito muito maior na latência do que as diferenças de região.
A escolha de usar um servidor OpenAI do Azure dedicado versus um plano pré-pago também tem um impacto maior no desempenho.
Consulte Gerenciar cota do Serviço OpenAI do Azure para entender como os limites de cota funcionam e como gerenciá-los.
Para clientes que usam o modelo de pagamento conforme o uso (mais comum), consulte a página Gerenciar cota do Serviço OpenAI do Azure. Para clientes que usam um servidor OpenAI do Azure dedicado, consulte a seção de cota do guia relacionado.
Considere combinar várias implantações do Azure OpenAI em uma arquitetura avançada para criar um sistema que forneça mais tokens por minuto para mais usuários.
Quando devo usar um servidor OpenAI (PTU) do Azure dedicado em vez do modelo de pagamento conforme o uso?
Você deve considerar a mudança de taxa de transferência pré-paga para provisionada quando tiver requisitos de taxa de transferência bem definidos e previsíveis. Normalmente, esse é o caso quando o aplicativo está pronto para produção ou já foi implantado em produção e há um entendimento do tráfego esperado. Isso permite que os usuários prevejam com precisão a capacidade necessária e evitem cobranças inesperadas.
Como faço para gerenciar o tráfego alto e garantir que meu aplicativo Azure OpenAI permaneça responsivo?
Crie um balanceador de carga para seu aplicativo.
Consulte o Exemplo de balanceamento de carga se estiver usando o modelo de pagamento conforme o uso. Se você estiver usando um servidor OpenAI do Azure dedicado, consulte o guia PTU para obter informações sobre balanceamento de carga.
Crie uma implantação online usando o fluxo de prompt no Azure AI Studio. Em seguida, teste-o inserindo valores no editor de formulários ou no editor JSON.
Consulte o Guia de métricas de avaliação e monitoramento para obter informações sobre o rastreamento de métricas de risco e segurança, bem como várias métricas de qualidade de resposta.
Que ferramentas posso usar para monitorar o desempenho dos meus pontos de extremidade do Azure OpenAI?
Use o recurso de monitoramento do Azure OpenAI Studio. Ele fornece painéis que acompanham as métricas de desempenho de seus modelos ao longo do tempo.
Consulte a arquitetura de referência de chat do Azure OpenAI para obter as práticas recomendadas para implantar um aplicativo de chat padrão.
Você pode fornecer exemplos ou estudos de caso de implementações bem-sucedidas do Serviço OpenAI do Azure?
Consulte o fórum da comunidade tecnológica de Inteligência Artificial e Machine Learning .
Para saber mais, consulte Microsoft for Startups.