Planejar o gerenciamento de custos para o Serviço OpenAI do Azure

Esse artigo descreve como planejar e gerenciar custos do Serviço OpenAI do Azure. Antes de implantar o serviço, você pode usar a calculadora de preços do Azure para estimar os custos do OpenAI do Azure. Mais tarde, ao implantar recursos do Azure, examine os custos estimados. Depois de começar a usar os recursos do Azure OpenAI, use os recursos de Gerenciamento de Custos para definir orçamentos e monitorar custos.

Você também pode examinar os custos previstos e identificar as tendências de gastos para identificar as áreas em que talvez queira agir. Os custos do Serviço OpenAI do Azure são apenas uma parte dos custos mensais em sua fatura do Azure. Embora esse artigo seja sobre planejar e gerenciar os custos do OpenAI do Azure, você será cobrado por todos os serviços e recursos do Azure usados na sua assinatura do Azure, incluindo serviços de terceiros.

Pré-requisitos

A análise de custo no Gerenciamento de Custos dá suporte à maioria dos tipos de conta do Azure, mas não a todos. Para exibir a lista completa dos tipos de contas compatíveis, confira Entender os dados do Gerenciamento de Custos. Para visualizar os dados de custo, você precisará, pelo menos, de acesso de leitura para uma conta do Azure. Para obter informações sobre como atribuir o acesso aos dados do Gerenciamento de Custos do Azure, confira Atribuir acesso aos dados.

Estimar os custos antes de usar o OpenAI do Azure

Use a calculadora de preços do Azure para estimar os custos de uso do OpenAI do Azure.

Entenda o modelo de cobrança completo do OpenAI do Azure

O Serviço OpenAI do Azure é executado na infraestrutura do Azure, que acumula custos quando você implanta novos recursos. Pode haver outros custos de infraestrutura que serão acumulados. As seções a seguir descrevem como você é cobrado pelo Serviço OpenAI do Azure.

Séries de base e modelos de série Codex

As séries de base do OpenAI do Azure e os modelos da série Codex são cobrados por 1.000 tokens. Os custos variam dependendo de qual série de modelos você escolher: Ada, Babbage, Curie, Davinci ou Code-Cushman.

Os modelos do OpenAI do Azure entendem e processam o texto dividindo-o em tokens. Para referência, cada token tem aproximadamente quatro caracteres para um texto típico em inglês.

Os custos de token são para entrada e saída. Por exemplo, se você tiver um exemplo de código JavaScript de 1.000 tokens, peça a um modelo do OpenAI do Azure para convertê-lo para Python. Você seria cobrado aproximadamente 1.000 tokens para a solicitação de entrada inicial enviada e mais 1.000 tokens para a saída recebida em resposta a um total de 2.000 tokens.

Na prática, para esse tipo de chamada de conclusão, a entrada/saída do token não seria perfeitamente 1:1. Uma conversão de uma linguagem de programação para outra pode resultar em uma saída mais longa ou menor, dependendo de muitos fatores. Um desses fatores é o valor atribuído ao parâmetro max_tokens.

Modelos de ajuste fino das séries de base e Codex

Os modelos de ajuste fino do OpenAI do Azure são cobrados com base em três fatores:

• Horas de treinamento
• Horas de hospedagem
• Inferência por 1.000 tokens

É importante estar ciente do custo das horas de hospedagem, pois uma vez que um modelo aperfeiçoado é implantado, ele continua a incorrer em um custo por hora, independentemente de você estar usando-o ativamente. Monitore de perto os custos do modelo aperfeiçoados.

Importante

Depois de implantar um modelo personalizado, se, a qualquer momento, a implantação permanecer inativa por mais de quinze (15) dias, a implantação será excluída. A implantação de um modelo personalizado torna-se inativa se o modelo tiver sido implantado há mais de quinze (15) dias e não foram feitas chamadas de conclusão ou de chat durante 15 dias consecutivos.

A exclusão de uma implantação inativa não exclui ou afeta o modelo personalizado subjacente, e o modelo personalizado pode ser reimplantado a qualquer momento.

Cada modelo personalizado (ajuste fino) implantado incorre em um custo de hospedagem por hora, independentemente de as chamadas de conclusão ou de conclusão de chat estarem sendo feitas para o modelo. .

Outros custos que podem se acumular com o Serviço OpenAI do Azure

Habilitar recursos como enviar dados para alertas e logs do Azure Monitor gera custos adicionais para esses serviços. Esses custos são visíveis sob esses outros serviços e no nível da assinatura, mas não são visíveis quando definidos apenas para o recurso OpenAI do Azure.

Usando o Pagamento Antecipado do Azure com o Serviço OpenAI do Azure

Os preços do Serviço OpenAI do Azure podem ser pagos com seu crédito de Pagamento Antecipado do Azure. No entanto, você não pode usar o crédito de pagamento antecipado do Azure para pagar por cobranças de produtos e serviços de terceiros, inclusive os serviços encontrados no Azure Marketplace.

Código de resposta de erro HTTP e status de cobrança no Serviço OpenAI do Azure

Se o serviço realizar o processamento, você será cobrado mesmo que o código de status não seja bem-sucedido (não 200). Por exemplo, um erro 400 devido a um filtro de conteúdo ou limite de entrada, ou um erro 408 devido a um tempo limite.

Caso o serviço não execute o processamento, você não será cobrado. Por exemplo, um erro 401 devido à autenticação ou um erro 429 por exceder o Limite de taxa.

Monitorar custos

Ao usar os recursos do Azure com o OpenAI do Azure, você tem custos. Os custos unitários do uso dos recursos do Azure variam de acordo com os intervalos de tempo (segundos, minutos, horas e dias) ou com a unidade de uso (bytes e megabytes). Assim que o uso do OpenAI do Azure for iniciado, os custos serão incorridos e você poderá ver os custos na análise de custo.

Ao usar a análise de custos, você vê os custos do Azure OpenAI em grafos e tabelas para diferentes intervalos de tempo. Alguns exemplos são por dia, mês atual e anterior e ano. Você também visualiza os custos em relação aos orçamentos e os custos previstos. Alternar para exibições mais extensas ao longo do tempo pode ajudar você a identificar tendências de gastos. Você pode ver onde pode ter ocorrido excessos de gastos. Se você tiver criado orçamentos, também será possível ver com facilidade onde eles foram excedidos.

Para visualizar a análise de custos do OpenAI do Azure:

1. Entre no portal do Azure.
2. Selecione um dos recursos do OpenAI do Azure.
3. Em Gerenciamento de Recurso, selecione Análise de custo
4. Por padrão, a análise de custo tem como escopo o recurso individual do OpenAI do Azure.

Para entender o detalhamento do que compõe esse custo, pode ajudar modificar o Agrupar por para Medidor e alternar o tipo de gráfico para Linha. Agora você pode ver que, para esse recurso específico, a origem dos custos é de três séries de modelos diferentes com Tokens Text-Davinci que representam a maior parte dos custos.

É importante entender o escopo ao avaliar os custos associados ao OpenAI do Azure. Se os recursos fizerem parte do mesmo grupo de recursos, você poderá definir o escopo da Análise de Custo nesse nível para entender o efeito sobre os custos. Se os recursos estiverem distribuídos em vários grupos de recursos, você poderá definir o escopo para o nível da assinatura.

Quando o escopo estiver definido para um nível mais alto, geralmente você precisa adicionar mais filtros para focar no uso do OpenAI do Azure. Quando o escopo é definido no nível da assinatura, você pode ver outros recursos que talvez não sejam importantes no contexto do gerenciamento de custos do OpenAI do Azure. Ao fazer o escopo no nível da assinatura, recomendamos navegar até a Ferramenta de análise de custo completa no serviço Gerenciamento de Custos.

Aqui está um exemplo de como usar a Ferramenta de análise de custo para ver os custos acumulados de uma assinatura ou grupo de recursos:

1. Pesquise por Gerenciamento de Custos na barra de pesquisa superior do Azure para navegar até a experiência de serviço completa, que inclui mais opções, como criar orçamentos.
2. Se necessário, selecione alterar se o Escopo: não estiver apontando para o grupo de recursos ou assinatura que você deseja analisar.
3. À esquerda, selecione Relatórios + análise>Análise de custos.
4. Na guia Todos os modos de exibição, selecione Custos acumulados.

O painel da análise de custo mostra os custos acumulados que são analisados dependendo do que você especificou no Escopo.

Se você tentar adicionar um filtro por serviço, descobrirá que não é possível encontrar o OpenAI do Azure na lista. Essa situação ocorre porque o OpenAI do Azure é semelhante a um subconjunto de serviços de IA do Azure em que o filtro de nível de serviço é Serviços Cognitivos. Se você quiser ver todos os recursos do OpenAI do Azure em uma assinatura sem qualquer outro tipo de recurso dos serviços de IA do Azure, defina o escopo para Camada de serviço: OpenAI do Azure:

Criar orçamentos

É possível criar orçamentos para gerenciar custos e criar alertas que notificam os stakeholders de anomalias de gastos e riscos de gastos em excesso. Os alertas são baseados nos gastos comparados com os limites de orçamento e de custo. Você cria orçamentos e alertas para assinaturas do Azure e grupos de recursos. Eles são úteis como parte de uma estratégia geral de monitoramento de custos.

É possível criar orçamentos com filtros para recursos ou serviços específicos no Azure caso você queira mais granularidade no monitoramento. Os filtros ajudam a garantir que você não crie acidentalmente novos recursos com custo adicional. Para obter mais informações sobre as opções de filtro disponíveis ao criar um orçamento, confira Opções de grupo e filtro.

Importante

Embora o OpenAI tenha uma opção para limites rígidos que impedem que você ultrapasse o seu orçamento, o OpenAI do Azure atualmente não fornece essa funcionalidade. Você pode iniciar a automação de grupos de ações como parte de suas notificações de orçamento para executar ações mais avançadas, mas isso requer desenvolvimento personalizado adicional de sua parte.

Exportar dados de custo

Você também pode exportar seus dados de custo para uma conta de armazenamento, o que é útil quando você precisa de outras pessoas para fazer uma análise extra de dados de custos. Por exemplo, uma equipe de finanças pode analisar os dados usando o Excel ou o Power BI. Você pode exportar seus custos em uma agenda diária, semanal ou mensal e definir um intervalo de datas personalizado. Recomendamos a exportação de dados de custo para recuperar conjuntos de dados de custos.

Próximas etapas

• Saiba como otimizar seus investimentos na nuvem com o Gerenciamento de Custos do Azure.
• Saiba mais sobre como gerenciar custos com a análise de custos.
• Saiba mais sobre como evitar custos inesperados.
• Faça o curso de aprendizado orientado Gerenciamento de Custos.