Objet : Demande d'informations sur les modèles et quotas Azure OpenAI

Question

Bonjour, Je souhaite développer un chatbot capable d'interagir avec mes documents SharePoint en mettant en place un système de génération augmentée par récupération (RAG). Ce projet est destiné à 80 utilisateurs, chacun effectuant en moyenne 5 requêtes par jour entre 9 h et 17 h. Chaque requête comprend environ 1 000 jetons en entrée et 1 000 jetons en sortie, soit un total de 2 000 jetons par requête. De plus, j'envisage d'utiliser le modèle de langage pour transformer un fichier texte en JSON. Cette opération serait effectuée jusqu'à 3 fois par jour, chaque transformation impliquant également environ 1 000 jetons en entrée et 1 000 jetons en sortie. Pour ce faire, j'envisage d'utiliser Azure OpenAI pour déployer les modèles suivants : Ada pour les embeddings GPT-3.5 Turbo 0613 ou GPT-4o Mini, en fonction de leur disponibilité. Je suis conscient que le service Azure OpenAI impose certaines restrictions par rapport à l'utilisation directe des services d'OpenAI. Par exemple, Azure OpenAI offre des quotas et des limites spécifiques, tels que des limites de jetons par minute et des restrictions sur le nombre de déploiements simultanés. Demande : Nous souhaitons intégrer ces deux modèles dans notre entreprise. Nous aimerions bénéficier de votre aide pour : Comprendre les options de quotas disponibles afin de répondre à notre problématique. Clarifier les quotas pour le modèle GPT-4o Mini et <GPT-3.5 turbo 0613 dans le cadre d'un déploiement standard. Avec une consommation estimée maximale à 2 000 jetons par minute, les quotas par défaut semblent insuffisants pour répondre à nos besoins. Vous nous suggérez quoi? Enfin, nous souhaiterions une estimation des coûts : lorsqu’on demande une augmentation de quota, une tarification supplémentaire est-elle appliquée ou le coût reste-t-il identique à celui des appels API standards ? Je reste à votre disposition pour tout complément d'information. Cordialement,

Answer 1

• • •                                                     llllllllllllllllllllllllllll
      

Answer 2

Bonjour,

Voici le lien permettant de voir les différents quotas liés à Azure OpenAI : https://learn.microsoft.com/fr-fr/azure/ai-services/openai/quotas-limits

Voici le lien permettant de faire votre estimation de cout : https://azure.microsoft.com/en-us/pricing/calculator/

Pour faire une demande d'augmentation, vous devez faire une demande de support depuis le portail Azure.

Bien à vous,