Partager via

How to solve: openai.InternalServerError: Error code: 503

Reda 30 Points de réputation
2024-04-02T14:36:31.51+00:00

i am using AzureOPenAIEmbeddings and azure Openai as an llm. 

 embeddings = AzureOpenAIEmbeddings(
    azure_deployment="embeddings-small",
    openai_api_version="2024-02-01",
)


llm = AzureOpenAI(
    deployment_name="talent_instruct",
)

but when i use it with fast api and i test it on postman it works some times and most of the time i get the error:

500 Internal Server Error

ERROR: Exception in ASGI application
.

.

.
openai.InternalServerError: Error code: 503 - {'error': {'code': 'InternalServerError', 'message': 'The service is temporarily unable to process your request. Please try again later.'}}

Azure
Azure
Plateforme et infrastructure de cloud computing pour la génération, le déploiement et la gestion d’applications et de services à travers un réseau mondial de centres de données gérés par Microsoft.
141 questions
0 commentaires
Réponse acceptée
  1. Alexis Thorez (CONCENTRIX CORPORATION) 6 780 Points de réputation Fournisseur Microsoft
    2024-04-03T06:11:05.2433333+00:00

    Bonjour Reda,

    Merci d'avoir sollicité la communauté Q&A France.

    Concernant l'erreur 503 que vous rencontrez de façon intermittente voici plusieurs choses à vérifier:

    • Vérifiez l'état du service dans Azure Service Health
    • Vérifiez les autorisations et les clés d’API : Assurez-vous que vous utilisez les clés d’API correctes pour accéder aux services Azure et OpenAI. Vérifiez également que les autorisations nécessaires sont configurées correctement.
    • Vérifiez les limites de requêtes : Certains services ont des limites de requêtes par minute ou par jour. Assurez-vous que vous n’avez pas atteint ces limites. Si c’est le cas, attendez un moment avant de réessayer.
    • Consultez les journaux d’erreur : Examinez les journaux d’erreur de votre application FastAPI pour obtenir des informations plus détaillées sur la cause de l’erreur. Cela pourrait vous aider à identifier le problème spécifique.
    • Testez avec un autre environnement : Essayez de déployer votre application FastAPI sur un autre environnement (par exemple, local au lieu de production) pour voir si le problème persiste. Cela peut aider à isoler le problème.

    A bientôt

    Alexis

    1 personne a trouvé cette réponse utile.
    0 commentaires

2 réponses supplémentaires

Trier par : Le plus utile
Le plus utile Plus récent Plus ancien
  1. Reda 30 Points de réputation
    2024-04-03T15:08:31.2133333+00:00

    la solution est d'utiliser AzureChatOpenAI() au lieu de AzureOpenAI()

    2 personnes ont trouvé cette réponse utile.
  2. Reda 30 Points de réputation
    2024-04-03T12:32:11.7566667+00:00

    Aujourd'hui ça a marché sans rien changer.
    Par contre j'ai eu un autre problème quand j'ajoute le chat history, le model fonctionne mal. par example si je text: "bonjour ", au lieu de répondre par exemple par "bonjour, comment je peux vous aidez" il s'engage dans une conversation avec lui meme. et cela n'arrive que lorsque j'utilise azure OpenAI au moment que où le meme code fonctionne avec openAI.

    0 commentaires