Condividi tramite

Importare un'API del modello linguistico

SI APPLICA A: Tutti i livelli di Gestione API

È possibile importare endpoint del modello linguistico compatibili con OpenAI nell'istanza di Gestione API come API. È anche possibile importare modelli linguistici non compatibili con OpenAI come API pass-through, che inoltrano le richieste direttamente agli endpoint back-end. Ad esempio, potresti voler gestire un LLM che ospiti autonomamente, o che sia ospitato da un provider di inferenza diverso dai servizi di intelligenza artificiale di Azure. Usare i criteri del gateway di intelligenza artificiale e altre funzionalità in Gestione API per semplificare l'integrazione, migliorare l'osservabilità e migliorare il controllo sugli endpoint del modello.

Altre informazioni sulla gestione delle API di intelligenza artificiale in Gestione API:

Tipi di API del modello linguistico

Gestione API supporta due tipi di API del modello linguistico per questo scenario. Scegliere l'opzione adatta per la distribuzione del modello. L'opzione determina il modo in cui i client chiamano l'API e il modo in cui l'istanza di Gestione API instrada le richieste al servizio di intelligenza artificiale.

  • Compatibile con OpenAI : endpoint del modello linguistico compatibili con l'API OpenAI. Alcuni esempi includono alcuni modelli esposti da provider di inferenza, ad esempio Hugging Face Text Generation Inference (TGI) e Google Gemini API.

    Per un LLM compatibile con OpenAI, Gestione API configura un endpoint di completamento della chat.

  • Pass-through : altri endpoint del modello linguistico non compatibili con l'API OpenAI. Gli esempi includono i modelli distribuiti in Amazon Bedrock o in altri provider.

    Gestione API configura le operazioni con caratteri jolly per verbi HTTP comuni. I client possono aggiungere percorsi alle operazioni wildcard e API Management passa le richieste al back-end.

Prerequisiti

  • Un'istanza di API Management esistente. Crearne una se non è già stato fatto.
  • Distribuzione di un modello linguistico self-hosted o non fornito da Azure con un endpoint API.

Importare l'API del modello linguistico usando il portale

Quando si importa l'API LLM nel portale, Gestione API configura automaticamente:

  • Una risorsa back-end e un criterio set-back-end-service che indirizzano le richieste API all'endpoint LLM.
  • (facoltativamente) Accesso al back-end LLM usando una chiave di accesso fornita. La chiave è protetta come valore denominato segreto in Gestione API.
  • (facoltativamente) Criteri che consentono di monitorare e gestire l'API.

Per importare un'API del modello linguistico in Gestione API:

  1. Nel portale di Azure accedere all'istanza di Gestione API.

  2. Nel menu a sinistra, in API, selezionare >.

  3. In Definisci una nuova API selezionare API del modello linguistico.

    Screenshot della creazione di un'API compatibile con OpenAI nel portale.

  4. Nella scheda Configura API :

    1. Immettere un Nome visualizzato e una Descrizione facoltativa per l'API.
    2. Immettere l'URL dell'endpoint API LLM.
    3. Facoltativamente, selezionare uno o più prodotti da associare all'API.
    4. In Percorso aggiungere un percorso usato dall'istanza di Gestione API per accedere agli endpoint dell'API LLM.
    5. In Tipo, selezionare Crea API OpenAI o Crea un'API passthrough. Per altre informazioni, vedere Tipi di API del modello linguistico .
    6. In Chiave di accesso immettere il nome dell'intestazione di autorizzazione e la chiave API usati per accedere all'API LLM, se necessario.
    7. Seleziona Avanti.

    Screenshot della configurazione dell'API del modello linguistico nel portale.

  5. Nella scheda Gestisci consumo di token immettere facoltativamente le impostazioni o accettare le impostazioni predefinite che definiscono i criteri seguenti per monitorare e gestire l'API:

  6. Nella scheda Applica memorizzazione nella cache semantica immettere facoltativamente le impostazioni o accettare impostazioni predefinite che definiscono i criteri per ottimizzare le prestazioni e ridurre la latenza per l'API:

  7. Nella sicurezza dei contenuti di intelligenza artificiale immettere facoltativamente le impostazioni o accettare le impostazioni predefinite per configurare il servizio Sicurezza dei contenuti di Intelligenza artificiale di Azure per bloccare le richieste con contenuto non sicuro:

  8. Seleziona Esamina.

  9. Dopo aver convalidato le impostazioni, selezionare Crea.

Gestione delle API crea l'API e configura le operazioni per gli endpoint LLM. Per impostazione predefinita, l'API richiede una sottoscrizione di Gestione API.

Testare l'API LLM

Per assicurarsi che l'API LLM funzioni come previsto, testarla nella console di test di Gestione API.

  1. Selezionare l'API creata nel passaggio precedente.

  2. Selezionare la scheda Test.

  3. Selezionare un'operazione compatibile con la distribuzione del modello. Nella pagina vengono visualizzati i campi per i parametri e le intestazioni.

  4. Immettere i parametri e le intestazioni in base alle esigenze. A seconda dell'operazione, potrebbe essere necessario configurare o aggiornare un corpo della richiesta.

    Annotazioni

    Nella console di test, Gestione API popola automaticamente un'intestazione Ocp-Apim-Subscription-Key e configura la chiave di sottoscrizione della sottoscrizione con accesso completo integrata. Questa chiave consente l'accesso a ogni API nell'istanza di Gestione API. Facoltativamente, visualizzare l'intestazione Ocp-Apim-Subscription-Key selezionando l'icona "occhio" accanto alla richiesta HTTP.

  5. Seleziona Invia.

    Quando il test ha esito positivo, il back-end risponde con un codice di risposta HTTP corretto e alcuni dati. Allegati alla risposta sono i dati di utilizzo dei token per aiutarti a monitorare e gestire il consumo di token del modello linguistico.

Contenuti correlati

  • Last updated on