Condividi tramite

Usare endpoint di un’API serverless da un’area di lavoro diversa da quella in cui è stato distribuito

  • Articolo

Questo articolo illustra come configurare l’endpoint di un’API serverless esistente in un'area di lavoro diversa da quella in cui è stato distribuito.

Alcuni modelli nel catalogo dei modelli possono essere distribuiti come API serverless. Questo tipo di distribuzione consente di utilizzare modelli come API senza ospitarli nella sottoscrizione, mantenendo al tempo stesso la sicurezza e la conformità aziendali necessarie alle organizzazioni. Questa opzione di distribuzione non richiede la quota dalla sottoscrizione.

La necessità di usare l’endpoint di un’API serverless in un’area di lavoro diversa da quella usata per creare la distribuzione può verificarsi in situazioni come queste:

  • Si vuole centralizzare le distribuzioni in una determinata area di lavoro e usarle da aree di lavoro diverse nell’organizzazione.
  • È necessario distribuire un modello in un’area di lavoro in una determinata area di Azure in cui è disponibile la distribuzione serverless per tale modello. Tuttavia, è necessario usarlo da un’altra area, in cui la distribuzione serverless non è disponibile per i modelli specifici.

Prerequisiti

Creare una connessione all'endpoint dell'API serverless

Per creare una connessione, seguire questa procedura:

  1. Connettersi all’area di lavoro in cui è stato distribuito l’endpoint:

    Passare a studio di Azure Machine Learning e all’area di lavoro in cui è stato distribuito l’endpoint a cui si vuole connettersi.

  2. Ottenere l’URL e le credenziali dell’endpoint a cui si vuole connettersi. In questo esempio, si ottengono i dettagli per un nome di endpoint meta-llama3-8b-qwerty.

    1. Selezionare Endpoint dalla barra laterale sinistra.

    2. Selezionare la scheda Endpoint serverless per visualizzare gli endpoint dell’API serverless.

    3. Selezionare l’endpoint a cui si vuole connettersi.

    4. Nella scheda Dettagli degli endpoint, copiare i valori per URI di destinazione e Chiave.

  3. Connettersi ora all’area di lavoro in cui si vuole creare la connessione e usare l’endpoint.

  4. Creare la connessione nell’area di lavoro:

    1. Passare all’area di lavoro in cui deve essere creata la connessione.

    2. Passare alla sezione Gestisci nella barra di spostamento sinistra e selezionare Connessioni.

    3. Seleziona Crea.

    4. Selezionare Modello serverless.

    5. Per l'URI di destinazione, incollare il valore copiato in precedenza.

    6. Per il valore Chiave, incollare il valore copiato in precedenza.

    7. Assegnare un nome alla connessione, in questo caso meta-llama3-8b-connection.

    8. Selezionare Aggiungi connessione.

  5. A questo punto, la connessione è disponibile per l'uso.

  6. Per verificare che la connessione funzioni:

    1. Dalla barra di spostamento sinistra di studio di Azure Machine Learning, passare a Creazione>Prompt flow.

    2. Selezionare Crea per creare un nuovo flusso.

    3. Selezionare Crea nella casella Flusso della chat.

    4. Assegnare al Prompt flow un nome e selezionare Crea.

    5. Selezionare il nodo chat dal grafo per passare alla sezione Chat.

    6. Per Connessione, aprire l'elenco a discesa per selezionare la connessione appena creata, in questo caso meta-llama3-8b-connection.

    7. Seleziona Avvia sessione di calcolo dalla barra di spostamento superiore per avviare un runtime automatico del prompt flow.

    8. Seleziona l'opzione Chat. È ora possibile inviare messaggi e ottenere risposte.

Contenuto correlato