Condividi tramite

Integrare Open Web UI con Foundry Local

Importante

  • Foundry Local è disponibile in anteprima. Le versioni di anteprima pubblica consentono l'accesso anticipato alle funzionalità in fase di distribuzione attiva.
  • Funzionalità, approcci e processi possono modificare o avere funzionalità limitate, prima della disponibilità generale.

Questa esercitazione illustra come creare un'applicazione di chat usando Foundry Local e Open Web UI. Al termine, si dispone di un'interfaccia di chat funzionante in esecuzione interamente sul dispositivo locale.

Prerequisiti

Prima di iniziare questa esercitazione, è necessario:

Configurare l'interfaccia utente Web aperta per la chat

  1. Installare Open Web UI seguendo le istruzioni dal repository GitHub di Open Web UI.

  2. Avvia l'interfaccia utente Web aperta con questo comando nel terminale:

    open-webui serve

  3. Aprire il Web browser e passare a http://localhost:8080.

  4. Connettere Open Web UI to Foundry Local :Connect Open Web UI to Foundry Local:

    1. Selezionare Impostazioni nel menu di spostamento
    2. Selezionare Connessioni
    3. Selezionare Gestisci connessioni dirette
    4. Selezionare l'icona + per aggiungere una connessione
    5. Per l'URL, immettere http://localhost:PORT/v1 dove si sostituisce PORT con la porta dell'endpoint locale di Foundry Local, che puoi trovare usando il comando CLI foundry service status. Si noti che Foundry Local assegna dinamicamente una porta, quindi non è sempre la stessa.
    6. Digitare qualsiasi valore (ad esempio test) per la chiave API, perché non può essere vuoto.
    7. Salvare la connessione

  5. Iniziare a chattare con il modello:

    1. I modelli caricati vengono visualizzati nell'elenco a discesa nella parte superiore
    2. Selezionare un modello dall'elenco
    3. Digitare il messaggio nella casella di input nella parte inferiore

Questo è tutto! Si sta ora chattando con un modello di intelligenza artificiale in esecuzione interamente nel dispositivo locale.

Passaggi successivi