Megosztás a következőn keresztül:

Open Web UI integrálása a Foundry Local szolgáltatással

Fontos

  • A Foundry Local előzetes verzióban érhető el. A nyilvános előzetes verziók korai hozzáférést biztosítanak az aktív üzembe helyezés alatt lévő funkciókhoz.
  • A funkciók, a megközelítések és a folyamatok az általános rendelkezésre állás (GA) előtt változhatnak vagy korlátozott képességekkel rendelkezhetnek.

Ez az oktatóanyag bemutatja, hogyan hozhat létre csevegőalkalmazást a Foundry Local és a Webes felhasználói felület megnyitása használatával. Ha végzett, egy működő csevegőfelülettel rendelkezik, amely teljes egészében a helyi eszközön fut.

Előfeltételek

Az oktatóanyag megkezdése előtt a következőket kell elvégeznie:

Webes felhasználói felület megnyitása csevegéshez

  1. Telepítse a Nyílt webes felhasználói felületet az Open Web UI GitHub-adattár utasításait követve.

  2. Indítsa el a Webes felhasználói felület megnyitása ezzel a paranccsal a terminálon:

    open-webui serve

  3. Nyissa meg a webböngészőt, és nyissa meg a kívánt webhelyet http://localhost:8080.

  4. Csatlakoztassa a nyílt webes felhasználói felületet a Foundry Localhoz

    1. Válassza a Beállítások lehetőséget a navigációs menüben
    2. Kapcsolatok kiválasztása
    3. Válassza a Közvetlen kapcsolatok kezelése lehetőséget
    4. Kapcsolat hozzáadásához válassza az + ikont
    5. Adja meg az URL-t, ahol az PORT helyére a helyi Foundry-végpont portját írja be, melyet a foundry service status CLI paranccsal találhat meg. Vegye figyelembe, hogy a Foundry Local dinamikusan rendel hozzá egy portot, így nem mindig ugyanaz.
    6. Írjon be bármilyen értéket (például test) az API-kulcshoz, mivel nem lehet üres.
    7. A kapcsolat mentése

  5. Csevegés indítása a modellel:

    1. A betöltött modellek a felső legördülő menüben jelennek meg
    2. Válasszon ki egy modellt a listából
    3. Írja be az üzenetet az alsó beviteli mezőbe

Ennyi az egész! Most már egy teljesen a helyi eszközön futó AI-modellel cseveg.

Következő lépések