Freigeben über

Integrieren der Open Web UI in Foundry Local

Von Bedeutung

  • Foundry Local ist in der Vorschau verfügbar. Öffentliche Vorschauversionen bieten frühzeitigen Zugriff auf Features, die sich in der aktiven Bereitstellung befinden.
  • Features, Ansätze und Prozesse können sich vor der allgemeinen Verfügbarkeit (General Availability, GA) noch ändern oder eine eingeschränkte Funktionalität aufweisen.

In diesem Tutorial erfahren Sie, wie Sie eine Chatanwendung mit Foundry Local und Open Web UI erstellen. Wenn Sie fertig sind, haben Sie eine funktionierende Chatschnittstelle, die vollständig auf Ihrem lokalen Gerät ausgeführt wird.

Voraussetzungen

Bevor Sie dieses Lernprogramm starten, benötigen Sie Folgendes:

Open-Web-Benutzeroberfläche für den Chat einrichten

  1. Installieren Sie Open Web UI , indem Sie die Anweisungen aus dem GitHub-Repository der Open Web UI befolgen.

  2. Starten Sie die Open Web UI mit diesem Befehl in Ihrem Terminal:

    open-webui serve

  3. Öffnen Sie Ihren Webbrowser und gehen Sie zu http://localhost:8080.

  4. Verbinden der Open Web UI mit Foundry Local:

    1. Einstellungen im Navigationsmenü auswählen
    2. Verbindungen auswählen
    3. Wählen Sie "Direkte Verbindungen verwalten" aus.
    4. Wählen Sie das + Symbol aus, um eine Verbindung hinzuzufügen.
    5. Geben Sie für die URLhttp://localhost:PORT/v1 ein, wobei PORT durch den Port des lokalen Foundry-Endpunkts ersetzt wird, den Sie mit dem CLI-Befehl foundry service status finden können. Beachten Sie, dass Foundry Local dynamisch einen Port zuweist, sodass er nicht immer gleich ist.
    6. Geben Sie einen beliebigen Wert (wie test) für den API-Schlüssel ein, da er nicht leer sein kann.
    7. Speichern Der Verbindung

  5. Beginnen Sie mit dem Chatten mit Ihrem Modell:

    1. Ihre geladenen Modelle werden oben in der Dropdownliste angezeigt.
    2. Wählen Sie ein beliebiges Modell aus der Liste aus.
    3. Geben Sie Ihre Nachricht im Eingabefeld unten ein.

Das ist alles! Sie chatten jetzt mit einem KI-Modell, das vollständig auf Ihrem lokalen Gerät ausgeführt wird.

Nächste Schritte