次の方法で共有

Open Web UI と Foundry Local の統合

Von Bedeutung

  • Foundry Local はプレビューで利用できます。 パブリック プレビュー リリースでは、アクティブなデプロイ中の機能に早期にアクセスできます。
  • 一般提供 (GA) の前は、機能、アプローチ、プロセスが変更されたり、機能が制限されたりする場合があります。

このチュートリアルでは、Foundry Local と Open Web UI を使用してチャット アプリケーションを作成する方法について説明します。 完了すると、ローカル デバイス上で動作するチャット インターフェイスが完全に実行されます。

[前提条件]

このチュートリアルを開始する前に、次のものが必要です。

  • Foundry Local がコンピューターにインストールされています。 インストール手順については、「 Foundry Local の概要 」ガイドを参照してください。

チャット用に Open Web UI を設定する

  1. Open Web UI GitHub リポジトリの手順に従って 、Open Web UI をインストールします。

  2. ターミナルで次のコマンドを使用して、Open Web UI を起動します。

    open-webui serve

  3. Web ブラウザーを開き、http://localhost:8080 に移動します。

  4. Open Web UI を Foundry Local に接続する:

    1. ナビゲーション メニューの [設定] を選択する
    2. 接続を選択
    3. [ 直接接続の管理] を選択する
    4. + アイコンを選択して接続を追加する
    5. URL として、「PORTが Foundry Local エンドポイントのポートに置き換えられるhttp://localhost:PORT/v1を入力します。これは CLI コマンド foundry service statusを使用して確認できます。 Foundry Local ではポートが動的に割り当てられるため、常に同じとは限りません。
    6. API キーの任意の値 ( test など) を入力します。これは空にできないためです。
    7. 接続を保存する

  5. モデルとのチャットを開始します。

    1. 読み込まれたモデルが上部のドロップダウンに表示される
    2. 一覧から任意のモデルを選択する
    3. 下部の入力ボックスにメッセージを入力します

それです！ これで、ローカル デバイス上で完全に実行されている AI モデルとチャットが行われます。

次のステップ