共用方式為

整合 Open Web UI 與 Foundry Local

這很重要

  • Foundry Local 可在預覽中取得。 公開預覽版本提供使用中部署中功能的早期存取權。
  • 正式運作前的功能、方法和程式可以變更或具有有限的功能。

本教學課程說明如何使用 Foundry Local 和 Open Web UI 建立聊天應用程式。 當您完成後，您的本機裝置上就會執行一個完全在地運行的工作聊天介面。

先決條件

開始本教學課程之前，您需要：

設定開放 Web UI 以進行聊天

  1. 依照 Open Web UI GitHub 存放庫的指示安裝 Open Web UI。

  2. 在終端機中使用此指令啟動 Open Web UI：

    open-webui serve

  3. 開啟網頁瀏覽器並移至 http://localhost:8080。

  4. 將 Open Web UI 連線至 Foundry Local：

    1. 在導覽功能表中選取 [ 設定 ]
    2. 選取 連線
    3. 選取 [管理直接連線]
    4. +選取圖示以新增連線
    5. 針對 URL，輸入 http://localhost:PORT/v1 ，其中 PORT 會取代為 Foundry 本機端點的埠，您可以使用 CLI 命令 foundry service status找到此埠。 請注意，Foundry Local 會動態指派埠，因此不一定相同。
    6. 輸入 API 金鑰的任何值（例如 test），因為它不能是空的。
    7. 儲存連線

  5. 開始與您的模型聊天：

    1. 載入的模型會出現在頂端的下拉式清單中
    2. 從清單中選取任何模型
    3. 在底部的輸入方塊中輸入您的訊息

就是這樣！ 您現在正與完全在本地設備上執行的 AI 模型進行聊天。

後續步驟