在 Visual Studio Code 中使用 AI 工具鏈運算子 （KAITO） 部署及測試推斷模型

在本文中，您將瞭解如何在適用於Visual Studio Code 的 Azure Kubernetes Service （AKS） 延伸模組中使用 AI 工具鏈運算子 （KAITO） 附加元件。 KAITO 會自動布建正確的 GPU 節點，並將推斷伺服器設定為 AI 模型的端點伺服器，讓您輕鬆地在 AKS 上測試及實驗 AI。

必要條件

• 必須安裝適用於Visual Studio Code的 Azure Kubernetes Service （AKS） 擴充功能，才能使用 KAITO 體驗。 如需詳細資訊，請參閱安裝適用於 Visual Studio Code 的 Azure Kubernetes Service (AKS) 延伸模組。
• 您要部署的叢集是標準叢集（Kaito 目前無法安裝在自動叢集上）。
• 檢查 KAITO 模型工作區，確認您的 Azure 訂用帳戶具有所選模型的 GPU 配額。

在您的叢集上安裝 KAITO

1. 在 [Kubernetes] 索引標籤的 [Clouds Azure]>
2. 在頁面上，選取 [ 安裝 KAITO ] 以啟動 KAITO 安裝程式。
3. 安裝完成時，您會看到 [ 產生工作區 ] 按鈕，將您重新導向至模型部署頁面。

建立 KAITO 工作區

建立 KAITO 工作區時，您可以直接將預設工作區 CRD 部署到 AKS 叢集，或儲存 CRD 並根據您的需求加以自定義。

1. 在 [Kubernetes] 索引標籤的 [Clouds Azure>
2. 尋找並選取您想要部署的模型。
3. 選取 [部署預設工作區 CRD ] 或 [自定義工作區 CRD]。
4. 選取 [部署預設工作區 CRD ] 以部署模型。 它會追蹤模型的進度，並在模型成功部署后通知您。 它也會通知您模型是否已部署至叢集失敗。
5. 部署完成時，您會看到 [ 檢視已部署的模型 ] 按鈕，將您重新導向至部署管理頁面。

管理 KAITO 模型

[ 管理 KAITO 模型 ] 頁面可讓您查看 AKS 叢集中部署的所有模型及其狀態（進行中、 成功或 失敗）。

1. 在 [Kubernetes] 索引標籤的 [Clouds Azure]>

2. 您可以從此頁面選擇執行下列其中一個動作：

   • 取得記錄：選取 [取得記錄 ] 以從 KAITO 工作區 Pod 存取您部署的最新記錄。 此動作會產生包含最近 500 行記錄的新文字檔。
   • 刪除模型：選取 [刪除工作區 ] （或 [取消 ] 進行中的部署）。 針對失敗的部署，選取 [ 重新部署預設 CRD ] 以移除目前的部署，然後從頭開始重新啟動模型部署程式。
   • 測試模型：選取 [ 測試]。 此動作會帶您前往新的頁面，您可以在其中透過聊天介面與已部署的模型互動。

測試您的模型

1. 在 [Kubernetes] 索引標籤的 [Clouds Azure]>

2. 選取 [測試]。 此動作會帶您前往新的頁面，您可以在其中透過 提示 方塊聊天介面與已部署的模型互動。

3. 您可以選擇性地調整參數：

   • 溫度：可控制模型輸出的隨機性。 低溫適用於需要精確度的工作，例如數學問題，而高溫對創造性寫作等工作更好。
   • 前 P：將下一個字的選擇限制為詞彙的動態子集，由累計機率臨界值決定。
   • Top K：將下一個單字選取限制在最上層 K 的字組。 較小的 K 值會導致更可預測的輸出，而較大的值會增加變異性。
   • 重複懲罰：懲罰重複相同片語、單字或序列的模型。 這適用於避免重複或循環輸出，特別是在較長的世代中。
   • 最大長度：定義所產生輸出中的標記數目上限（單字或子字詞）。

如需詳細資訊，請參閱適用於 Visual Studio Code 的 AKS 延伸模組功能。

刪除模型推斷部署

1. 當您完成模型測試並想要釋放叢集上配置的 GPU 資源之後，請移至 [Kubernetes] 索引標籤，然後在 [雲端>Azure]>>下，使用 KAITO 部署 LLM，以滑鼠右鍵按兩下您的叢集，然後選取 [管理 KAITO 模型]。
2. 針對每個已部署的模型，選取 [ 刪除工作區 ] 以清除推斷部署所建立的所有已配置資源。

產品支援與意見反應

如果您有問題或想要提供產品意見反應，請在 AKS 延伸模組 GitHub 存放庫開啟問題。

下一步

若要深入了解其他 AKS 附加元件和延伸模組，請參閱 AKS 的附加元件、延伸模組和其他整合。