什麼是 Windows Copilot Runtime？

與 Windows 一同建構智能 AI 體驗的能力正在快速發展。 Windows Copilot Runtime 提供 AI 支援的功能和 APIs，適用於 Copilot+ 電腦。 這些功能正在積極開發中，並隨時在本地於背景執行。 深入瞭解 Windows Copilot Runtime。

Windows Copilot Runtime 包含數位可啟用獨特 AI 體驗的元件：

1. Windows Copilot Runtime APIs：您可以使用內建的 Windows AI APIs 來整合 Copilot+ 計算機上使用者的 AI 服務。 您可以從 Windows 應用程式利用的一些現成可用的 AI 功能包括：
   • Phi 二氧化矽：一種當地現成的語言模型。
   • AI 影像：使用 AI 來縮放和銳化影像（影像超解析度）、產生描述影像的文字（影像描述）、識別影像中的物件（影像分割），以及從影像中移除物件（物件清除）。
   • Text Recognition：使用 AI 來偵測並擷取影像內的文字，並將其轉換成計算機可讀取的字元數據流
2. Windows ML：在 Windows 上使用機器學習來建置及自備模型的方法
3. 開發人員工具： Visual Studio AI Toolkit 和 AI 開發人員資源庫 等工具，可協助您成功建置 AI 功能

如何在 Windows 應用程式中使用 AI？

Windows 應用程式可以利用 Machine Learning （ML） 模型來增強其 AI 功能與使用者體驗的幾種方式，包括：

• 應用程式可以使用 Generative AI 模型來瞭解複雜的主題，以摘要、重寫、報告或展開。
• 應用程式可以使用模型，將自由格式內容轉換成您的應用程式可以理解的結構化格式。
• 應用程式可以使用語意搜尋模型，讓使用者依意義搜尋內容，並快速尋找相關的內容。
• 應用程式可以使用自然語言處理模型來推理複雜的自然語言需求，並規劃和執行動作來完成用戶的詢問。
• 應用程式可以使用影像處理模型，智慧地修改影像、清除或新增物件、提高解析度或產生新內容。
• 應用程式可以使用預測性診斷模型來協助識別和預測問題，並協助引導使用者或為其執行。

使用 Windows Copilot RuntimeAPIs 與使用您自己的模型

用 Windows Copilot RuntimeAPIs

當本機 AI 模型是正確的解決方案時，您可以使用 Windows Copilot Runtime APIs 來整合 Copilot+ 電腦上的使用者 AI 服務。 這些 APIs 是內建在您的電腦上的，並能以相對較少的資源啟用獨特的人工智慧驅動功能。

定型您自己的模型

如果您能夠使用自己的私人數據，并透過 TensorFlow 或 PyTorch 等平臺來訓練自己的模型。 您可以使用visual Studio Code 的 ONNX Runtime 和 AI Toolkit，在裝置硬體上執行自定義模型，將其整合到 Windows 應用程式中。

AI Toolkit for Visual Studio Code 是 VS Code 擴充功能，可讓您在本機下載並執行 AI 模型，包括存取硬體加速以提升效能並透過 DirectML 進行調整。 AI Tookit 也可以協助您：

• 使用 REST API 在直覺式遊樂場或應用程式中測試模型。
• 微調您的 AI 模型，無論是在本機還是雲端中（在虛擬機上），以建立新的技能、改善回應的可靠性、設定回應的音調和格式。
• 微調熱門的小語言模型（SLM），如 Phi-3 和 Mistral。
• 將您的 AI 功能部署至雲端，或使用在裝置上執行的應用程式。
• 使用 DirectML 利用硬體加速以提升 AI 功能的效能。 DirectML 是低階 API，可讓您的 Windows 裝置硬體使用裝置 GPU 或 NPU 來加速 ML 模型的效能。 將 DirectML 與 ONNX Runtime 配對通常是開發人員大規模將硬體加速 AI 帶到使用者的最直接方式。 深入瞭解： DirectML 概觀。

您也可以查看這些 模型微調概念 ，以調整預先定型的模型，以更符合您的數據。

使用雲端 AI 模型

如果使用本機 AI 功能不是適合您的路徑， 則使用雲端 AI 模型和資源 可以是解決方案。

使用負責任的 AI 做法

每當您在 Windows 應用程式中納入 AI 功能時 ，強烈建議遵循 在 Windows 上開發負責任的產生 AI 應用程式和功能 指引。