共用方式為

Windows Copilot Runtime 概觀

  • 發行項

Windows 上的 Microsoft Copilot 堆疊讓實驗、建置和觸達具有突破性 AI 體驗的人員的能力，讓開發人員能夠控制。 Windows 中的 Copilot 會顯示為停駐在 Windows 桌面上的側邊列，其設計目的是協助使用者在操作系統中完成工作（例如變更 Windows 設定）。 請參閱 在 Windows 中管理 Copilot，以深入瞭解在 Windows 中為商業環境設定 Copilot。

Windows Copilot Runtime 引進了與利用 AI 的作業系統互動的新方式，例如，Microsoft Research 所建立的 Small Language Model （SLM），能夠提供許多在大型語言模型 （LLM） 中找到的相同功能，但更精簡且更有效率，以便可在 Windows 本機執行。

身為開發人員，您可以將應用程式與 AI 支援的 Windows 體驗整合，例如 Recall 和Studio Effects，透過利用由裝置模型Windows Copilot Library提供的新 API、探索 機器學習 （ML） 模型，以使用 Visual Studio Code 中的自定義數據微調，使用AI Toolkit、PyTorch 或 WebNN 等ONNX Runtime架構整合您自己的 ML 模型，並存取硬體加速以提升效能並透過 DirectML 進行調整。

Windows Copilot Runtime 和 Windows Copilot Library

有一些使用 AI 來改善和重新定義 Windows 體驗的新創新，其中一些 AI 創新已正確製作成使用 Windows，而其他創新則可供應用程式開發人員整合至其應用程式功能。 這些將 AI 整合到 Windows 應用程式的新方式會形成 Windows Copilot Library，這是現成可用的 AI 支援功能和 API 的清單，包括：

  • Studio Effects：使用 AI 驅動的背景效果、眼部接觸校正、自動框架、語音焦點、模糊、光源和創意篩選器在裝置 NPU 上執行，增強 Windows 裝置的相機和音訊功能，以維持快速的效能速度。
  • Recall：讓 Windows 裝置上的過去活動可供搜尋，以便您挑選離開的位置、使用應用程式、編輯檔或響應電子郵件。
  • Phi 卡利：讓您的 app 能夠與裝置上的 Phi 模型連線，以使用 Windows 應用程式 SDK 進行自然語言處理工作（聊天、數學、程式代碼、推理）。
  • Text Recognition：光學字元辨識或 OCR 可讓您從影像和檔擷取文字。 想像將教室白板的 PDF、紙張檔或圖片轉換成可編輯的數位文字等工作。
  • 即時輔助字幕翻譯：協助 Windows 上的每個人，包括聾子或聽覺困難的人，透過檢視口語內容的 標題 來進一步瞭解音訊，即使音訊內容與系統慣用的語言不同也一樣。

開發人員將能夠在 Windows 應用程式 SDK 中存取這些 API。

除了 中的Windows Copilot Library現成使用 AI 支援的 API 之外，我們還有如何使用 機器學習 （ML） 模型來增強應用程式的指引。 本文涵蓋的主題如下：

以責任和範例領先

我們也已建立資源，以支援尋求將 AI 整合到 Windows 應用程式的開發人員，方法是提供範例庫、負責任 AI 使用指南，以及一些有助於解包一些術語和概念的高階常見問題。

  • Windows 範例庫上的 AI：示範如何將 AI 整合到 Windows 應用程式中的範例。

  • 在 Windows 上開發負責任的產生 AI 應用程式和功能：資源和指引，協助您在 Windows 上使用 AI，並將 AI 負責任地納入您的 Windows 應用程式。

  • 關於搭配 Windows 使用 AI 的常見問題：關於在 Windows 內容中使用 AI 的相關術語和概念常見問題，涵蓋「什麼是 DirectML？」、「什麼是 ONNX？」、「什麼是 ORT？」、「什麼是 NPU？」、「什麼是 SLM？」、「什麼是推斷？」、「什麼是微調？」等問題。

開始將模型新增至 Windows 應用程式