開始在 Windows 應用程式中使用 AI 支援的 API

Windows Copilot Runtime提供各種稱為 Windows Copilot Library AI 支援的 API，可讓您利用 AI 功能，而不需要尋找、執行或優化您自己的 機器學習 （ML） 模型。 提供電源 Windows Copilot Library 的模型隨時可供使用且被動地在裝置上執行，以在 Copilot+ 計算機上啟用 AI 功能。

使用中可用的本機 AI 支援 API Windows Copilot Library

Windows Copilot Library 包含由直接在 Windows 裝置上執行之模型所提供的這些 AI 支援的 API：

• Phi 矽:P hi 矽 API 是 Windows 應用程式 SDK 的一部分。 與支援 ChatGPT 的 OpenAI 大型語言模型 （LLM） 類似，Phi 是 Microsoft Research 開發的小型語言模型（SLM），在本機裝置上執行語言處理工作。 Phi Blob 專為具有類神經處理單元 （NPU） 的 Windows 裝置而設計，可讓文字產生和交談功能直接在裝置上以高效能的硬體加速方式執行。

• Text Recognition使用 OCR：Text RecognitionAPI（也稱為光學字元辨識或 OCR）可作為 Windows 應用程式 SDK 的一部分。 此 API 可讓您辨識影像中的文字，以及轉換不同類型的檔，例如掃描的檔、數位相機所擷取的 PDF 檔案或影像，以在本機裝置上編輯和可搜尋的數據。

• Studio Effects：具有相容類神經處理單元 （NPU） 的 Windows 裝置會整合到 Studio Effects 內建裝置相機和麥克風設定中。 套用利用 AI 的特殊效果，包括：背景模糊、眼部接觸校正、自動框架、直向光線校正、創意篩選或語音焦點來篩選背景噪音。

• Recall： Recall 可讓使用者從過去的活動快速尋找專案，例如檔、影像、網站等等。 開發人員可以使用用戶活動 API，將內容資訊新增至基礎向量資料庫，以擴充Recall其應用程式的體驗。 這項整合可協助使用者挑選他們在應用程式中離開的位置，改善App參與度，以及使用者與App之間的順暢流程。

還有更多內容，包括即時輔助字幕翻譯、語意搜尋、擷取增強世代（RAG）、文字摘要和影像超解析度。

在 Windows 應用程式中使用雲端式 AI 支援的 API

您可能也有興趣使用在雲端中執行模型的 API，來提供可新增至 Windows 應用程式的 AI 功能。 Microsoft 或 OpenAI 所提供的一些雲端式 AI 支援的 API 範例包括：

• 將 OpenAI 聊天完成新增至您的 WinUI 3 /Windows 應用程式 SDK 傳統型應用程式：如何將雲端型 OpenAI ChatGPT 完成功能整合到 WinUI 3 / Windows 應用程式 SDK 傳統型應用程式的教學課程。

• 將 DALL-E 新增至您的 WinUI 3 /Windows 應用程式 SDK 傳統型應用程式：如何將雲端式 OpenAI DALL-E 映射產生功能整合到 WinUI 3 / Windows 應用程式 SDK 傳統型應用程式的教學課程。

• 使用 .NET MAUI 和 ChatGPT 建立建議應用程式：如何建立範例建議應用程式，以將雲端式 OpenAI ChatGPT 完成功能整合到 .NET MAUI 應用程式中。

• 將 DALL-E 新增至 .NET MAUI Windows 傳統型應用程式：如何將雲端式 OpenAI DALL-E 映射產生功能整合到 .NET MAUI 應用程式中的教學課程。

• Azure OpenAI 服務：如果您想要讓 Windows 應用程式存取 OpenAI 模型，例如 GPT-4、GPT-4 Turbo with Vision、GPT-3.5-Turbo、DALLE-3 或 Embeddings 模型系列，以及 Azure 新增的安全性和企業功能，您可以在此 Azure OpenAI 檔中找到指引。

• Azure AI 服務：Azure 提供一套完整的 AI 服務，可透過 REST API 和熱門開發語言的用戶端連結庫 SDK 取得。 如需詳細資訊，請參閱每個服務的文件。 這些雲端式服務可協助開發人員和組織使用現成且預先建置且可自定義的 API 和模型，快速建立智慧型手機、尖端、市場就緒且負責任的應用程式。 範例應用程式包含適用於對話、搜尋、監視、翻譯、語音、視覺和決策制定的自然語言處理。

在 Windows 應用程式中使用本機與雲端式 AI 支援的 API 的考慮

當您決定在 Windows 應用程式中使用依賴在本機執行 ML 模型與雲端的 API 時，有幾個優點和缺點需要考慮。

• 資源可用性

  • 本機裝置： 執行模型取決於所使用的裝置上可用的資源，包括 CPU、GPU、NPU、記憶體和記憶體和記憶體容量。 如果裝置沒有高計算能力或足夠的記憶體，這可能會受到限制。 小型語言模型（SLM），例如 Phi，更適合在裝置本機使用。
  • 雲端： Azure 等雲端平臺提供可調整的資源。 您可以視需要使用計算能力或記憶體，並只支付您所使用的費用。 大型語言模型（LLM），如 OpenAI 語言模型，需要更多的資源，但也更強大。

• 數據隱私權和安全性

  • 本機裝置： 由於數據會保留在裝置上，因此在本機執行模型可以更安全且更私人。 數據安全性的責任取決於使用者。
  • 雲端： 雲端提供者提供強大的安全性措施，但數據必須傳輸到雲端，在某些情況下可能會引發數據隱私權考慮。

• 輔助功能與共同作業

  • 本機裝置： 除非手動共用，否則只能在裝置上存取模型和數據。 這有可能讓模型數據的共同作業更具挑戰性。
  • 雲端： 模型和數據可以透過因特網連線從任何地方存取。 這在共同作業案例中可能更好。

• 成本

  • 本機裝置： 在裝置的初始投資之外，沒有額外的成本。
  • 雲端： 雖然雲端平臺是以隨用隨付模型運作，但成本可以根據使用的資源和使用量持續時間來累積。

• 維護和 更新

  • 本機裝置： 使用者負責維護系統和安裝更新。
  • 雲端： 雲端服務提供者會處理維護、系統更新和新功能更新，減少使用者的維護額外負荷。

請參閱 在本機執行小型語言模型與雲端 中的大型語言模型，以深入瞭解在本機執行小型語言模型 （SLM） 與在雲端中執行大型語言模型 （LLM） 之間的差異。