NPU 为何更改电脑运行 AI 的方式

已完成

在前面的部分中,你了解了 NPU 是什么,以及AI+ PC如何使用它为实际业务方案提供支持。 本部分将更仔细地了解为什么NPU 是 PC 架构的重大转变,以及这对作为 AI 平台的 Windows 的未来意味着什么。

看到区别:CPU 与 GPU 与 NPU

为了了解 NPU 为何重要,它有助于了解所有三个处理器如何处理相同的 AI 任务。

在以下演示中,系统要求 AI 模型识别和统计实时视频源中的人脸。 相同的任务在 CPU、GPU 和 NPU 上运行。

在 NPU、GPU 和 CPU 上对图像加载速度进行说明比较。

这三个处理器都完成了任务,但结果不同:

处理器 速度 能源使用 产生的热量
中央处理器 最慢 最高 大多数
GPU 中等 中等 中等
NPU 最快 最低 最小

NPU 更快地完成任务,同时生成更少的热量和使用更少的能量。 这种效率使AI+ PC能够在视频通话期间持续运行 AI 功能(如实时字幕或Windows Studio 效果),而不会耗尽电池使用时间或减缓其他应用程序。

Tip

此演示说明了一个关键概念:NPU 在 AI 任务上的速度并不快,而是效率更高。 在业务环境中,效率意味着员工可以在工作日使用 AI 功能,而无需携带充电器或关闭其他应用来释放资源。

设备上的 AI 如何更改计算模型

传统上,AI 处理依赖于基于云的服务-将数据发送到远程服务器,处理它,并返回结果。 此方法适用于许多方案,但它引入了延迟,需要 Internet 连接,并且意味着敏感数据离开设备。

AI+ PC中的 NPU 支持不同的模型:本地设备上的AI处理。 使用支持 40 多个 TOPS 的 NPU,许多 AI 任务可以直接在硬件上运行,而无需将数据发送到云。 在许多实际工作流中,AI 处理发生在混合模型中。 某些任务使用 NPU 在本地运行,以便进行速度、隐私或脱机访问,而更复杂的请求依赖于基于云的 AI 服务。 AI+ PC旨在根据需要将设备上的智能与云处理进行平衡来支持此方法。

处理模型 工作原理 最适用于
基于云的 AI 数据发送到远程服务进行处理,并通过 Internet 返回结果 需要大型模型、跨组织数据查询以及互联网可用情况下的复杂任务
设备端AI 在 NPU 上本地处理数据,而无需离开设备 低延迟任务、脱机方案、隐私敏感工作负载、字幕和视频效果等实时功能
混合 AI 某些任务在 NPU 本地运行,而其他任务则由云服务处理,具体取决于工作负荷 需要实时设备功能和云驱动的智能(如智能 Microsoft 365 Copilot 副驾驶®)的组织

AI+ PC支持所有三种模型。 实时字幕、Windows工作室效果和“单击执行”等设备功能在 NPU 上运行。 基于云的功能(如智能 Microsoft 365 Copilot 副驾驶®使用云处理)。 许多工作流合并了这两者,例如,使用设备搜索查找本地文件,然后使用智能 Microsoft 365 Copilot 副驾驶®来汇总其内容。

Windows作为 AI 平台

NPU 是 Windows 在整个组织如何支持 AI 的更广泛变革的一部分。 Windows 11 Pro 充当将设备上的 AI 功能与基于云的智能和 IT 管理工具相连接的平台。

此平台方法包括:

  • 通过 NPU 进行设备上的 AI 处理,实现更快的响应时间,并减少对受支持功能的云连接依赖。
  • AI 代理在 Windows可以代表用户进行推理、规划和执行操作,例如通过自然语言配置设备设置或基于屏幕内容建议后续步骤。
  • Windows AI Foundry,用于构建利用本地硬件加速以及云服务的自定义 AI 驱动的应用程序。
  • IT 治理和控制通过Microsoft Intune,使组织能够管理可用的 AI 功能以及代理如何与组织数据交互。

重要

Windows中的 AI 代理在组织的现有管理和安全框架中运行。 IT 管理员可以通过用于管理其他 Windows 11 Pro 策略和配置的相同工具来管理代理行为和数据访问。

对于组织而言,这意味着什么

设备 AI、云智能和平台治理的组合为大规模采用 AI 的组织创建了一个实用模型:

  • 即使 没有 Internet 连接,员工也能获得更快、响应更快速的 AI 功能,从而提高现场、旅行期间或低连接环境中的工作效率。
  • IT 团队 通过熟悉的管理工具保持对 AI 功能的控制,默认情况下启用安全功能,并在策略级别管理代理行为。
  • 开发工具可以使用 Windows AI Foundry 生成自定义 AI 解决方案,集成在 NPU 本地运行的开源模型和专有模型,从而在设备上保留敏感数据,同时在需要时仍连接到云服务。

与业务决策者讨论AI+ PC时,平台故事通常是最具吸引力的角度:这些不是更快的电脑,它们是组织如何构建、部署和管理 AI 的基础。 NPU 是该基础的关键部分,可实现一类由 AI 提供支持的新体验,这些体验高效、响应迅速且安全。