NPU 为何更改电脑运行 AI 的方式
在前面的部分中,你了解了 NPU 是什么,以及AI+ PC如何使用它为实际业务方案提供支持。 本部分将更仔细地了解为什么NPU 是 PC 架构的重大转变,以及这对作为 AI 平台的 Windows 的未来意味着什么。
看到区别:CPU 与 GPU 与 NPU
为了了解 NPU 为何重要,它有助于了解所有三个处理器如何处理相同的 AI 任务。
在以下演示中,系统要求 AI 模型识别和统计实时视频源中的人脸。 相同的任务在 CPU、GPU 和 NPU 上运行。
这三个处理器都完成了任务,但结果不同:
| 处理器 | 速度 | 能源使用 | 产生的热量 |
|---|---|---|---|
| 中央处理器 | 最慢 | 最高 | 大多数 |
| GPU | 中等 | 中等 | 中等 |
| NPU | 最快 | 最低 | 最小 |
NPU 更快地完成任务,同时生成更少的热量和使用更少的能量。 这种效率使AI+ PC能够在视频通话期间持续运行 AI 功能(如实时字幕或Windows Studio 效果),而不会耗尽电池使用时间或减缓其他应用程序。
Tip
此演示说明了一个关键概念:NPU 在 AI 任务上的速度并不快,而是效率更高。 在业务环境中,效率意味着员工可以在工作日使用 AI 功能,而无需携带充电器或关闭其他应用来释放资源。
设备上的 AI 如何更改计算模型
传统上,AI 处理依赖于基于云的服务-将数据发送到远程服务器,处理它,并返回结果。 此方法适用于许多方案,但它引入了延迟,需要 Internet 连接,并且意味着敏感数据离开设备。
AI+ PC中的 NPU 支持不同的模型:本地设备上的AI处理。 使用支持 40 多个 TOPS 的 NPU,许多 AI 任务可以直接在硬件上运行,而无需将数据发送到云。 在许多实际工作流中,AI 处理发生在混合模型中。 某些任务使用 NPU 在本地运行,以便进行速度、隐私或脱机访问,而更复杂的请求依赖于基于云的 AI 服务。 AI+ PC旨在根据需要将设备上的智能与云处理进行平衡来支持此方法。
| 处理模型 | 工作原理 | 最适用于 |
|---|---|---|
| 基于云的 AI | 数据发送到远程服务进行处理,并通过 Internet 返回结果 | 需要大型模型、跨组织数据查询以及互联网可用情况下的复杂任务 |
| 设备端AI | 在 NPU 上本地处理数据,而无需离开设备 | 低延迟任务、脱机方案、隐私敏感工作负载、字幕和视频效果等实时功能 |
| 混合 AI | 某些任务在 NPU 本地运行,而其他任务则由云服务处理,具体取决于工作负荷 | 需要实时设备功能和云驱动的智能(如智能 Microsoft 365 Copilot 副驾驶®)的组织 |
AI+ PC支持所有三种模型。 实时字幕、Windows工作室效果和“单击执行”等设备功能在 NPU 上运行。 基于云的功能(如智能 Microsoft 365 Copilot 副驾驶®使用云处理)。 许多工作流合并了这两者,例如,使用设备搜索查找本地文件,然后使用智能 Microsoft 365 Copilot 副驾驶®来汇总其内容。
Windows作为 AI 平台
NPU 是 Windows 在整个组织如何支持 AI 的更广泛变革的一部分。 Windows 11 Pro 充当将设备上的 AI 功能与基于云的智能和 IT 管理工具相连接的平台。
此平台方法包括:
- 通过 NPU 进行设备上的 AI 处理,实现更快的响应时间,并减少对受支持功能的云连接依赖。
AI 代理在 Windows 可以代表用户进行推理、规划和执行操作,例如通过自然语言配置设备设置或基于屏幕内容建议后续步骤。- Windows AI Foundry,用于构建利用本地硬件加速以及云服务的自定义 AI 驱动的应用程序。
- IT 治理和控制通过Microsoft Intune,使组织能够管理可用的 AI 功能以及代理如何与组织数据交互。
重要
Windows中的 AI 代理在组织的现有管理和安全框架中运行。 IT 管理员可以通过用于管理其他 Windows 11 Pro 策略和配置的相同工具来管理代理行为和数据访问。
对于组织而言,这意味着什么
设备 AI、云智能和平台治理的组合为大规模采用 AI 的组织创建了一个实用模型:
- 即使 没有 Internet 连接,员工也能获得更快、响应更快速的 AI 功能,从而提高现场、旅行期间或低连接环境中的工作效率。
- IT 团队 通过熟悉的管理工具保持对 AI 功能的控制,默认情况下启用安全功能,并在策略级别管理代理行为。
- 开发工具可以使用 Windows AI Foundry 生成自定义 AI 解决方案,集成在 NPU 本地运行的开源模型和专有模型,从而在设备上保留敏感数据,同时在需要时仍连接到云服务。
与业务决策者讨论AI+ PC时,平台故事通常是最具吸引力的角度:这些不是更快的电脑,它们是组织如何构建、部署和管理 AI 的基础。 NPU 是该基础的关键部分,可实现一类由 AI 提供支持的新体验,这些体验高效、响应迅速且安全。