查找或训练适用于 Windows ML 的模型

Windows ML 适用于 ONNX 格式模型,因为 Windows ML 只是提供 ONNX 运行时和特定于硬件的执行提供程序的分发机制。 这意味着可以使用来自各种源的数百万个现有预先训练模型,或训练自己的模型。 本指南介绍查找、转换或训练 ONNX 模型的位置。

选项 详细信息
1.使用 AI 工具包中的模型 20 多种 OSS 模型中进行选择(包括大语言模型和其他类型的模型),这些模型已准备好使用AI 工具包的转换工具与 Windows ML 进行优化使用。
2.使用其他现有的 ONNX 模型 浏览来自 Hugging Face 或其他来源的超过 30,000 个预先训练的 ONNX 模型
3.将现有模型转换为 ONNX 格式 浏览超过 2,400,000 个来自 Hugging Face 或其他来源的 预训练的 PyTorch/TensorFlow 等模型,并将其转换为 ONNX
4. 微调现有模型 微调 2,400,000 多个来自 Hugging Face 或其他来源的预训练 PyTorch、TensorFlow 等模型,以更好地适用于您的场景,并将其转换为 ONNX 格式。
5. 训练模型 在 PyTorch、TensorFlow 或其他框架中训练自己的模型,并将其转换为 ONNX

还可以从 Windows 上的 Microsoft Foundry(通过 Windows ML 运行)中的数十种现成的 AI 模型和 API 中进行选择。 请参阅 将本地 AI 与 Windows 上的 Microsoft Foundry 配合使用,了解详细信息。

选项 1:使用 AI 工具包中的模型

借助 AI 工具包的转换工具,有数十种 LLM 和其他类型的模型已准备好进行优化,以供 Windows ML 使用。 通过 AI 工具包获取模型,你将获得经过转换的 ONNX 模型,该模型针对 Windows ML 运行的各种硬件进行了优化。

若要浏览可用模型,请参阅 AI 工具包的模型列表

选项 2:使用其他现有的 ONNX 模型

Hugging Face 托管了成千上万的 ONNX 模型,您可以与 Windows ML 一起使用。 可以通过以下方式查找 ONNX 模型:

  1. 浏览 Hugging Face 模型中心
  2. 库筛选器中的“ONNX”进行筛选

你将需要找到与所使用的 Windows ML 版本中包含的 ONNX 运行时版本兼容的模型。 请参阅 Windows ML 中提供的 ONNX 运行时版本 ,了解与 Windows ML 一起使用的 ONNX 运行时版本。

选项 3:将现有模型转换为 ONNX 格式

PyTorch、TensorFlow 或其他框架中的模型可以转换为 ONNX 格式,并与 Windows ML 配合使用。

Hugging Face 托管了数百万个模型,你可以将这些模型转换后与 Windows ML 一起使用。

你将需要转换模型,以使用所使用的 Windows ML 版本中包含的 ONNX 运行时版本运行。 请参阅 Windows ML 中提供的 ONNX 运行时版本 ,了解与 Windows ML 一起使用的 ONNX 运行时版本。

若要将模型转换为 ONNX 格式,请参阅特定于框架的文档,例如:

选项 4:微调现有模型

Hugging Face或其他来源上的许多模型可以进行微调(根据Hugging Face上的“模型卡”中的说明)。 然后,可以按照上述选项 3 中的说明将微调模型转换为 ONNX。

微调模型的一种常用方法是使用 橄榄微调命令。 请参阅 Olive 文档 ,了解有关使用 Olive 的详细信息。

选项 5:训练模型

如果需要特定任务的模型并且找不到现有模型,可以在 PyTorch、TensorFlow 或其他框架中训练自己的模型。

训练模型后,请按照上面的选项 3 中的说明将模型转换为 ONNX 格式。

后续步骤

有了 ONNX 模型后,即可在目标设备上使用 Windows ML 运行它。

其他解决方案

作为 Windows 上的 Microsoft Foundry 的一部分,还可以从数十种现成的 AI 模型和 API 中进行选择,这些模型和 API 通过 Windows ML 运行。 请参阅 将本地 AI 与 Windows 上的 Microsoft Foundry 配合使用,了解详细信息。