AI Toolkit for VS Code (AI Toolkit) 是一个 VS Code 扩展，使你能够在应用或云中下载、测试、微调和部署 AI 模型。 有关详细信息，请参阅 AI 工具包概述。
AI 工具包的主要功能之一是 Prompt Builder。 提示生成器是一种工具，可帮助你创建、编辑和测试 AI 模型的提示。 它提供了一个用户友好的界面，用于创建提示，并允许你：
- 创建、编辑和测试提示
- 创建 AI 生成的提示
- 使用预定义架构为应用生成结构化输出
- 基于工作区中的查询和模型生成提示交互代码
注释
VS Code AI 工具包的额外文档和教程可以在 VS Code 文档中找到：适用于 Visual Studio Code 的 AI 工具包。 你将找到有关 Playground、使用 AI 模型、微调本地模型和基于云的模型等的指导。
您将在本文中学习如何：
- 下载、加载和使用基于 Phi 3.5 Mini CPU 的本地小语言模型 (SLM)
- 使用本地模型创建、编辑和测试提示
- 使用预定义架构创建结构化输出
- 使用提供的提示生成 Python 代码以运行模型
先决条件
使用 AI 功能时，建议查看： 在 Windows 上开发负责任的生成 AI 应用程序和功能。
安装
请参阅 AI Toolkit 入门 获取 AI Toolkit 安装说明。
选择本地模型
在本部分中，你将了解如何加载基于 Phi 3.5 的微型 CPU SLM 模型。 用于 VS Code 支持的 AI 工具包支持本地模型，即在本地计算机上运行的模型，以及云中托管的基于云的模型。
在窗口一侧的活动栏中选择“AI 工具包”图标，打开 AI VS Code视图。
在 AI 工具包 视图中，选择左窗格“工具”部分中的 “提示生成器 ”项。
在 “提示生成器 ”视图中，选择 “浏览模型 ”按钮以打开 模型目录。
在模型目录中搜索 Phi 3.5。 Phi 3.5 Mini（CPU - 小型、快速、准确）模型应显示在 ONNX 模型部分的列表中。
选择 “添加 ”按钮，将模型添加到工作区。 模型将下载并添加到左窗格的 “我的模型 ”部分。
模型下载完成后，返回到 提示生成器 视图。
在 “系统提示 ”文本框中输入以下提示：
You are a professor of marine biology at a respected university. Answer the following questions as best you can.在 “用户提示 ”文本框中输入以下提示：
Please provide a concise list of 10 types of marine mammals that live in the Pacific Ocean.选择“ 运行 ”按钮以使用提供的提示运行模型。
模型将基于提供的提示生成响应。 响应将显示在 “响应 ”文本框中。
如果要优化结果，可以使用以下几个选项：
- 编辑 系统提示 或 用户提示 ，然后再次运行查询模型。
- 选择 “添加提示 ”，向 “用户提示 ”文本框添加新提示。 这样，就可以创建包含多个提示的更复杂的查询。
- 选择“ 使用响应作为助手提示 ”以用作上下文来帮助指导模型的行为。
- 重复上述步骤的任意组合，直到获得所需的结果。
选择 “查看代码 ”按钮以生成 Python 代码，该代码使用 SDK 通过提供的提示运行模型。 生成的代码将显示在新的编辑器选项卡中。代码将如下所示：
"""Run this model in Python > pip install openai """ from openai import OpenAI client = OpenAI( base_url = "http://localhost:5272/v1/", api_key = "unused", # required for the API but not used ) response = client.chat.completions.create( messages = [ { "role": "system", "content": "You are a professor of marine biology at a university", }, { "role": "user", "content": [ { "type": "text", "text": "Please provide a concise list of 10 types of marine mammals that live in the Pacific Ocean.", }, ], }, ], model = "Phi-3.5-mini-cpu-int4-awq-block-128-acc-level-4-onnx", max_tokens = 256, frequency_penalty = 1, ) print(response.choices[0].message.content)如果要运行生成的代码，请确保已安装所需的依赖项。 可以使用 pip 安装所需的依赖项：
可以在 Python 环境中运行生成的代码。 有关在 Windows 上安装和开始使用 Python 的详细信息，请参阅 为初学者准备的 Windows 上 Python 入门指南。
Prompt Builder 是一种功能强大的工具，用于制作和优化 AI 模型的提示。 可以用它快速迭代你的提示并测试不同变体，以找到最佳结果。 有关 Prompt Builder 及其功能的更详细概述，请参阅 AI 工具包中的提示工程。