本文介绍智能 Microsoft 365 Copilot 副驾驶®优化专家 Q&A 任务微调的一些最常见问题以及如何对其进行故障排除。
注意
Copilot 优化目前可用于早期Access 预览版 (EAP) 。 有关要求以及如何注册的详细信息，请参阅 管理员指南。
连接到内容源时收到权限或访问错误
访问或权限被拒绝错误通常意味着你的帐户无权访问该数据源。 确保对内容存储库具有适当的权限。 例如，如果要添加 SharePoint 网站，请与 SharePoint 管理员确认您的帐户 (或你属于) 的组有权访问该网站或文档库。 如果微调过程使用安全组进行访问控制，请确保在重试作之前设置了正确的安全组，并且其中包含你的用户帐户。
我创建了一个经过微调的 Q&A 模型，但在我尝试将其添加到 Copilot 代理时，它未显示
如果在配置声明性代理时，选择下拉列表中未列出新训练的模型，则可能存在权限问题。 该模型与安全组或访问策略相关联，并且你的帐户可能未包含在内。 请确保在创建模型期间使用的安全组包括你的帐户 (或生成代理) 的人员的帐户。 可能需要让 IT 管理员将你添加到该组，或者使用你所属的组重新创建模型。 固定权限后，应显示经过微调的模型以供选择。
单击“准备用于训练的数据”时，不会显示任何标记界面或数据
某些微调方案不需要手动标记数据。 在 Q&微调管道中，如果系统在准备后未显示任何要标记的数据，则意味着会自动跳过方案的步骤。 换句话说，并非所有食谱都需要标记阶段。 可以继续执行该过程的下一步。 (如果预期有标记步骤但未获得标记步骤，则系统可能已确定没有标记任何内容，这对于某些 Q&A 任务来说是正常的。)
数据处理阶段需要很长时间
数据准备或训练阶段可能需要相当长一段时间，具体取决于内容的大小。 此阶段通常需要几个小时，尤其是在提供了大型文档集合时。 应会收到通知 (例如，处理完成后) 电子邮件。 如果尚未收到通知，请耐心等待 - 这可能意味着进程仍在运行。 如果超过几个小时，检查垃圾邮件文件夹，以确保通知不会被错误地贴错。 还可以手动刷新或重新访问微调页面。 处理完成后，网站上的状态指示数据已就绪或下一步可用。
我未收到数据处理已完成的电子邮件通知
双重检查电子邮件垃圾邮件或垃圾邮件文件夹，以获取有关微调过程已完成的消息。 有时，可以筛选掉自动通知。如果找不到电子邮件，请不要担心 - 你不需要电子邮件来继续。 返回微调界面，并检查模型的状态。 如果准备步骤已完成，接口将显示数据已准备好进行下一步 (例如，已准备好进行评估或已准备好训练) 。 此时，即使没有电子邮件，也可以继续微调工作流。
微调过程在 (中停止或失败，无论是否出现错误状态)
如果训练/微调过程失败或挂起，没有明确的错误消息，则系统可能没有提供反馈。 当前系统的错误处理有限，因此有时它可能会停止，而没有特定的错误代码或说明。
若要进行故障排除，请：
- 重试该过程 - 在某些情况下，重新运行微调过程或从最后一个步骤重新启动可以解决暂时性问题。
- 请确保已正确设置任何配置，然后重试。
- 检查已知问题 - 查看是否已记录或显示任何错误消息。 如果找到错误代码，请按照与该错误代码关联的指南进行作。 文档或论坛可能包含特定错误的其他信息。
如果问题仍然存在，请联系支持人员。
我的评估 (测试) 数据集返回空，或者我看到为评估生成的 0 Q&A 对
空评估文件通常表示系统无法从内容生成任何 Q&A 示例。 一个常见原因是你提供的内容集合太小或没有可用数据。 模型没有足够的材料来创建 Q&A 示例。
若要解决此问题，需要：
- 验证知识源内容 - 双重检查所选文档或数据源是否包含所需的信息。 如果内容存储库为空或太有限，请添加更多相关文档，然后重新运行微调过程。
- 再次运行该过程 - 确保内容已到位后，请再次尝试准备数据或微调步骤。 这一次，它可能会生成一组用于评估的 Q&A 对。
- 如果它仍然为空，请寻求帮助 - 如果仍然获得空的评估或空训练集，则可能存在根本问题。 请联系支持人员以获取帮助。 它们可能会检查是否有任何筛选规则或错误导致数据被丢弃。 在极少数情况下，严格筛选或所有内容都脱离范围可能会导致无数据：支持可帮助确定是否发生了这种情况。
模型训练已完成，但它 给出的答案似乎很奇怪或不相关 ， (“奇怪”)
如果经过微调的 Q&A 模型的响应没有意义或似乎与域无关，则罪魁祸首通常是训练数据的质量或数量。 模型的性能只能与训练它所基于的数据一样好。 下面是排查“奇怪”或低质量模型输出的步骤：
- 确保有足够的训练数据：检查你提供的知识源是否具有足够的有用内容。 如果内容集合非常小或为空，则模型可能实质上没有经过任何训练，从而有效地产生了“vanilla”或无稽之谈的模型[1]。 请确保包含足够的文档或 Q&A 对，涵盖你希望模型处理的主题。
- 提供相关数据：如果模型的答案与主题无关，则某些训练文档可能与预期域不匹配。 例如，如果你正在构建财务 Q&A 机器人，但其中提供的内容大多是通用的或无关的，则模型将没有正确的知识。 优化内容以更符合预期问题。
- 改进后重新训练：添加更多或更好的数据后，再次运行微调过程。 改进数据集通常会导致答案质量的直接提高。
如果已完成上述作，并且模型的答案仍然不正确或不连贯，请考虑联系支持人员。 微调管道本身可能存在边缘案例问题。 但在大多数情况下， (或调整任务说明) 训练数据应大大改善模型的响应。
模型的评估答案看起来不错，但代理的答案并不好
这是一种已知行为。 微调的模型在独立评估中可能表现良好，但如果代理配置未完全保留模型的细微差别，则部署的代理的行为可能会有所不同。 具体而言，代理可能需要其他说明才能有效地使用模型。 若要解决此问题，请执行以下作：
- 比较评估与代理输出 - 确定缺少的内容或不同内容。 例如，也许评估答案具有你喜欢的友好、同理心的语气，但代理的答案感觉更泛泛或更简洁。
- 调整代理的说明 - 在代理生成器中，添加或优化代理的系统说明或提示。 强化你在评估阶段中看到的所需品质。 例如，添加说明“以同理心语气做出响应”或“包括详细步骤（如果可用）。”。
- 再次测试 - 更新说明后，使用相同的问题测试代理。 答案应与经过微调的模型的预期行为更紧密地一致。 有时需要对代理进行这种迭代优化才能获得最佳结果。 微调的模型提供知识，代理的说明塑造了知识的表达方式。
我的 Q&A 代理的答案仍然不是我所期望的
如果发现整体答案质量不尽如人意，可能需要进一步优化微调设置。 请考虑以下步骤：
- 改进或增加训练数据 - 确保用于微调的数据集对于问题领域具有高质量、相关性和全面性。 如果可能，请添加更多涵盖所需查询范围的示例或文档。 更丰富的数据集可以显著提高模型的准确性。
- 优化初始配置 - 在模型设置期间，你可能提供了一些初始说明或填写了表单， (有时称为有关域和任务) 的调查问卷。 重新访问这些输入。 编辑或优化任务说明和设置，以更好地指导模型。 例如，如果意识到模型的答案级别过高，请确保说明指定所需的深度或上下文。
- 提供明确的示例 - 如果系统允许，请提供示例 Q&A 对或进一步指导。 一些微调过程允许查看或标记数据。 利用这个机会向模型教授正确答案的外观。
- 迭代和测试 - 微调通常是一个迭代过程。 进行更改后，重新训练 (或部分训练（如果支持) ），然后再次测试 Q&A 代理。 逐渐，可以聚合到更好的性能。 请记住，开放式或极其复杂的问题可能始终具有挑战性，但目标是使大多数预期查询得到很好的解答。
Q&A Copilot 的一些答案没有任何引文
在系统的当前版本中，并非所有答案都会包含引文，即使它从内容中提取信息也是如此。 Q&微调管道适用于检索 - 当答案直接来自使用 RAG 检索组件) (检索到的文档时，系统会显示引文链接。 但是，如果答案来自经过微调的模型自己的知识 (例如，它在训练期间学到的不是从文档) 直接引用的内容，则它可能会在不附加源引文的情况下做出响应。 此行为在意料之中。
引文的存在通常表明答案使用了你在运行时提供的文档。 缺少引文并不一定意味着答案是错误的;这可能只意味着答案是从模型的内部知识生成的，或者问题不需要检索文档。
例如，如果你认为某个答案应具有引文 (，它似乎引用了你提供) 但未显示引文的文档，请验证你的知识源在代理运行期间是否已正确连接。 代理可能是从微调的模型而不是真实文档回答的。
请记住，在某些情况下，没有引文的答案并不罕见。 你始终可以通过手动搜索源内容来验证关键信息，如果觉得缺少引文或错误，请使用工具中的反馈机制让开发人员知道 (，例如，通过报告错误答案) 。
相关内容
如果需要支持或想要提供反馈，请参阅 Copilot 优化常见问题解答。