衡量 Databricks 助手的影响

本文提供有关衡量 Databricks 助手在采用、参与和报告工作效率提升方面的影响的信息。

要求

为了衡量 Databricks 助手的影响,需要内部调查才能从团队获取对助手的主观反馈。

数据与指标

从系统表和调查中获取原始数据。 若要了解助手的影响,必须将数据分析和报告为指标。 指标是用于度量与助手影响相关的特定方面或活动的计算值。 本文还将指标称为 度量值

衡量助手影响的提示

若要了解组织如何使用 Databricks 助手,请首先评估对 Databricks 助手的采用、活跃度和使用情况。 可以从系统表计算此数据。

显示 Databricks 助手使用情况数据的仪表板示例。

若要可视化 Databricks 助手的系统表活动,请从 Github 下载助手事件仪表板文件

下载 JSON 文件后,请将仪表板导入工作区。 有关导入仪表板的说明,请参阅导入仪表板文件

助理影响指标

下表包含来自系统表和用户反馈的助手影响的建议度量值。

通过对您的组织进行调查,有助于更加了解其与助手互动的有效性。 请参阅 建议的调查问题

度量值 定义 阶段 数据源
总体排名靠前的用户 与助手最频繁交互的给定时间段内的用户 收养 根据 Databricks 助手系统表数据计算。
提交数据:按工作区和总计 每个工作区和每个帐户提交到助手的请求数 收养 根据 Databricks 助手系统表数据计算。
按日和月的活动用户 已收到并接受 1+ 建议或参与给定日期的 1+ 聊天的唯一用户。 参与 根据 Databricks 助手系统表数据计算。
每个工作区的活动用户数 与助手交互的给定工作区中的唯一用户 参与 根据 Databricks 助手系统表数据计算。
使用 Databricks 助手的主要作业角色 您组织中每个角色使用助手的人数 参与 对组织的调查
助手的首要任务 助手可以帮助完成的最常见任务 参与 对组织的调查
使用助手的频率 每个用户自行报告的助理使用频率 参与 对组织的调查
助手使用的主要区域 自报告使用情况区域:SQL 编辑器、笔记本或两者 参与 对组织的调查
用户对助手帮助的满意度 自我报告对助手答案的满意度为 1- 5 用户满意度 对组织的调查
提高用户工作效率 自我报告中显示,使用助手使工作效率在 1 到 5 的评分范围内提高。 用户满意度 对组织的调查
用户使用助手节省的时间 使用助手完成任务所节省时间的自我报告百分比 用户满意度 对组织的调查

系统表不会捕获有关组织如何使用 Databricks 助手的所有信息。 使用调查问题(如下面的问题)来了解组织如何使用助手。

  • 你的角色是什么? 列出组织中的角色
  • 使用助手的频率是多少?
    • 每小时
    • 每日
    • 每周
    • 每月
  • 在什么地方使用 AI 助手?
    • SQL 编辑器
    • 笔记本电脑
    • 两者
  • 助手的主要用例是什么?
    • 修复错误/故障排除
    • 帮助编写代码
    • 代码重构
    • 编写 SQL 查询
    • 编写单元测试
    • 查找文档
  • 你对助手答案的满意度如何? 1-5 的评分尺度,非常不满意到非常满意
  • 使用 AI 助手后,你会说你更有效率吗? 1-5 的评分尺度,从低得多的生产力到高得多的生产力
  • 你认为使用助手可以在平均任务上节省多少时间?
    • 0-10%
    • 10-30%
    • 30-50%
    • 50-70%
    • 70% 以上