この記事では、導入、エンゲージメント、および報告された生産性の向上に関する Databricks Assistant の影響を測定する方法について説明します。
要求事項
Databricks Assistant の影響を測定するには、チームからアシスタントに関する主観的なフィードバックを得るための内部調査が必要です。
データとメトリック
システム テーブルとアンケートから生データを取得します。 アシスタントの影響を理解するには、データを分析し、メトリックとしてレポートする必要があります。 メトリックは、アシスタントの影響に関連する特定の側面またはアクティビティを測定するために使用する計算値です。 この記事では、メトリックを指標として参照します。
アシスタントの影響を測定するためのヒント
組織が Databricks Assistant をどのように使用しているかを理解するには、まず、Databricks Assistant との導入とエンゲージメントを測定します。 このデータは、システム テーブルから計算できます。
Databricks アシスタントのシステム テーブル アクティビティを視覚化するには、GitHub からアシスタント イベント ダッシュボード ファイルをダウンロードします。
JSON ファイルをダウンロードしたら、ダッシュボードをワークスペースにインポートします。 ダッシュボードをインポートする手順については、「ダッシュボード ファイルをインポートする」を参照してください。
アシスタントの影響メトリック
次の表には、システムテーブルとユーザーフィードバックの両方から得られる、アシスタントの影響を測定するための推奨指標が含まれています。
組織の調査は、アシスタントとのエンゲージメントの有効性を理解するのにも役立ちます。 推奨されるアンケートの質問を参照してください。
| 測る | 定義 | 段階 | データ ソース |
|---|---|---|---|
| 全体的な上位ユーザー | 特定の期間にアシスタントと最も頻繁に対話するユーザー | 養子縁組 | Databricks Assistant のシステム テーブル データから計算します。 |
| 送信データ: ワークスペースごとと合計 | ワークスペースごとおよびアカウントごとにアシスタントに送信された要求の数 | 養子縁組 | Databricks Assistant のシステム テーブル データから計算します。 |
| 日と月別のアクティブ ユーザー | 特定の日に 1 つ以上の提案を受信して受け入れた、または 1+ チャットに参加した一意のユーザー。 | エンゲージメント | Databricks Assistant のシステム テーブル データから計算します。 |
| ワークスペースあたりのアクティブ ユーザー数 | アシスタントと対話する特定のワークスペース内の一意のユーザー | エンゲージメント | Databricks Assistant のシステム テーブル データから計算します。 |
| Databricks Assistant を使用する主要な役職 | 組織で識別された各ロールのアシスタントを使用するユーザーの数 | エンゲージメント | 組織のアンケート |
| アシスタントの上位タスク | アシスタントが役立つ最も一般的なタスク | エンゲージメント | 組織のアンケート |
| アシスタントを使用する頻度 | ユーザーごとのアシスタントの使用頻度の自己報告 | エンゲージメント | 組織のアンケート |
| アシスタントの使用の上位領域 | 自己報告の使用領域: SQL エディター、ノートブック、またはその両方 | エンゲージメント | 組織のアンケート |
| アシスタントのヘルプに関するユーザー満足度 | アシスタントの回答に対する自己報告の満足度 (1 から 5 のスケール) | ユーザーの満足度 | 組織のアンケート |
| ユーザーの生産性の向上 | アシスタントを使用したことによる生産性の自己報告による増加が、1から5のスケールで評価されました。 | ユーザーの満足度 | 組織のアンケート |
| ユーザーがアシスタントを使用して保存する時間 | アシスタントを使用してタスクを完了することで保存された自己報告された時間の割合 | ユーザーの満足度 | 組織のアンケート |
推奨されるアンケートの質問
システム テーブルでは、組織で Databricks Assistant を使用する方法に関するすべての情報がキャプチャされるわけではありません。 以下のようなアンケートの質問を使用して、組織がアシスタントをどのように使用しているかを理解します。
- 自分の役割は何ですか? 組織内のロールを一覧表示する
- アシスタントはどのくらいの頻度で使用しますか?
- 毎時
- 毎日
- 毎週
- 月間
- AI アシスタントはどこで使用しますか?
- SQL エディター
- ノートブック
- 両方とも
- アシスタントの主なユース ケースは何ですか?
- エラーの修正/トラブルシューティング
- コードの記述に関するヘルプ
- コードリファクタリング
- SQL クエリの記述
- 単体テストの記述
- ドキュメントの参照
- アシスタントの回答にどの程度満足していますか? 1 から 5 のスケール、満足していないから非常に満足しているまで
- AI アシスタントを使用して以来、生産性が向上したと言えますか? 1 から 5 のスケール。生産性が大幅に低下し、生産性が大幅に向上します
- アシスタントを使用して平均タスクを節約するには、どのくらいの時間がかかりますか?
- 0 から 10%
- 10 から 30%
- 30 ～ 50%
- 50 から 70%
- 70 以上の%