Messen der Auswirkungen des Databricks-Assistenten

Dieser Artikel enthält Informationen zur Messung der Auswirkungen des Databricks Assistant in Bezug auf Akzeptanz, Engagement und gemeldete Produktivitätsgewinne.

Anforderungen

Um die Auswirkungen des Databricks Assistant zu messen, benötigen Sie eine interne Umfrage, um subjektives Feedback zum Assistenten aus Ihrem Team zu erhalten.

Daten im Vergleich zu Metriken

Sie erhalten Rohdaten aus den Systemtabellen und einer Umfrage. Um die Auswirkungen des Assistenten zu verstehen, müssen Sie Daten als Metriken analysieren und melden. Metriken sind berechnete Werte, die Sie zum Messen bestimmter Aspekte oder Aktivitäten im Zusammenhang mit den Auswirkungen des Assistenten verwenden. Dieser Artikel bezieht sich auch auf Metriken als Maßnahmen.

Tipps zum Messen der Auswirkungen des Assistenten

Um zu verstehen, wie Ihre Organisation Databricks Assistant verwendet, beginnen Sie mit der Messung der Einführung und des Engagements mit dem Databricks Assistant. Diese Daten können aus Systemtabellen berechnet werden.

Um die Systemtabelle für den Databricks-Assistenten zu visualisieren, laden Sie die Dashboarddatei für Assistent-Ereignisse von Github herunter.

Nachdem Sie die JSON-Datei heruntergeladen haben, importieren Sie das Dashboard in Ihren Arbeitsbereich. Anweisungen zum Importieren von Dashboards finden Sie unter Importieren einer Dashboarddatei.

Assistenz-Wirkungsmetriken

Die folgende Tabelle enthält empfohlene Maßnahmen zur Auswirkung des Assistenten, sowohl aus Systemtabellen als auch aus Benutzerfeedback.

Die Umfrage Ihrer Organisation hilft Ihnen auch, die Effektivität des Engagements mit Dem Assistenten zu verstehen. Weitere Informationen finden Sie unter "Empfohlene Umfragefragen".

Maßnahme	Definition	Etappe	Datenquelle
Top-Benutzer insgesamt	Benutzer in einem bestimmten Zeitraum, die am häufigsten mit dem Assistenten interagieren	Adoption	Berechnen aus Daten der Databricks Assistant-Systemtabelle.
Einsendedaten: pro Arbeitsbereich und Gesamt	Anzahl der Anfragen, die pro Arbeitsbereich und pro Konto an den Assistenten übermittelt wurden.	Adoption	Berechnen aus Daten der Databricks Assistant-Systemtabelle.
Aktive Benutzer nach Tag und Monat	Eindeutige Benutzer, die 1+ Vorschläge erhalten und angenommen haben oder an 1+ Chats an einem bestimmten Tag teilgenommen haben.	Verlobung	Berechnen aus Daten der Databricks Assistant-Systemtabelle.
Aktive Benutzer pro Arbeitsbereich	Eindeutige Benutzer in einem bestimmten Arbeitsbereich, die mit dem Assistenten interagieren	Verlobung	Berechnen aus Daten der Databricks Assistant-Systemtabelle.
Top-Jobrollen mit dem Databricks-Assistenten	Anzahl der Personen aus jeder Rolle, die in Ihrer Organisation identifiziert werden, die den Assistenten verwenden	Verlobung	Umfrage Ihrer Organisation
Die wichtigsten Aufgaben für den Assistenten	Der Assistent hilft bei den häufigsten Aufgaben.	Verlobung	Umfrage Ihrer Organisation
Wie oft verwenden Sie den Assistenten?	Selbst gemeldete Häufigkeit der Verwendung des Assistenten pro Benutzer	Verlobung	Umfrage Ihrer Organisation
Die wichtigsten Bereiche der Assistentenverwendung	Selbst gemeldete Nutzungsbereiche: SQL-Editor, Notizbücher oder beides	Verlobung	Umfrage Ihrer Organisation
Benutzerzufriedenheit mit Assistenthilfe	Selbst gemeldete Zufriedenheit mit den Antworten des Assistenten auf einer Skala von 1-5	Benutzerzufriedenheit	Umfrage Ihrer Organisation
Steigerung der Benutzerproduktivität	Eigenständig gemeldete Produktivitätssteigerung mit Assistent auf einer Skala von 1 bis 5	Benutzerzufriedenheit	Umfrage Ihrer Organisation
Zeitersparnis für Benutzer durch die Nutzung des Assistenten	Der selbstgemeldete Prozentsatz der Zeitersparnis durch die Nutzung des Assistenten zur Erledigung von Aufgaben	Benutzerzufriedenheit	Umfrage Ihrer Organisation

Empfohlene Fragen zur Umfrage

Systemtabellen erfassen nicht alle Informationen darüber, wie Ihre Organisation databricks Assistant verwendet. Verwenden Sie Umfragefragen, z. B. die unten aufgeführten Fragen, um zu verstehen, wie Ihre Organisation den Assistenten verwendet.

• Was ist Ihre Rolle? Auflisten von Rollen in Ihrer Organisation
• Wie oft verwenden Sie den Assistenten?
  • Stündlich
  • Täglich
  • Wöchentlich
  • Monatlich
• Wo verwenden Sie den KI-Assistenten?
  • SQL-Editor
  • Notizbücher
  • Beides
• Was sind Ihre Hauptanwendungsfälle für Den Assistenten?
  • Beheben von Fehlern/Problembehandlung
  • Hilfe beim Schreiben von Code
  • Codeumgestaltung
  • Schreiben von SQL-Abfragen
  • Schreiben von Komponententests
  • Nachschlagen der Dokumentation
• Wie zufrieden sind Sie mit den Antworten des Assistenten? Skala von 1-5, Nicht zufrieden zu extrem zufrieden
• Da Sie den KI-Assistenten verwenden, würden Sie sagen, dass Sie produktiver sind? Skalierung von 1-5, Viel weniger produktiv bis viel produktiver
• Wie viel Zeit glauben Sie, dass Sie bei einer durchschnittlichen Aufgabe mit dem Assistenten sparen?
  • 0-10%
  • 10-30%
  • 30 - 50 %
  • 50-70%
  • Mehr als 70%