A Databricks Assistant hatásának mérése

Ez a cikk a Databricks Assistant bevezetési, előjegyzési és jelentett hatékonyságnövekedési hatásainak méréséről nyújt tájékoztatást.

Követelmények

A Databricks Assistant hatásának méréséhez belső felmérésre van szüksége, hogy szubjektív visszajelzést kapjon az Asszisztensről a csapatától.

Adatok és metrikák

Nyers adatokat kap a rendszertáblákból és egy felmérésből. Az Asszisztens hatásának megértéséhez metrikákként kell elemeznie és jelentenie az adatokat. A metrikák olyan számított értékek, amelyeket az Asszisztens hatásával kapcsolatos konkrét szempontok vagy tevékenységek mérésére használ. Ez a cikk a metrikákat mértékként is említi.

Tippek az Asszisztens hatásának méréséhez

Annak megértéséhez, hogy szervezete hogyan használja a Databricks Assistantet, először mérje fel annak bevezetését és a Databricks Assistanttel való együttműködését. Ezek az adatok rendszertáblákból számíthatók ki.

A Databricks Assistant rendszertábla-tevékenységének megjelenítéséhez töltse le a Assistant esemény irányítópultjának fájlját a GitHubról.

A JSON-fájl letöltése után importálja az irányítópultot a munkaterületre. Az irányítópultok importálásával kapcsolatos utasításokért lásd: Irányítópultfájl importálása.

Asszisztens hatásmetrikái

Az alábbi táblázat az Assistant hatásának javasolt mértékeiből áll, mind a rendszertáblákból, mind a felhasználói visszajelzésekből.

A szervezet felmérése segít megérteni az Asszisztenssel való együttműködés hatékonyságát is. Lásd az ajánlott felmérésekkel kapcsolatos kérdéseket.

Mérték	Definíció	Színpad	Adatforrás
A legnépszerűbb felhasználók összességében	Az adott időszakban az Asszisztenssel leggyakrabban kommunikáló felhasználók	Örökbefogadás	Számítsa ki a Databricks Assistant rendszertábla adatait.
Beküldési adatok: munkaterületenként és összesen	Az Asszisztensnek küldött kérelmek száma munkaterületenként és fiókonként	Örökbefogadás	Számítsa ki a Databricks Assistant rendszertábla adatait.
Aktív felhasználók nap és hónap szerint	Egyedi felhasználók, akik több mint 1 javaslatot kaptak és fogadtak el, vagy 1+ csevegésben vettek részt egy adott napon.	Elkötelezettség	Számítsa ki a Databricks Assistant rendszertábla adatait.
Aktív felhasználók munkaterületenként	Egyedi felhasználók egy adott munkaterületen, akik az Asszisztenst használják	Elkötelezettség	Számítsa ki a Databricks Assistant rendszertábla adatait.
A legfontosabb munkakörök, amelyek a Databricks Assistantot használják	Az Asszisztenst használó, a szervezetében azonosított egyes szerepkörökből származó személyek száma	Elkötelezettség	A szervezet felmérése
Az Asszisztens legfontosabb feladatai	Az asszisztens a leggyakoribb feladatoknál segít.	Elkötelezettség	A szervezet felmérése
Milyen gyakran használja az Asszisztenst?	Az Asszisztens felhasználónkénti használatának önként jelentett gyakorisága	Elkötelezettség	A szervezet felmérése
Az Asszisztens használatának legfontosabb területei	Önként jelentett használati területek: SQL-szerkesztő, jegyzetfüzetek vagy mindkettő	Elkötelezettség	A szervezet felmérése
Felhasználói elégedettség az Asszisztens súgójával	Önként jelentett elégedettség az Asszisztens válaszaival 1-5-ös skálán	Felhasználói elégedettség	A szervezet felmérése
A felhasználói hatékonyság növelése	Az Assistant segítségével szerzett, 1-5-ös skálán mért önbevalláson alapuló termelékenységnövekedés	Felhasználói elégedettség	A szervezet felmérése
A felhasználók által az Asszisztens használatával megtakarított idő mennyisége	A feladatok elvégzéséhez az Asszisztens használatával megtakarított idő önként jelentett százalékos aránya	Felhasználói elégedettség	A szervezet felmérése

Javasolt felmérési kérdések

A rendszertáblák nem rögzítenek minden információt arról, hogy a szervezet hogyan használja a Databricks Assistantet. Az alábbihoz hasonló felmérési kérdések segítségével megtudhatja, hogyan használja a szervezet az Assistantet.

• Mi a szerepköre? Szerepkörök listázása a szervezetben
• Milyen gyakran használja az Asszisztenst?
  • Óránként
  • Mindennapi
  • Heti
  • Havi
• Hol használja az AI-asszisztenst?
  • SQL-szerkesztő
  • Noteszgépek
  • Mindkettő
• Mik az Asszisztens fő használati esetei?
  • Hibák javítása/ hibaelhárítás
  • Segítség kódíráshoz
  • Kód újrabontása
  • SQL-lekérdezések írása
  • Egységtesztek írása
  • Dokumentáció keresése
• Mennyire elégedett az Asszisztens válaszaival? 1-5-ös skálán, a nem elégedettől a rendkívül elégedettig
• Az AI Assistant használata után azt mondaná, hogy hatékonyabb? 1-5-ös skála, sokkal kevésbé produktív-tól sokkal produktívabb-ig
• Ön szerint mennyi időt takarít meg egy átlagos feladaton a Segéd használatával?
  • 0-10%
  • 10-30%
  • 30-50%
  • 50-70%
  • Több mint 70%