Analizowanie agenta za pomocą metryk niestandardowych (wersja zapoznawcza)

[Ten artykuł to dokumentacja wstępna, która może ulec zmianie].

Użyj języka naturalnego, aby zdefiniować maksymalnie trzy metryki niestandardowe, które chcesz utworzyć w Copilot Studio. Dostosuj niestandardowe metryki agenta, aby mierzyć jego wyniki oraz wpływ biznesowy w kontekście wiadomości konwersacyjnych. Metryki niestandardowe są obliczane na podstawie transkrypcji komunikatów agenta, w tym zawartości wysyłanej w komunikatach Adaptive Cards.

Wyświetl metryki niestandardowe graficznie jako wykresy pierścieniowe oznaczone etykietą w obszarze Metryki niestandardowe na stronie Analiza .

Ważna

Ten artykuł zawiera dokumentację usługi Microsoft Copilot Studio w wersji zapoznawczej i może ulec zmianie.

Funkcje w wersji zapoznawczej nie są przeznaczone do użytku w środowiskach produkcyjnych i mogą mieć ograniczoną funkcjonalność. Te funkcje są udostępniane przed oficjalnym wydaniem, dzięki czemu można szybciej uzyskać do nich dostęp i przekazać opinie na ich temat.

Jeśli tworzysz agenta gotowego do użycia w środowisku produkcyjnym, zobacz Omówienie usługi Microsoft Copilot Studio.

Propozycja kluczowej wartości

Ta funkcja używa sztucznej inteligencji do utworzenia monitu, który oblicza wyniki niestandardowej metryki zdefiniowanej przy użyciu języka naturalnego. Metryka ma zastosowanie do próbkowania danych komunikatu konwersacyjnego (sesji). Przed zapisaniem go w agencie można dostosować metrykę i przeprowadzić jej iterację. Utwórz maksymalnie trzy metryki niestandardowe dla każdego agenta. Metryki można przetestować przy użyciu przykładowych danych sesji i przejrzeć wyniki przy użyciu wbudowanego rozumowania. Następnie możesz uściślić metryki, aby lepiej odzwierciedlać wyniki i wpływ na działalność biznesową.

Utwórz metrykę niestandardową

1. Na stronie Analiza agenta wybierz pozycję Metryki niestandardowe powyżej karty Podsumowanie .

   

2. W obszarze Tworzenie metryki niestandardowej opisz, co chcesz zmierzyć w języku prostym, pod względem wyników, które chcesz śledzić we wszystkich konwersacjach.

   

3. Dla każdego możliwego wyniku dla zdefiniowanej metryki dodaj kategorię wyników i opisz sposób rozpoznawania sztucznej inteligencji w przypadku wystąpienia tego wyniku metryki.

   Note

   • Dla każdej metryki można zdefiniować maksymalnie 10 kategorii wyników.
   • Wszystkie niedopasowane wyniki sesji są mapowane na domyślną kategorię Inne.

4. Wybierz Dalej.

   Sztuczna inteligencja używa twoich metryk i opisów wyników oraz istniejących metadanych agenta do utworzenia monitu. Polecenie oblicza wyniki dla nowej metryki na podstawie danych z sesji. Nowy kafelek metryki niestandardowej pojawia się na karcie Podgląd.

5. Wyświetl podgląd i iteruj w wierszu polecenia metryki niestandardowej. Monit służy do obliczania wyników metryk niestandardowych.

Edytować metrykę niestandardową

1. Na stronie Analiza agenta wybierz trzy kropki (...) na kafelku metryki niestandardowej, który chcesz edytować, a następnie wybierz pozycję Edytuj.

2. W obszarze Utwórz metrykę niestandardową zmodyfikuj dowolne z następujących ustawień zgodnie z wymaganiami:

   • Jak jest zdefiniowany wynik biznesowy w obszarze Co chcesz zmierzyć?
   • Dowolna z kategorii wyników, w tym zmiana tekstu dowolnej kategorii lub usunięcie kategorii.
   • Dodanie nowej kategorii wyników przez wybranie pozycji Dodaj kategorię.

3. Wybierz pozycję Dalej, a następnie wybierz pozycję Zapisz metryki.

4. Wyświetl podgląd i iteruj w wierszu polecenia metryki niestandardowej. Monit służy do obliczania wyników metryk niestandardowych.

Podgląd i dopracowywanie zapytania do metryki niestandardowej

Użyj funkcji podglądu niestandardowej metryki, aby dopracować jej monit. Podczas testowania swojej metryki niestandardowej na panelu Tworzenie metryki niestandardowej, metryka pobiera dane z próbką z maksymalnie 20 sesji.

1. Na pierwszej stronie pozycji Utwórz metrykę niestandardową wybierz pozycję Dalej.

2. Wybierz pozycję Podgląd , aby wyświetlić wygląd niestandardowej metryki w przypadku wyświetlania graficznego na kafelku.

   

3. Wybierz pozycję Wyniki , aby wyświetlić listę wyników dla przykładowych danych i opis rozumowania sztucznej inteligencji dla każdego wyniku.

   

4. Oceń, czy rozumowanie i wyniki są poprawne.

5. Wybierz pozycję Podpowiedź, aby zobaczyć opis, jak sztuczna inteligencja rozumie, co ma mierzyć i obliczać metryka niestandardowa oraz z jakimi kategoriami wyników. Karta Monit zapewnia przejrzystość i wgląd w podstawową logikę używaną do generowania wyników.

   

6. Jeśli chcesz dostosować zapytanie, aby uzyskać bardziej precyzyjne lub bardziej istotne wyniki, wprowadź zmiany w danych wejściowych podanych początkowo na pierwszej stronie panelu Tworzenia niestandardowej metryki. Następnie przetestuj ponownie skorygowany monit przy użyciu przykładowych danych.

7. Wybierz Zapisz metrykę.

   Nowy kafelek metryki niestandardowej będzie wyświetlany na stronie Analiza w obszarze Metryki niestandardowe.

   Po utworzeniu metryki istnieje jednorazowe obliczenie danych wyjściowych nowej metryki na podstawie danych sesji z ostatnich siedmiu dni. Wykonanie tego początkowego obliczenia może zająć trochę czasu, w zależności od liczby sesji agenta. Po początkowym obliczeniu codziennie na nowo obliczane są wartości wyjściowe metryki na podstawie danych z sesji z poprzedniego dnia. Codzienne obliczanie odbywa się w nocy w twojej strefie czasowej i aktualizuje metrykę.

   Wszystkie obliczenia, zarówno początkowe, jak i nocne, dla metryk niestandardowych są wykonywane na próbce sesji, a nie na wszystkich sesjach w okresie.

Usuń metrykę niestandardową

1. Na stronie Analiza agenta wybierz trzy kropki (...) na kafelku metryki niestandardowej, który chcesz usunąć, a następnie wybierz pozycję Usuń.

2. W oknie dialogowym potwierdzenia wybierz pozycję Usuń.