Ocena w Microsoft Foundry

Ocena pomaga zmierzyć jakość, bezpieczeństwo i niezawodność modeli i agentów w trakcie opracowywania i produkcji. W Microsoft Foundry można ocenić istniejące dane wyjściowe w testowym zestawie danych, wygenerować odpowiedzi na podstawie modelu lub agenta przy użyciu danych wejściowych testów lub ocenić ślady produkcyjne.

Ocena przypisuje co najmniej jednego ewaluatora do Twoich danych lub aplikacji. Ewaluatorzy tworzą metryki i, gdy jest to obsługiwane, także wyjaśnienia, które ułatwiają porównywanie wersji, znajdowanie problemów z jakością i podejmowanie decyzji, czy aplikacja jest gotowa do wdrożenia.

Utwórz przepływ pracy oceny

Większość przepływów pracy oceny wykonuje następujące kroki:

  1. Wybierz, co należy ocenić. Wybierz pojedynczą wypowiedź lub pełną konwersację i użyj istniejącego zestawu danych, wygenerowanych odpowiedzi, symulowanych konwersacji lub śladów produkcyjnych.
  2. Wybierz oceniających. Wybierz metryki dotyczące jakości i bezpieczeństwa, które mają znaczenie dla aplikacji, takie jak ukończenie zadania, istotność, ugruntowanie, podobieństwo lub bezpieczeństwo zawartości.
  3. Uruchom ocenę. Uruchom go raz podczas programowania, dodaj go do ciągłej integracji/ciągłego wdrażania lub skonfiguruj cykliczną ocenę dla środowiska produkcyjnego.
  4. Przejrzyj i ulepsz. Analizowanie zagregowanych metryk i pojedynczych wyników, porównywanie wersji i reagowanie na cykliczne wzorce niepowodzeń.

Wybierz, od czego zacząć

Note

Przed rozpoczęciem zapoznaj się z uprawnieniami do przepływów pracy oceny, obsługiwanymi regionami i limitami szybkości oraz wymaganiami dotyczącymi sieci wirtualnej.

Wybieranie podejścia do oceny

Wybierz jednostkę ewaluacyjną przed wybraniem ewaluatorów. Ocena na poziomie tury ocenia poszczególne odpowiedzi. Ocena na poziomie rozmowy ocenia pełną interakcję wieloturową i może mierzyć wyniki, takie jak ukończenie zadania w wielu krokach. Oceniający obsługują wybrane poziomy oceny.

Chcę Zacznij tutaj
Oceń hostowanego agenta po raz pierwszy Szybki start: Oceń hostowanego agenta
Oceń istniejące dane testowe zapytań i odpowiedzi Ocena zestawów danych odpowiedzi na zapytania
Generowanie i ocenianie odpowiedzi z wejść testowych Ocena odpowiedzi modelu i agenta
Oceń poszczególne interakcje przechwycone z wdrożonego modelu lub agenta Oceń wdrożone interakcje
Oceń zestaw danych pełnych konwersacji Ocena zestawów danych konwersacji
Oceń pełne konwersacje przechwycone w śladach produkcyjnych Oceń wdrożone konwersacje
Symulowanie zachowania agenta wieloetapowego przed wdrożeniem Symulowanie konwersacji agenta
Generowanie scenariuszy i konwersacji bez ręcznego tworzenia danych testowych Generowanie i ocenianie konwersacji syntetycznych
Uruchamianie adwersarialnych testów bezpieczeństwa i niezawodności Dowiedz się więcej o red teamingu sztucznej inteligencji

Wybierz sposób uruchamiania ocen

Chcę Zacznij tutaj
Uruchom ocenę w portalu Foundry Uruchamianie ocen z poziomu portalu Microsoft Foundry
Uruchamianie programowe ewaluacji Wprowadzenie do oceny chmury przy użyciu zestawu SDK platformy Microsoft Foundry
Uruchamianie ocen agentów z poziomu wiersza polecenia Przeprowadzanie ocen agentów za pomocą narzędzia wiersza polecenia azd
Oceniaj ruch produkcyjny cyklicznie Monitoruj agentów i skonfiguruj ocenę ciągłą
Dodaj oceny do potoku wdrożenia Uruchamianie ewaluacji w GitHub Actions lub Azure DevOps

Znajdź potrzebne komponenty

  • Ostatnia aktualizacja o