Udostępnij za pośrednictwem

Etykietowanie podczas programowania

Jako deweloper tworzący aplikacje GenAI potrzebujesz sposobu śledzenia obserwacji dotyczących jakości danych wyjściowych aplikacji. Śledzenie MLflow pozwala dodawać opinie lub oczekiwania bezpośrednio do ścieżek w trakcie opracowywania, zapewniając szybki sposób rejestrowania problemów z jakością, oznaczania udanych przykładów lub dodawania notatek dla przyszłej dokumentacji.

Wymagania wstępne

  • Twoja aplikacja jest uzupełniona o MLflow Tracing
  • Wygenerowano ślady, uruchamiając aplikację

Dodawanie etykiet do śladów za pośrednictwem interfejsu użytkownika

Narzędzie MLflow ułatwia dodawanie adnotacji (etykiet) bezpośrednio do śladów za pośrednictwem interfejsu użytkownika platformy MLflow.

Uwaga / Notatka

Jeśli korzystasz z notesu usługi Databricks, możesz również wykonać te kroki z poziomu interfejsu użytkownika Trace, który jest renderowany bezpośrednio w notesie.

opinie użytkowników

  1. Przejdź do karty Ślady w interfejsie użytkownika eksperymentu platformy MLflow
  2. Otwórz pojedynczy ślad
  3. W interfejsie użytkownika śledzenia kliknij określony zakres, który chcesz oznaczyć etykietą
    • Wybranie zakresu głównego dołącza opinię do całego śledzenia
  4. Rozwiń kartę Oceny po prawej stronie
  5. Wypełnij formularz, aby dodać swoją opinię
    • Typ oceny
      • Opinie: Subiektywna ocena jakości (oceny, komentarze)
      • Oczekiwanie: oczekiwane dane wyjściowe lub wartość (co powinno zostać wygenerowane)
    • Nazwa oceny
      • Unikatowa nazwa dla tego, czego dotyczy informacja zwrotna
    • Typ danych
      • Liczba
      • logiczny
      • Sznurek
    • Wartość
      • Ocena
    • Uzasadnienie
      • Opcjonalne uwagi dotyczące wartości
  6. Kliknij pozycję Utwórz , aby zapisać etykietę
  7. Po powrocie do karty Ślady etykieta będzie wyświetlana jako nowa kolumna

Dodawanie etykiet do śladów za pomocą zestawu SDK

Można programowo dodawać etykiety do śladów przy użyciu zestawu SDK platformy MLflow. Jest to przydatne w przypadku automatycznego etykietowania na podstawie logiki aplikacji lub przetwarzania śladów w trybie wsadowym.

Aby zobaczyć pełny zestaw przykładów, odwiedź stronę koncepcji ocen logowania.


import mlflow
@mlflow.trace
def my_app(input: str) -> str:
    return input + "_output"

my_app(input="hello")

trace_id = mlflow.get_last_active_trace_id()


# Log a thumbs up/down rating
mlflow.log_feedback(
    trace_id=trace_id,
    name="quality_rating",
    value=1,  # 1 for thumbs up, 0 for thumbs down
    rationale="The response was accurate and helpful",
    source=mlflow.entities.assessment.AssessmentSource(
        source_type=mlflow.entities.assessment.AssessmentSourceType.HUMAN,
        source_id="bob@example.com",
    ),
)

# Log expected response text
mlflow.log_expectation(
    trace_id=trace_id,
    name="expected_response",
    value="The capital of France is Paris.",
    source=mlflow.entities.assessment.AssessmentSource(
        source_type=mlflow.entities.assessment.AssessmentSourceType.HUMAN,
        source_id="bob@example.com",
    ),
)

opinie użytkowników

Dalsze kroki

Kontynuuj pracę z tymi zalecanymi akcjami i samouczkami.

Przewodniki referencyjne

Zapoznaj się ze szczegółową dokumentacją dotyczącą pojęć i funkcji wymienionych w tym przewodniku.