Interpretowanie wyników monitorowania
Do tej pory rozumiesz, co należy monitorować i jak usługa Azure Monitor obsługuje uproszczone monitorowanie gotowe do użycia. Ostatnim krokiem przed rozpoczęciem działań praktycznych jest zapoznanie się z sposobami na zrozumienie danych z monitoringu, a co ważniejsze, zrozumienie, jak mogą one wpływać na podejmowanie praktycznych decyzji.
Ta lekcja koncentruje się na interpretacji, a nie przepisywaniu konkretnych działań, ale pomaga myśleć krytycznie o tym, co oznaczają dane i jak zastosować je do opracowywania rozwiązań.
Monitorowanie to pętla sprzężenia zwrotnego
Monitorowanie nigdy nie powinno być działaniem pasywnym. Zamiast tego tworzy pętlę sprzężenia zwrotnego. Po wdrożeniu usługi można zaobserwować, jak działa, porównać ją z celami i dostosować zgodnie z potrzebami.
Proces iteracyjny może być powtarzany w razie potrzeby, w którym każda runda pomaga znaleźć odpowiednią równowagę między wydajnością a kosztami.
Wizualizowanie szczegółowych informacji za pomocą skoroszytów
Skoroszyty udostępniają elastyczną kanwę do analizowania danych i tworzenia rozbudowanych raportów wizualnych w witrynie Azure Portal. Skoroszyty mogą wysyłać zapytania o dane z wielu źródeł oraz łączyć i korelować dane z licznych zestawów danych w ramach jednej wizualizacji, co zapewnia wizualne odwzorowanie systemu. Skoroszyty są interaktywne, z aktualizowaniem danych w czasie rzeczywistym i mogą być współużytkowane przez zespoły.
Możesz użyć skoroszytów udostępnianych przez usługę Azure Monitor Insights, używać biblioteki szablonów skoroszytu lub tworzyć własne skoroszyty.
Uzyskiwanie dostępu do wstępnie utworzonego skoroszytu
Po połączeniu wystąpienia usługi Application Insights z projektem Microsoft Foundry ważne metryki są już widoczne na pulpicie nawigacyjnym Insights dla aplikacji wykorzystujących generatywną sztuczną inteligencję.
Podczas wybierania pulpitu nawigacyjnego łączysz się ze wstępnie utworzonym skoroszytem platformy Azure w usłudze Azure Monitor, który zapewnia wgląd w metryki wydajności, wzorce użycia i wydajność operacyjną aplikacji sztucznej inteligencji. Możesz śledzić dane, takie jak czas wykonywania, użycie tokenu i współczynniki błędów między sesjami. Możesz użyć tych szczegółowych dzienników i wizualizacji do identyfikowania wąskich gardeł i optymalizowania przepływów pracy.
Jak interpretować użycie tokenu
Liczby tokenów pokazują, jak projekt promptu i wyników wpływa na koszt i wydajność.
- Wysokie liczby tokenów wejściowych mogą sugerować zbyt rozbudowane monity lub niepotrzebne wprowadzenie.
- Wysokie liczby tokenów wyjściowych mogą wskazywać, że model zwraca więcej niż jest to potrzebne. Na przykład długie wyjaśnienia zamiast bezpośrednich odpowiedzi.
- Nagłe wzrosty użycia tokenów często są skorelowane z dłuższym opóźnieniem i wyższymi kosztami na każde żądanie.
Monitorując wzorce tokenów, możesz dostosować aplikację tak, aby mogła być wydajniejsza — czasami bez konieczności zmieniania infrastruktury wdrażania.
Eliminowanie błędów
Błędy informują o osiągnięciu limitu wdrożenia. Przykład:
- Błędy przekroczenia limitu czasu mogą oznaczać, że bieżący rozmiar obliczeniowy jest zbyt mały.
- Błędy limitu szybkości wskazują, że przepływność przekracza limity przydziału usługi.
- Błędy w kroku przepływu mogą wskazywać na błędy logiki lub problemy z jakością danych.
Jeśli współczynnik błędów wzrasta wraz z użyciem, oznacza to, że aplikacja wymaga optymalizacji — w projekcie pojemności obliczeniowej lub przepływu.