Monitorowanie jakości modelu i kondycji punktu końcowego
Obsługa modeli mozaiki sztucznej inteligencji zapewnia zaawansowane narzędzia do monitorowania jakości i kondycji modeli oraz ich wdrożeń. Poniższa tabela zawiera omówienie każdego dostępnego narzędzia do monitorowania.
| Tool (Narzędzie dostępu do centrum danych) | Opis | Przeznaczenie | Uzyskaj dostęp |
|---|---|---|---|
| Dzienniki usługi | Przechwytuje i stderr strumienie stdout z punktu końcowego obsługującego model. |
Przydatne do debugowania podczas wdrażania modelu. Służy print(..., flush=true) do natychmiastowego wyświetlania w dziennikach. |
Dostępne przy użyciu karty Dzienniki w interfejsie użytkownika obsługującego. Dzienniki są przesyłane strumieniowo w czasie rzeczywistym i można je eksportować za pośrednictwem interfejsu API. |
| Dzienniki kompilacji | Wyświetla dane wyjściowe z procesu, który automatycznie tworzy środowisko języka Python gotowe do produkcji dla punktu końcowego obsługującego model. | Przydatne do diagnozowania problemów z wdrażaniem modelu i zależnościami. | Dostępne po ukończeniu modelu obsługującego kompilację w obszarze Dzienniki kompilacji na karcie Dzienniki. Dzienniki można eksportować za pośrednictwem interfejsu API. |
| Metryki kondycji punktu końcowego | Zapewnia wgląd w metryki infrastruktury, takie jak opóźnienie, szybkość żądań, szybkość błędów, użycie procesora CPU i użycie pamięci. | Ważne, aby zrozumieć wydajność i kondycję infrastruktury obsługującej. | Dostępne domyślnie w interfejsie użytkownika obsługującego przez ostatnie 14 dni. Dane można również przesyłać strumieniowo do narzędzi do obserwacji w czasie rzeczywistym. |
| Tabele wnioskowania | Automatycznie rejestruje żądania przewidywania w trybie online i odpowiedzi w tabelach delty zarządzanych przez wykaz aparatu Unity. | To narzędzie służy do monitorowania i debugowania jakości lub odpowiedzi modelu, generowania zestawów danych szkoleniowych lub przeprowadzania inspekcji zgodności. | Można włączyć dla istniejących i nowych punktów końcowych obsługujących model przy użyciu jednego kliknięcia w interfejsie użytkownika lub interfejsie API. |