Monitorowanie usługi Azure OpenAI

Gdy masz aplikacje o krytycznym znaczeniu i procesy biznesowe, które opierają się na zasobach platformy Azure, chcesz monitorować te zasoby pod kątem ich dostępności, wydajności i działania.

W tym artykule opisano dane monitorowania generowane przez usługę Azure OpenAI Service. Azure OpenAI jest częścią usług Azure AI, które korzystają z usługi Azure Monitor. Jeśli nie znasz funkcji usługi Azure Monitor, które są wspólne dla wszystkich usług platformy Azure korzystających z tej usługi, zobacz Monitorowanie zasobów platformy Azure za pomocą usługi Azure Monitor.

Pulpity nawigacyjne

Usługa Azure OpenAI udostępnia gotowe pulpity nawigacyjne dla każdego zasobu usługi Azure OpenAI. Aby uzyskać dostęp do logowania się do https://portal.azure.com pulpitów nawigacyjnych monitorowania i wybrać okienko przeglądu dla jednego z zasobów usługi Azure OpenAI.

Pulpity nawigacyjne są pogrupowane w cztery kategorie: żądania HTTP, użycie oparte na tokenach, wykorzystanie jednostki PTU i dostrajanie

Zbieranie i routing danych w usłudze Azure Monitor

Usługa Azure OpenAI zbiera te same rodzaje danych monitorowania co inne zasoby platformy Azure. Usługę Azure Monitor można skonfigurować tak, aby generowała dane w dziennikach aktywności, dziennikach zasobów, dziennikach maszyn wirtualnych i metrykach platformy. Aby uzyskać więcej informacji, zobacz Monitorowanie danych z zasobów platformy Azure.

Metryki platformy i dziennik aktywności usługi Azure Monitor są zbierane i przechowywane automatycznie. Te dane można kierować do innych lokalizacji przy użyciu ustawienia diagnostycznego. Dzienniki zasobów usługi Azure Monitor nie są zbierane i przechowywane do momentu utworzenia ustawienia diagnostycznego, a następnie kierowania dzienników do co najmniej jednej lokalizacji.

Podczas tworzenia ustawienia diagnostycznego należy określić kategorie dzienników, które mają być zbierane. Aby uzyskać więcej informacji na temat tworzenia ustawienia diagnostycznego przy użyciu witryny Azure Portal, interfejsu wiersza polecenia platformy Azure lub programu PowerShell, zobacz Tworzenie ustawienia diagnostycznego w celu zbierania dzienników platformy i metryk na platformie Azure.

Należy pamiętać, że korzystanie z ustawień diagnostycznych i wysyłanie danych do dzienników usługi Azure Monitor wiąże się z innymi kosztami. Aby uzyskać więcej informacji, zobacz Azure Monitor Logs cost calculations and options (Obliczenia i opcje dotyczące kosztów dzienników usługi Azure Monitor).

Metryki i dzienniki, które można zebrać, zostały opisane w poniższych sekcjach.

Analizowanie metryk

Metryki zasobów usługi Azure OpenAI można analizować za pomocą narzędzi usługi Azure Monitor w witrynie Azure Portal. Na stronie Przegląd zasobu usługi Azure OpenAI wybierz pozycję Metryki w obszarze Monitorowanie w okienku po lewej stronie. Aby uzyskać więcej informacji, zobacz Rozpoczynanie pracy z eksploratorem metryk usługi Azure Monitor.

Usługa Azure OpenAI ma wspólność z podzbiorem usług Azure AI. Aby uzyskać listę wszystkich metryk platformy zebranych dla usługi Azure OpenAI i podobnych usług Azure AI według usługi Azure Monitor, zobacz Obsługiwane metryki dla usług Microsoft.CognitiveServices/accounts.

Metryki usług Cognitive Services

Są to starsze metryki wspólne dla wszystkich zasobów usług Azure AI Services. Nie zalecamy już używania tych metryk z usługą Azure OpenAI.

Metryki usługi Azure OpenAI

Uwaga

Metryka Aprowizowanego wykorzystania zarządzanego jest teraz przestarzała i nie jest już zalecana. Ta metryka została zastąpiona przez metryki Aprowizowane wykorzystanie zarządzane w wersji 2 .

Poniższa tabela zawiera podsumowanie bieżącego podzestawu metryk dostępnych w usłudze Azure OpenAI.

Metric	Kategoria	Agregacja	opis	Wymiary
Azure OpenAI Requests	HTTP	Count	Łączna liczba wywołań wykonanych w interfejsie API usługi Azure OpenAI w danym okresie. Dotyczy jednostek SKU zarządzanych przez paygo, PTU i PTU.	ApiName, ModelDeploymentName,ModelName,ModelVersion, OperationName, Region, , StatusCodeStreamType
Generated Completion Tokens	Użycie	Sum	Liczba wygenerowanych tokenów (wyjściowych) z modelu usługi Azure OpenAI. Dotyczy jednostek SKU płatnych, PTU i PTU	ApiName, ModelDeploymentName,ModelName, Region
Processed FineTuned Training Hours	Użycie	Sum	Liczba godzin trenowania przetworzonych w modelu dostosowanym do usługi Azure OpenAI.	ApiName, ModelDeploymentName,ModelName, Region
Processed Inference Tokens	Użycie	Sum	Liczba tokenów wnioskowania przetwarzanych przez model usługi Azure OpenAI. Obliczane jako tokeny monitu (dane wejściowe) i wygenerowane tokeny. Dotyczy jednostek SKU paygo, PTU i PTU.	ApiName, ModelDeploymentName,ModelName, Region
Processed Prompt Tokens	Użycie	Sum	Łączna liczba tokenów monitu (danych wejściowych) przetworzonych w modelu usługi Azure OpenAI. Dotyczy jednostek SKU zarządzanych przez paygo, PTU i PTU.	ApiName, ModelDeploymentName,ModelName, Region
Provision-managed Utilization V2	HTTP	Średnia	Wykorzystanie zarządzane przez aprowizację to procent wykorzystania dla danego wdrożenia zarządzanego przez aprowizację. Obliczone jako (zużyte jednostki PTU/wdrożone jednostki PTU)*100. Gdy użycie wynosi lub powyżej 100%, wywołania są ograniczane i zwracają kod błędu 429.	ModelDeploymentName,ModelName,ModelVersion, Region, , StreamType
Prompt Token Cache Match Rate	HTTP	Średnia	Tylko aprowizacja zarządzana. Liczba trafień pamięci podręcznej tokenu monitu wyrażona jako wartość procentowa.	ModelDeploymentName, , ModelVersion, , ModelNameRegion
Time to Response	HTTP	Średnia	Zalecana miara opóźnienia (czas odpowiedzi) dla żądań przesyłania strumieniowego. Dotyczy wdrożeń PTU i PTU zarządzanych. Ta metryka nie ma zastosowania do standardowych wdrożeń płatności zgodnie z rzeczywistym użyciem. Obliczono jako czas potrzebny na wyświetlenie pierwszej odpowiedzi po wysłaniu przez użytkownika monitu mierzonego przez bramę interfejsu API. Ta liczba zwiększa się wraz ze wzrostem rozmiaru monitu i/lub zmniejszeniem rozmiaru trafień pamięci podręcznej. Uwaga: ta metryka jest przybliżeniem, ponieważ mierzone opóźnienie jest silnie zależne od wielu czynników, w tym współbieżnych wywołań i ogólnego wzorca obciążenia. Ponadto nie uwzględnia żadnych opóźnień po stronie klienta, które mogą istnieć między klientem a punktem końcowym interfejsu API. Aby uzyskać optymalne śledzenie opóźnień, zapoznaj się z własnym rejestrowaniem.	ModelDepIoymentName, ModelNamei ModelVersion

Konfigurowanie ustawień diagnostycznych

Wszystkie metryki można eksportować przy użyciu ustawień diagnostycznych w usłudze Azure Monitor. Aby analizować dzienniki i dane metryk za pomocą zapytań usługi Log Analytics usługi Azure Monitor, należy skonfigurować ustawienia diagnostyczne dla zasobu usługi Azure OpenAI i obszaru roboczego usługi Log Analytics.

1. Na stronie zasobów usługi Azure OpenAI w obszarze Monitorowanie wybierz pozycję Ustawienia diagnostyczne w okienku po lewej stronie. Na stronie Ustawienia diagnostyczne wybierz pozycję Dodaj ustawienie diagnostyczne.

   

2. Na stronie Ustawienia diagnostyczne skonfiguruj następujące pola:

   1. Wybierz pozycję Wyślij do obszaru roboczego usługi Log Analytics.
   2. Wybierz subskrypcję konta platformy Azure.
   3. Wybierz obszar roboczy usługi Log Analytics.
   4. W obszarze Dzienniki wybierz pozycję wszystkieLogi.
   5. W obszarze Metryki wybierz pozycję Wszystkie metryki.

   

3. Wprowadź nazwę ustawienia diagnostycznego, aby zapisać konfigurację.

4. Wybierz pozycję Zapisz.

Po skonfigurowaniu ustawień diagnostycznych możesz pracować z metrykami i danymi dziennika dla zasobu usługi Azure OpenAI w obszarze roboczym usługi Log Analytics.

Analizowanie dzienników

Dane w dziennikach usługi Azure Monitor są przechowywane w tabelach, w których każda tabela ma własny zestaw unikatowych właściwości.

Wszystkie dzienniki zasobów w usłudze Azure Monitor mają te same pola, a następnie pola specyficzne dla usługi. Aby uzyskać informacje na temat wspólnego schematu, zobacz Typowe i specyficzne dla usługi schematy dla dzienników zasobów platformy Azure.

Dziennik aktywności to typ dziennika platformy na platformie Azure, który zapewnia wgląd w zdarzenia na poziomie subskrypcji. Ten dziennik można wyświetlić niezależnie lub kierować go do dzienników usługi Azure Monitor. W witrynie Azure Portal możesz użyć dziennika aktywności w dziennikach usługi Azure Monitor do uruchamiania złożonych zapytań za pomocą usługi Log Analytics.

Aby uzyskać listę typów dzienników zasobów dostępnych dla usługi Azure OpenAI i podobnych usług Azure AI, zobacz Microsoft.CognitiveServices Operacje dostawcy zasobów platformy Azure.

Korzystanie z zapytań Kusto

Po wdrożeniu modelu usługi Azure OpenAI możesz wysłać kilka wywołań ukończenia przy użyciu środowiska zabaw w usłudze Azure AI Studio.

Dowolny tekst wprowadzony na placu zabaw ukończenia lub plac zabaw czatu generuje metryki i dane dziennika dla zasobu usługi Azure OpenAI. W obszarze roboczym usługi Log Analytics dla zasobu możesz wykonywać zapytania dotyczące danych monitorowania przy użyciu języka zapytań Kusto .

Ważne

Opcja Otwórz zapytanie na stronie zasobu azure OpenAI przechodzi do usługi Azure Resource Graph, która nie została opisana w tym artykule. Poniższe zapytania używają środowiska zapytań dla usługi Log Analytics. Pamiętaj, aby wykonać kroki opisane w temacie Konfigurowanie ustawień diagnostycznych w celu przygotowania obszaru roboczego usługi Log Analytics.

1. Na stronie zasobu Azure OpenAI w obszarze Monitorowanie w okienku po lewej stronie wybierz pozycję Dzienniki.

2. Wybierz obszar roboczy usługi Log Analytics skonfigurowany z diagnostyką dla zasobu usługi Azure OpenAI.

3. Na stronie obszaru roboczego usługi Log Analytics w obszarze Przegląd w okienku po lewej stronie wybierz pozycję Dzienniki.

   W witrynie Azure Portal zostanie wyświetlone okno Zapytania z przykładowymi zapytaniami i sugestiami domyślnie. Możesz zamknąć to okno.

W poniższych przykładach wprowadź zapytanie Kusto w regionie edycji w górnej części okna Zapytanie , a następnie wybierz pozycję Uruchom. Wyniki zapytania są wyświetlane poniżej tekstu zapytania.

Poniższe zapytanie Kusto jest przydatne podczas początkowej analizy danych Diagnostyka Azure (AzureDiagnostics) dotyczących zasobu:

AzureDiagnostics
| take 100
| project TimeGenerated, _ResourceId, Category, OperationName, DurationMs, ResultSignature, properties_s

To zapytanie zwraca próbkę 100 wpisów i wyświetla podzbiór dostępnych kolumn danych w dziennikach. W wynikach zapytania możesz wybrać strzałkę obok nazwy tabeli, aby wyświetlić wszystkie dostępne kolumny i skojarzone typy danych.

Aby wyświetlić wszystkie dostępne kolumny danych, możesz usunąć wiersz | project ... parametrów określania zakresu z zapytania:

AzureDiagnostics
| take 100

Aby sprawdzić dane metryk platformy Azure (AzureMetrics) dla zasobu, uruchom następujące zapytanie:

AzureMetrics
| take 100
| project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName

Zapytanie zwraca próbkę 100 wpisów i wyświetla podzestaw dostępnych kolumn danych metryk platformy Azure:

Uwaga

Po wybraniu pozycji Dzienniki monitorowania>w menu Azure OpenAI dla zasobu usługa Log Analytics zostanie otwarta z zakresem zapytania ustawionym na bieżący zasób. Widoczne zapytania dziennika obejmują dane tylko z tego konkretnego zasobu. Aby uruchomić zapytanie zawierające dane z innych zasobów lub danych z innych usług platformy Azure, wybierz pozycję Dzienniki z menu usługi Azure Monitor w witrynie Azure Portal. Aby uzyskać więcej informacji, zobacz Zakres zapytań dzienników i zakres czasu w usłudze Azure Monitor Log Analytics , aby uzyskać szczegółowe informacje.

Konfigurowanie alertów

Alerty usługi Azure Monitor proaktywnie powiadamiają o znalezieniu ważnych warunków w danych monitorowania. Umożliwiają one identyfikowanie i rozwiązywanie problemów w systemie przed ich zauważeniem przez użytkowników. Alerty dotyczące metryk, dzienników i dziennika aktywności można ustawić. Różne typy alertów mają różne korzyści i wady.

Wymagania dotyczące zgłaszania alertów w każdej organizacji różnią się i mogą się zmieniać wraz z upływem czasu. Ogólnie rzecz biorąc, wszystkie alerty powinny być możliwe do działania i mieć określoną określoną odpowiedź, jeśli wystąpi alert. Jeśli alert nie wymaga natychmiastowej odpowiedzi, warunek można przechwycić w raporcie, a nie w alercie. Niektóre przypadki użycia mogą wymagać alertów w dowolnym momencie istnienia określonych warunków błędu. W innych przypadkach mogą być potrzebne alerty dotyczące błędów, które przekraczają określony próg w wyznaczonym przedziale czasu.

Błędy poniżej niektórych progów można często oceniać za pomocą regularnej analizy danych w dziennikach usługi Azure Monitor. Podczas analizowania danych dziennika w czasie może się okazać, że określony warunek nie występuje przez oczekiwany okres czasu. Ten warunek można śledzić przy użyciu alertów. Czasami brak zdarzenia w dzienniku jest tak samo ważny jak sygnał jako błąd.

W zależności od typu aplikacji opracowywanej przy użyciu usługi Azure OpenAI usługa Azure Monitor Application Szczegółowe informacje może oferować więcej korzyści z monitorowania w warstwie aplikacji.

Następne kroki

• Monitorowanie zasobów platformy Azure za pomocą usługi Azure Monitor
• Omówienie przeszukiwania dzienników w dziennikach usługi Azure Monitor