Optymalizowanie kosztów i wydajności modelu

Gdy koszty modelu lub agenta zaczną rosnąć, użyj funkcji Ask AI (wersja zapoznawcza), aby szybko zdiagnozować problemy, podjąć działania i zweryfikować ulepszenia. Ask AI to wbudowany asystent chat, do którego można uzyskać dostęp z paska narzędzi w portalu Microsoft Foundry. Aby uzyskać więcej informacji o możliwościach i ograniczeniach dotyczących zadawania pytań o sztuczną inteligencję, zobacz Ask AI for help (preview) (Zapytaj sztuczną inteligencję o pomoc (wersja zapoznawcza).

W tym artykule zidentyfikowasz skoki kosztów, przełączysz się do modelu ekonomicznego i zweryfikujesz ulepszenia wydajności przy użyciu portalu Foundry.

Uwaga

Gdy kierujesz Ask AI do wykonywania zadań modyfikujących zasoby Azure, takich jak wdrażanie modelu lub zmiana wdrożenia, Ask AI proponuje akcje do przejrzenia i zatwierdzenia przed ich uruchomieniem. Ustawienia zatwierdzania można skonfigurować, wybierając ikonę ustawień w rozmowie z wiadomością z prośbą do AI. Aby uzyskać więcej informacji, zobacz Zapytaj sztuczną inteligencję o pomoc (wersja zapoznawcza).

Wymagania wstępne

  • Następujące uprawnienia:

  • Usługa Application Insights skonfigurowana dla projektu Foundry. Aby uzyskać więcej informacji, zobacz Konfigurowanie monitorowania.

  • Co najmniej jeden wdrożony lub opublikowany agent z danymi kosztów. W celu uzyskania znaczącej analizy trendu potrzebne są dane użycia z co najmniej siedmiu dni.

  • Agent Ask AI włączony w projekcie Foundry. Jest ona dostępna w wersji zapoznawczej na pasku narzędzi portalu Foundry. Jeśli go nie widzisz, sprawdź, czy projekt znajduje się w obsługiwanym regionie i czy administrator nie wyłączył tej funkcji.

  • Zestaw danych oceny reprezentujący typowe obciążenie agenta. Użyj tego zestawu danych, aby porównać wydajność modelu po przełączeniu modeli.

Wykrywanie wzrostu kosztów

Zacznij od otwarcia agenta Ask AI na pasku narzędzi. Możesz też przejść do obszaru Przegląd obsługi>, aby użyć jednego ze wstępnie utworzonych monitów specyficznych dla optymalizacji i wydajności agenta.

Poproś asystenta o podanie podsumowania metryk i danych dotyczących kosztów z pulpitu nawigacyjnego Foundry Control Plane. Możesz wybrać wstępnie zdefiniowany monit w okienku Przegląd lub wpisać własne pytanie, takie jak:

  • "Podsumuj ostatni trend kosztów".

  • "Którzy agenci przyczynili się najbardziej do mojego wzrostu kosztów?"

Agent Ask AI generuje podsumowanie, które wyróżnia kluczowe czynniki kosztowe, takie jak wysokie użycie tokenów, dłuższy czas ukończenia lub częste uruchomienia oceny. Podsumowanie zawiera linki z adnotacjami do wykresów pulpitu nawigacyjnego w celu dokładniejszej inspekcji.

Zbadaj agentów, których utrzymanie jest kosztowne

Po przejrzeniu podsumowania możesz zapoznać się ze szczegółowymi informacjami dla określonych agentów, pytając:

  • "Pokaż szczegóły kosztów i wydajności dla [nazwy agenta]."

  • "Podział kosztów według modelu lub wdrożenia dla tego agenta".

Możesz również wybrać pozycję Zasoby w okienku po lewej stronie. Następnie wybierz pozycję Wyświetl szczegóły agenta , aby wyświetlić okienko Zasoby . W tym miejscu możesz porównać agentów pod względem kosztów oraz zużycia tokenów, a także sprawdzić, który agent kosztuje najwięcej.

Przełączanie do modelu ekonomicznego

Gdy zidentyfikujesz model jako czynnik kosztowy, skorzystaj z AI, aby znaleźć bardziej opłacalną alternatywę.

  1. W obszarze Zapytaj sztuczną inteligencję wprowadź monit, taki jak "Zalecanie tańszego modelu o podobnej wydajności" lub "Porównaj koszt i jakość modeli podobnych do [current model]."

  2. Przejrzyj odpowiedź. Funkcja 'Zapytaj AI' zaleca alternatywne modele z katalogu modeli, wraz z porównaniem wydajności i kosztów. Przejrzyj zalecenia i wybierz model, który spełnia Twoje wymagania.

  3. Wdróż nowy model. Poproś sztuczną inteligencję o zainicjowanie wdrożenia bezpośrednio na czacie lub podanie linku do strony wdrożenia. Można również wdrożyć ręcznie. Aby uzyskać szczegółowe instrukcje dotyczące wdrażania, zobacz Wdróż modele Microsoft Foundry w portalu Foundry lub Wdróż modele przy użyciu Azure CLI i Bicep.

  4. Po zakończeniu wdrażania sprawdź, czy nowy model jest wyświetlany na liście wdrożeń agenta ze stanem Powodzenie .

Wskazówka

Jeśli funkcja Ask AI jest niedostępna, porównaj modele przy użyciu rankingu modelu.

Ocena różnic kosztów i jakości modelu

Po przełączeniu modeli porównaj stary i nowy model, uruchamiając ewaluację.

  1. W obszarze Zapytaj sztuczną inteligencję wprowadź monit, taki jak "Chcę ocenić i porównać stary i nowy model".

  2. Postępuj zgodnie ze wskazówkami udzielonymi przez Ask AI. Aby utworzyć przebiegi oceny, przejdź do sekcji oceny projektu.

  3. Utwórz dwa przebiegi oceny: jeden dla oryginalnego modelu i jeden dla nowego modelu.

  4. Poczekaj na zakończenie obu przebiegów oceny. Przejdź do obszaru Przegląd operacji>lub historii oceny w projekcie, aby porównać wyniki obok siebie.

  5. Poszukaj różnic w ocenach jakości, opóźnieniach i kosztach na token. W historii oceny sprawdź, czy oba przebiegi pokazują ukończony stan z wynikami dla każdej metryki.

    Kluczowe metryki do porównania:

    • Zakotwiczenie — na ile odpowiedzi są dobrze osadzone w danych źródłowych
    • Istotność — jak bardzo odpowiedzi są związane z zapytaniem
    • Spójność — jak logicznie spójne odpowiedzi są
    • Opóźnienie — czas odpowiedzi dla modelu
    • Koszt na token — efektywność kosztowa modelu

    Skoncentruj się na metrykach, które są zgodne z wymaganiami dotyczącymi jakości agenta.

Zaktualizuj wdrożenie modelu agenta

Po potwierdzeniu, że nowy model spełnia wymagania dotyczące kosztów i wydajności, zaktualizuj agenta, aby go używał.

  1. W portalu Foundry przejdź do obszaru Kompilowanie>agentów.

  2. Wybierz agenta, który chcesz zaktualizować.

  3. Zmień model na nowe wdrożenie.

  4. Przetestuj agenta, aby sprawdzić, czy odpowiada prawidłowo przy użyciu nowego modelu.

  5. Na stronie szczegółów agenta wybierz pozycję Zapisz , aby utworzyć nową wersję. Sprawdź, czy numer wersji jest zwiększany, a nazwa modelu odzwierciedla nowe wdrożenie.

Po sprawdzeniu, czy nowy model działa prawidłowo, rozważ usunięcie starego wdrożenia modelu, aby uniknąć bieżących kosztów.

Śledzenie ulepszeń kosztów i wydajności

Aby sprawdzić ulepszenia po przełączeniu modelu, sprawdź najnowsze dane dotyczące kosztów.

  1. Otwórz pozycję Ask AI (Zapytaj sztuczną inteligencję) na pasku narzędzi.

  2. Wprowadź monit, taki jak "Pokaż podsumowanie najnowszych danych dotyczących kosztów".

  3. Przejrzyj podsumowanie. Zapytaj AI przedstawia dane dotyczące kosztów i wydajności, które są dostępne na stronach Przegląd działania> i Monitorowanie, w tym dowolne wyświetlane tam metryki ciągłej oceny. Podsumowanie przedstawia zmiany trendu kosztów w porównaniu z poprzednim okresem.

Ten przepływ pracy jest regularnie używany do monitorowania wydajności i zwrotu z inwestycji.

Rozwiązywanie typowych problemów

Kwestia Przyczyna Rozdzielczość
Żadne dane kosztów nie są wyświetlane w podsumowaniu Usługa Application Insights nie jest skonfigurowana dla projektu. Skonfiguruj monitorowanie projektu Foundry.
Funkcja Ask AI nie odpowiada na polecenia Ta funkcja może być tymczasowo niedostępna lub monit może być zbyt niejasny. Spróbuj użyć bardziej szczegółowego monitu lub bezpośrednioużyj okienka>.
Zapytaj sztuczną inteligencję o zatwierdzenie przed podjęciem działania Zapytaj AI proponuje akcje do przeglądu przed zmodyfikowaniem zasobów Azure. Przejrzyj proponowaną akcję i wybierz pozycję Zatwierdź , aby kontynuować. Aby skonfigurować ustawienia wstępnego zatwierdzania, wybierz ikonę ustawień w czacie z prośbą do AI.
Nie zaleca się modeli alternatywnych Bieżący model może być już najbardziej opłacalną opcją lub wykaz modeli nie ma porównywalnych alternatyw. Przeglądaj ręcznie katalog modeli Foundry.
Przebiegi ewaluacyjne nie są ukończone Zestaw danych oceny może być nieprawidłowo skonfigurowany lub zbyt duży. Sprawdź konfigurację zestawu danych oceny. Zobacz Przeprowadzanie ewaluacji z zestawu SDK.
Dane kosztów są nieaktualne lub opóźnione Zaktualizowanie danych rozliczeniowych w Azure może zająć do 24–48 godzin. Dane telemetryczne usługi Application Insights mogą również mieć krótkie opóźnienie. Poczekaj na ukończenie cyklu rozliczeniowego i sprawdź ponownie. W przypadku danych niemal w czasie rzeczywistym należy polegać na metrykach usługi Application Insights w okienku Obsługa>Przegląd.
Przełącznik modelu powoduje regresję jakości Nowy model może nie działać również w przypadku określonego obciążenia. Wróć do poprzedniego wdrożenia modelu i uruchom bardziej ukierunkowane oceny przed ponownym przełączeniem.

Powiązana zawartość

  • Last updated on