Udostępnij za pośrednictwem

Omówienie: wdrażanie modeli, przepływów i aplikacji internetowych za pomocą usługi Azure AI Studio

  • Artykuł

Usługa Studio AI platformy Azure obsługuje wdrażanie dużych modeli językowych (LLMs), przepływów i aplikacji internetowych. Wdrożenie usługi LLM lub przepływu umożliwia jej użycie w witrynie internetowej, aplikacji lub w innych środowiskach produkcyjnych. Zwykle obejmuje to hostowanie modelu na serwerze lub w chmurze oraz tworzenie interfejsu API lub innego interfejsu dla użytkowników w celu interakcji z modelem.

Często słyszysz tę interakcję z modelem nazywanym "wnioskowaniem". Wnioskowanie to proces stosowania nowych danych wejściowych do modelu w celu generowania danych wyjściowych. Wnioskowanie może być używane w różnych aplikacjach. Na przykład model uzupełniania czatu może służyć do autouzupełniania wyrazów lub fraz wpisywanych przez osobę w czasie rzeczywistym. Model czatu może służyć do generowania odpowiedzi na "czy można utworzyć trasę dla pojedynczego dnia wizyty w Seattle?". Istnieje niezliczona liczba możliwości.

Wdrażanie modeli

Najpierw możesz zapytać:

  • "Jakie modele można wdrożyć?" Usługa Azure AI Studio obsługuje wdrażanie niektórych najpopularniejszych modeli podstaw języka i przetwarzania obrazów nadzorowanych przez firmę Microsoft, Hugging Face i Meta.
  • "Jak mogę wybrać odpowiedni model?" Usługa Azure AI Studio udostępnia katalog modeli, który umożliwia wyszukiwanie i filtrowanie modeli na podstawie przypadku użycia. Możesz również przetestować model na przykładowym placu zabaw przed wdrożeniem go w projekcie.
  • "Skąd w programie Azure AI Studio można wdrożyć model?" Model można wdrożyć z katalogu modeli lub na stronie wdrożenia projektu.

Usługa Azure AI Studio upraszcza wdrożenia. Prosty wybór lub wiersz kodu wdraża model i generuje punkt końcowy interfejsu API dla aplikacji do użytku.

Modele usługi Azure OpenAI

Usługa Azure OpenAI umożliwia uzyskanie dostępu do najnowszych modeli OpenAI z funkcjami przedsiębiorstwa z platformy Azure. Dowiedz się więcej na temat wdrażania modeli OpenAI w programie AI Studio.

Otwieranie modeli

Katalog modeli oferuje dostęp do wielu różnych modeli w różnych modalnościach. Niektóre modele w wykazie modeli można wdrożyć jako usługę z płatnością zgodnie z rzeczywistym użyciem, zapewniając sposób korzystania z nich jako interfejsu API bez hostowania ich w ramach subskrypcji, przy jednoczesnym zachowaniu potrzeb organizacji w zakresie zabezpieczeń i zgodności przedsiębiorstwa.

Wdrażanie modeli za pomocą modelu jako usługi (Maas)

Ta opcja wdrożenia nie wymaga limitu przydziału z subskrypcji. Wdrożenie interfejsu API bezserwerowego jest wdrażane i rozliczane za token w sposób płatności zgodnie z rzeczywistym użyciem. Dowiedz się, jak wdrażać i korzystać z rodziny modeli Llama 2 z modelem jako usługą.

Wdrażanie modeli za pomocą hostowanej infrastruktury zarządzanej

Możesz również hostować otwarte modele w ramach własnej subskrypcji za pomocą infrastruktury zarządzanej, maszyn wirtualnych i liczby wystąpień na potrzeby zarządzania pojemnością. Obecnie oferuje szeroką gamę modeli: Azure AI, HuggingFace i Nvidia. Dowiedz się więcej na temat wdrażania otwartych modeli w punktach końcowych czasu rzeczywistego.

Rozliczenia dotyczące wdrażania i wnioskowania maszyn LLM w usłudze Azure AI Studio

W poniższej tabeli opisano sposób naliczania opłat za wdrażanie i wnioskowanie maszyn LLM w usłudze Azure AI Studio. Zobacz Monitorowanie kosztów modeli oferowanych w witrynie Azure Marketplace , aby dowiedzieć się więcej na temat śledzenia kosztów.

Przypadek użycia Modele usługi Azure OpenAI Modele wdrożone jako bezserwerowe interfejsy API (płatność zgodnie z rzeczywistym użyciem) Modele wdrożone za pomocą zarządzanych zasobów obliczeniowych
Wdrażanie modelu z wykazu modeli w projekcie Nie, nie są naliczane opłaty za wdrożenie modelu Usługi Azure OpenAI w projekcie. Tak, opłaty są naliczane za infrastrukturę punktu końcowego1 Tak, opłaty są naliczane za infrastrukturę hostowaną w modelu2
Testowanie trybu czatu na placu zabaw po wdrożeniu modelu w projekcie Tak, opłaty są naliczane na podstawie użycia tokenu Tak, opłaty są naliczane na podstawie użycia tokenu Brak.
Testowanie modelu na przykładowym placu zabaw w katalogu modeli (jeśli dotyczy) Nie dotyczy Brak. Brak.
Testowanie modelu na placu zabaw w projekcie (jeśli dotyczy) lub na karcie testu na stronie szczegółów wdrożenia w projekcie. Tak, opłaty są naliczane na podstawie użycia tokenu Tak, opłaty są naliczane na podstawie użycia tokenu Brak.

1 Minimalna infrastruktura punktu końcowego jest rozliczana na minutę. Nie są naliczane opłaty za infrastrukturę hostująca sam model w modelu płatności zgodnie z rzeczywistym użyciem. Po usunięciu punktu końcowego nie zostaną naliczone żadne dodatkowe opłaty.

2 Rozliczenia są wykonywane w minutę w zależności od jednostki SKU i liczby wystąpień używanych we wdrożeniu od momentu utworzenia. Po usunięciu punktu końcowego nie zostaną naliczone żadne dodatkowe opłaty.

Wdrażanie przepływów

Co to jest przepływ i dlaczego chcesz go wdrożyć? Przepływ to sekwencja narzędzi, które mogą służyć do tworzenia aplikacji generacyjnych sztucznej inteligencji. Wdrażanie przepływu różni się od wdrażania modelu, w którym można dostosować przepływ przy użyciu własnych danych i innych składników, takich jak osadzanie, wyszukiwanie wektorowej bazy danych. i połączenia niestandardowe. Aby zapoznać się z przewodnikiem z instrukcjami, zobacz Wdrażanie przepływów za pomocą usługi Azure AI Studio.

Możesz na przykład utworzyć czatbota, który używa danych do generowania świadomych i uziemionych odpowiedzi na zapytania użytkowników. Po dodaniu danych na placu zabaw zostanie automatycznie wygenerowany przepływ monitu. Możesz wdrożyć przepływ zgodnie z rzeczywistym działaniem lub dostosować go dalej przy użyciu własnych danych i innych składników. W usłudze Azure AI Studio możesz również utworzyć własny przepływ od podstaw.

Niezależnie od tego, w jaki sposób utworzysz przepływ w usłudze Azure AI Studio, możesz szybko wdrożyć go i wygenerować punkt końcowy interfejsu API, który będzie używany przez aplikacje.

Wdrażanie aplikacji internetowych

Model lub przepływ, który można wdrożyć, można użyć w aplikacji internetowej hostowanej na platformie Azure. Usługa Azure AI Studio zapewnia szybki sposób wdrażania aplikacji internetowej. Aby uzyskać więcej informacji, zobacz samouczek dotyczący usługi Azure AI Enterprise Chat.

Planowanie bezpieczeństwa sztucznej inteligencji dla wdrożonego modelu

W przypadku modeli usługi Azure OpenAI, takich jak GPT-4, usługa Azure AI Studio zapewnia filtr bezpieczeństwa sztucznej inteligencji podczas wdrażania w celu zapewnienia odpowiedzialnego korzystania ze sztucznej inteligencji. Filtr bezpieczeństwa zawartości sztucznej inteligencji umożliwia moderowanie szkodliwej i wrażliwej zawartości w celu promowania bezpieczeństwa aplikacji rozszerzonych przez sztuczną inteligencję. Oprócz filtru bezpieczeństwa sztucznej inteligencji usługa Azure AI Studio oferuje monitorowanie modeli wdrożonych modeli. Monitorowanie modeli dla llMs używa najnowszych modeli języka GPT do monitorowania i zgłaszania alertów, gdy dane wyjściowe modelu działają źle względem ustawionych progów bezpieczeństwa i jakości generowania. Można na przykład skonfigurować monitor, aby ocenić, jak dobrze wygenerowane odpowiedzi modelu są zgodne z informacjami ze źródła danych wejściowych ("uziemioność") i ściśle pasują do podstawowego zdania prawdy lub dokumentu ("podobieństwo").

Optymalizowanie wydajności wdrożonego modelu

Optymalizacja llMs wymaga starannego rozważenia kilku czynników, w tym metryk operacyjnych (np. opóźnienia), metryk jakości (np. dokładności) i kosztów. Ważne jest, aby współpracować z doświadczonymi analitykami danych i inżynierami, aby upewnić się, że model jest zoptymalizowany pod kątem konkretnego przypadku użycia.

Następne kroki