Wykaz modeli i kolekcje w usłudze Azure AI Studio
Ważne
Niektóre funkcje opisane w tym artykule mogą być dostępne tylko w wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie zalecamy korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone. Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.
Wykaz modeli w usłudze Azure AI Studio to centrum do odnajdywania i używania szerokiej gamy modeli, które umożliwiają tworzenie aplikacji generujących sztuczną inteligencję. Wykaz modeli zawiera setki modeli wśród dostawców modeli, takich jak usługa Azure OpenAI, Mistral, Meta, Cohere, Nvidia, Hugging Face, w tym modele trenowane przez firmę Microsoft. Modele od dostawców innych niż Microsoft są produktami innych niż Microsoft, zgodnie z definicją w warunkach produktu firmy Microsoft i podlegają warunkom dostarczonym z modelem.
Kolekcje modeli
Wykaz modeli organizuje modele w kolekcje. Istnieją trzy typy kolekcji w wykazie modeli:
- Modele wyselekcjonowane według usługi Azure AI: najbardziej popularne, otwarte modele innych firm z wagą i właściwościami, pakowane i optymalizowane pod kątem bezproblemowej pracy na platformie Azure AI. Korzystanie z tych modeli podlega postanowieniom licencyjnym dostawcy modelu dostarczonym z modelem. Po wdrożeniu w usłudze Azure AI Studio dostępność modelu podlega odpowiedniej umowie SLA platformy Azure, a firma Microsoft zapewnia obsługę problemów z wdrażaniem. Modele od partnerów, takich jak Meta, NVIDIA, Mistral AI, to przykłady modeli dostępnych w kolekcji "Nadzorowane przez sztuczną inteligencję platformy Azure" w katalogu. Te modele można rozpoznać po zielonym znaczniku wyboru na kafelkach modelu w katalogu lub filtrować według kolekcji „Wyselekcjonowane według usługi Azure AI”.
- Modele azure OpenAI, dostępne wyłącznie na platformie Azure: flagowe modele usługi Azure OpenAI za pośrednictwem kolekcji "Azure OpenAI" za pośrednictwem integracji z usługą Azure OpenAI. Firma Microsoft obsługuje te modele i ich użycie zgodnie z warunkami produktu i umową SLA dla usługi Azure OpenAI Service.
- Otwarte modele z centrum Hugging Face: setki modeli z centrum HuggingFace są dostępne za pośrednictwem kolekcji "Hugging Face" na potrzeby wnioskowania w czasie rzeczywistym z zarządzanymi obliczeniami. Hugging Face tworzy i utrzymuje modele wymienione w kolekcji HuggingFace. Aby uzyskać pomoc, skorzystaj z forum HuggingFace lub pomocy technicznej aplikacji HuggingFace. Dowiedz się więcej w temacie Wdrażanie otwartych modeli .
Sugerowanie dodatków do wykazu modeli: możesz przesłać żądanie dodania modelu do wykazu modeli przy użyciu tego formularza.
Omówienie możliwości wykazu modeli
Aby uzyskać informacje na temat modeli usługi Azure OpenAI, zobacz temat Azure OpenAI Service.
Niektóre modele z kolekcji Hugging Face Hub można wdrożyć przy użyciu opcji zarządzanego przetwarzania obliczeniowego, a niektóre modele są dostępne do wdrożenia przy użyciu bezserwerowych interfejsów API z rozliczeniami płatności zgodnie z rzeczywistym użyciem. Modele te można odnaleźć, porównać, ocenić, dostosować (jeśli są obsługiwane) i wdrożyć na dużą skalę i zintegrować je z aplikacjami generowania sztucznej inteligencji z zabezpieczeniami i ładem danych klasy korporacyjnej.
- Odnajdywanie: Przejrzyj karty modelu, wypróbuj przykładowe wnioskowanie i przejrzyj przykłady kodu, aby ocenić, dostosować lub wdrożyć model.
- Porównaj: Porównaj testy porównawcze między modelami i zestawami danych dostępnymi w branży, aby ocenić, który z nich spełnia Twój scenariusz biznesowy.
- Oceń: oceń, czy model jest odpowiedni dla konkretnego obciążenia, podając własne dane testowe. Metryki oceny ułatwiają wizualizowanie, jak dobrze wybrany model został wykonany w danym scenariuszu.
- Dostrajanie: Dostosuj modele z możliwością dostosowania przy użyciu własnych danych treningowych i wybierz najlepszy model, porównując metryki we wszystkich zadaniach dostrajania. Wbudowane optymalizacje przyspieszają precyzyjne dostrajanie i zmniejszają ilość pamięci i zasobów obliczeniowych potrzebnych do dostrajania.
- Wdrażanie: bezproblemowe wdrażanie wstępnie wytrenowanych modeli lub dostosowanych modeli w celu wnioskowania. Modele, które można wdrożyć w zarządzanych obliczeniach, można również pobrać.
Wdrażanie modelu: zarządzany interfejs API obliczeniowy i bezserwerowy (płatność zgodnie z rzeczywistym użyciem)
Katalog modeli oferuje dwa różne sposoby wdrażania modeli z katalogu na potrzeby użycia: zarządzane interfejsy API obliczeniowe i bezserwerowe. Opcje wdrażania dostępne dla każdego modelu różnią się; Dowiedz się więcej o funkcjach opcji wdrażania i opcjach dostępnych dla określonych modeli w poniższych tabelach. Dowiedz się więcej o przetwarzaniu danych przy użyciu opcji wdrażania.
| Funkcje | Zarządzane obliczenia | bezserwerowy interfejs API (płatność zgodnie z rzeczywistym użyciem) |
|---|---|---|
| Środowisko wdrażania i rozliczenia | Wagi modelu są wdrażane w dedykowanych maszynach wirtualnych z zarządzanymi punktami końcowymi online. Zarządzany punkt końcowy online, który może mieć co najmniej jedno wdrożenie, udostępnia interfejs API REST na potrzeby wnioskowania. Opłaty są naliczane za godziny rdzenia maszyny wirtualnej używane przez wdrożenia. | Dostęp do modeli odbywa się za pośrednictwem wdrożenia, które aprowizuje interfejs API w celu uzyskania dostępu do modelu. Interfejs API zapewnia dostęp do modelu hostowanego i zarządzanego przez firmę Microsoft na potrzeby wnioskowania. Ten tryb dostępu jest określany jako "Modele jako usługa". Opłaty są naliczane za dane wejściowe i wyjściowe w interfejsach API, zazwyczaj w tokenach; informacje o cenach są udostępniane przed wdrożeniem. |
| Uwierzytelnianie interfejsu API | Klucze i uwierzytelnianie identyfikatora Entra firmy Microsoft. | Tylko klucze. |
| Bezpieczeństwo zawartości | Użyj interfejsów API usługi Azure Content Sejf ty. | Filtry zawartości usługi Azure AI Sejf ty są dostępne zintegrowane z interfejsami API wnioskowania. Filtry zawartości usługi Azure AI Sejf ty mogą być rozliczane oddzielnie. |
| Izolacja sieciowa | Konfigurowanie sieci zarządzanej. Dowiedz się więcej. |
| Model | Zarządzane obliczenia | Bezserwerowy interfejs API (płatność zgodnie z rzeczywistym użyciem) |
|---|---|---|
| Modele rodziny Llama | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Poinstruowanie Llama-3-70B-Poinstruowanie Llama-3-8B Llama-3-70B |
Llama-3-70B-Poinstruowanie Llama-3-8B-Poinstruowanie Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Modele rodzin mistralnych | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Modele rodziny cohere | Niedostępny | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-wielojęzyczny |
| JAIS | Niedostępny | jais-30b-chat |
| Modele rodziny Phi3 | Phi-3-small-128k-Poinstruuj Phi-3-small-8k-Poinstruuj Phi-3-mini-4k-Poinstruowanie Phi-3-mini-128k-Poinstruowanie Phi3-medium-128k-poinstruowanie Phi3-medium-4k-poinstruowanie |
Phi-3-mini-4k-Poinstruowanie Phi-3-mini-128k-Poinstruowanie Phi3-medium-128k-poinstruowanie Phi3-medium-4k-poinstruowanie Phi-3-vision-128k-poinstruowanie |
| Nixtla | Niedostępny | TimeGEN-1 |
| Inne modele | Dostępna | Niedostępny |
Zarządzane obliczenia
Możliwość wdrażania modeli jako zarządzanego środowiska obliczeniowego opiera się na możliwościach platformy usługi Azure Machine Edukacja w celu umożliwienia bezproblemowej integracji w całym cyklu życia llMOps szerokiej kolekcji modeli w wykazie modeli.
W jaki sposób modele są udostępniane do wdrożenia jako zarządzane zasoby obliczeniowe?
Modele są udostępniane za pośrednictwem rejestrów usługi Azure Machine Edukacja, które umożliwiają pierwsze podejście uczenia maszynowego do hostowania i dystrybucji zasobów maszyny Edukacja, takich jak wagi modelu, środowiska uruchomieniowe kontenerów do uruchamiania modeli, potoków do oceny i dostrajania modeli i zestawów danych dla testów porównawczych i przykładów. Te rejestry uczenia maszynowego bazują na wysoce skalowalnej i gotowej dla przedsiębiorstw infrastrukturze, która:
Dostarcza artefakty modelu dostępu o małych opóźnieniach do wszystkich regionów świadczenia usługi Azure z wbudowaną replikacją geograficzną.
Obsługuje wymagania dotyczące zabezpieczeń przedsiębiorstwa jako ograniczenie dostępu do modeli za pomocą usługi Azure Policy i bezpieczne wdrażanie za pomocą zarządzanych sieci wirtualnych.
Wdrażanie modeli na potrzeby wnioskowania za pomocą zarządzanych zasobów obliczeniowych
Modele dostępne do wdrożenia w zarządzanym środowisku obliczeniowym można wdrożyć w usłudze Azure Machine Edukacja Punktach końcowych online na potrzeby wnioskowania w czasie rzeczywistym. Wdrożenie w zarządzanych obliczeniach wymaga, aby mieć limit przydziału maszyny wirtualnej w subskrypcji platformy Azure dla określonych jednostek SKU potrzebnych do optymalnego uruchomienia modelu. Niektóre modele umożliwiają wdrożenie tymczasowego udostępnionego limitu przydziału na potrzeby testowania modelu. Dowiedz się więcej o wdrażaniu modeli:
Tworzenie aplikacji generacyjnych sztucznej inteligencji za pomocą zarządzanych obliczeń
Przepływ monitów oferuje doskonałe środowisko do tworzenia prototypów. Modele wdrożone z zarządzanymi obliczeniami można używać w usłudze Prompt Flow za pomocą narzędzia Open Model LLM. Możesz również użyć interfejsu API REST udostępnianego przez zarządzane zasoby obliczeniowe w popularnych narzędziach LLM, takich jak LangChain z rozszerzeniem Azure Machine Edukacja.
Bezpieczeństwo zawartości dla modeli wdrożonych jako zarządzane obliczenia
Usługa Azure AI Content Sejf ty (AACS) jest dostępna do użycia z zarządzanymi obliczeniami do ekranowania dla różnych kategorii szkodliwych treści, takich jak zawartość seksualna, przemoc, nienawiść i samookaleczenia oraz zaawansowane zagrożenia, takie jak wykrywanie ryzyka zabezpieczeń systemu i wykrywanie tekstu chronionego. Możesz zapoznać się z tym notesem, aby zapoznać się z integracją referencyjną z usługą AACS for Llama 2 lub użyć narzędzia Content Sejf ty (Text) w temacie Prompt Flow (Monituj przepływ), aby przekazać odpowiedzi z modelu do usługi AACS na potrzeby osłony. Opłaty są naliczane oddzielnie zgodnie z cennikiem usługi AACS dla takiego użycia.
Bezserwerowe interfejsy API z rozliczeniami płatności zgodnie z rzeczywistym użyciem
Niektóre modele w wykazie modeli można wdrożyć jako bezserwerowe interfejsy API z rozliczeniami płatności zgodnie z rzeczywistym użyciem; Ta metoda wdrażania jest nazywana modelami jako usługą (MaaS), zapewniając sposób korzystania z nich jako interfejsu API bez hostowania ich w ramach subskrypcji. Modele dostępne za pośrednictwem usługi MaaS są hostowane w infrastrukturze zarządzanej przez firmę Microsoft, co umożliwia dostęp oparty na interfejsie API do modelu dostawcy modelu. Dostęp oparty na interfejsie API może znacznie obniżyć koszt uzyskiwania dostępu do modelu i znacznie uprościć środowisko aprowizacji. Większość modeli MaaS jest wyposażonych w ceny oparte na tokenach.
W jaki sposób modele innych firm są udostępniane w usłudze MaaS?
Modele, które są dostępne do wdrożenia jako bezserwerowe interfejsy API z rozliczeniami płatności zgodnie z rzeczywistym użyciem, są oferowane przez dostawcę modelu, ale hostowane w infrastrukturze platformy Azure zarządzanej przez firmę Microsoft i dostępne za pośrednictwem interfejsu API. Dostawcy modelu definiują postanowienia licencyjne i określają cenę użycia swoich modeli, podczas gdy usługa Azure Machine Edukacja zarządza infrastrukturą hostingu, udostępnia interfejsy API wnioskowania i działa jako procesor danych dla monitów przesłanych i danych wyjściowych przez modele wdrożone za pośrednictwem usługi MaaS. Dowiedz się więcej o przetwarzaniu danych dla usługi MaaS w artykule dotyczącym prywatności danych.
Płatność za użycie modelu w usłudze MaaS
Środowisko odnajdywania, subskrypcji i użycia modeli wdrożonych za pośrednictwem usługi MaaS znajduje się w usłudze Azure AI Studio i usłudze Azure Machine Edukacja Studio. Użytkownicy akceptują postanowienia licencyjne dotyczące używania modeli, a informacje o cenach użycia są udostępniane podczas wdrażania. Modele od dostawców innych firm są rozliczane za pośrednictwem witryny Azure Marketplace zgodnie z warunkami użytkowania w komercyjnej witrynie Marketplace; modele firmy Microsoft są rozliczane przy użyciu mierników platformy Azure jako usług użycia firmy First Party. Zgodnie z opisem w warunkach produktu usługi zużycie przez firmę First Party są kupowane przy użyciu mierników platformy Azure, ale nie podlegają warunkom świadczenia usług platformy Azure. Korzystanie z tych modeli podlega postanowieniom licencyjnym.
Wdrażanie modeli na potrzeby wnioskowania za pomocą usługi MaaS
Wdrażanie modelu za pomocą usługi MaaS umożliwia użytkownikom uzyskanie dostępu do gotowych do korzystania z interfejsów API wnioskowania bez konieczności konfigurowania infrastruktury lub aprowizacji procesorów GPU, oszczędzania czasu inżynieryjnego i zasobów. Te interfejsy API można zintegrować z kilkoma narzędziami LLM, a użycie jest rozliczane zgodnie z opisem w poprzedniej sekcji.
Dostrajanie modeli za pomocą usługi MaaS z płatnością zgodnie z rzeczywistym użyciem
W przypadku modeli, które są dostępne za pośrednictwem usługi MaaS i obsługują dostrajanie, użytkownicy mogą korzystać z hostowanego dostrajania przy użyciu rozliczeń z płatnością zgodnie z rzeczywistym użyciem, aby dostosować modele przy użyciu udostępnianych przez nich danych. Aby uzyskać więcej informacji, zobacz szczegółowe omówienie dostrajania.
Rag z modelami wdrożonym jako bezserwerowe interfejsy API
Usługa Azure AI Studio umożliwia użytkownikom korzystanie z indeksów wektorów i pobierania rozszerzonej generacji. Modele, które można wdrożyć za pośrednictwem bezserwerowego interfejsu API, mogą służyć do generowania osadzania i wnioskowania na podstawie danych niestandardowych w celu generowania odpowiedzi specyficznych dla ich przypadku użycia. Aby uzyskać więcej informacji, zobacz Jak utworzyć indeks wektorowy.
Regionalna dostępność ofert i modeli
Rozliczanie zgodnie z rzeczywistym użyciem jest dostępne tylko dla użytkowników, których subskrypcja platformy Azure należy do konta rozliczeniowego w kraju, w którym dostawca modelu udostępnił ofertę (zobacz "region dostępności oferty" w tabeli w następnej sekcji). Jeśli oferta jest dostępna w odpowiednim regionie, użytkownik musi mieć centrum/projekt w regionie świadczenia usługi Azure, w którym model jest dostępny do wdrożenia lub dostrajania, zgodnie z tym, co ma zastosowanie (zobacz kolumny "region centrum/projektu" w poniższej tabeli).
| Model | Region dostępności oferty | Centrum/Region projektu do wdrożenia | Centrum/Region projektu na potrzeby dostrajania |
|---|---|---|---|
| Llama-3-70B-Poinstruowanie Llama-3-8B-Poinstruowanie |
Kraje zarządzane przez firmę Microsoft | Wschodnie stany USA 2, Szwecja Środkowa | Niedostępny |
| Llama-2-7b Llama-2-13b Llama-2-70b |
Kraje zarządzane przez firmę Microsoft | Wschodnie stany USA 2, Zachodnie stany USA 3 | Zachodnie stany USA 3 |
| Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat |
Kraje zarządzane przez firmę Microsoft | Wschodnie stany USA 2, Zachodnie stany USA 3 | Niedostępny |
| Mistral-Large Mistral Mały |
Kraje zarządzane przez firmę Microsoft | Wschodnie stany USA 2, Szwecja Środkowa | Niedostępny |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-wielojęzyczny |
Kraje zarządzane przez firmę Microsoft Japonia |
Wschodnie stany USA 2, Szwecja Środkowa | Niedostępny |
Bezpieczeństwo zawartości dla modeli wdrożonych za pośrednictwem bezserwerowego interfejsu API
Ważne
Niektóre funkcje opisane w tym artykule mogą być dostępne tylko w wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie zalecamy korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone. Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.
Usługa Azure AI Studio implementuje domyślną konfigurację zawartości sztucznej inteligencji platformy Azure Sejf ty filtrów moderowania tekstu pod kątem szkodliwej zawartości (nienawiści, samookaleczenia, seksualnej i przemocy) w modelach językowych wdrożonych za pomocą usługi MaaS. Aby dowiedzieć się więcej na temat filtrowania zawartości (wersja zapoznawcza), zobacz Kategorie szkód w usłudze Azure AI Content Sejf ty. Filtrowanie zawartości (wersja zapoznawcza) odbywa się synchronicznie, ponieważ procesy usługi monituje o wygenerowanie zawartości, a opłaty mogą być naliczane oddzielnie zgodnie z cennikiem usługi AACS dla takiego użycia. Filtrowanie zawartości dla poszczególnych punktów końcowych bezserwerowych można wyłączyć podczas pierwszego wdrażania modelu językowego lub na stronie szczegółów wdrożenia, klikając przełącznik filtrowania zawartości. W przypadku wyłączenia filtrów zawartości może wystąpić większe ryzyko ujawnienia użytkowników szkodliwej zawartości.