Jak wdrożyć usługę JAIS za pomocą usługi Azure Machine Learning Studio

Artykuł
10/16/2024

Z tego artykułu dowiesz się, jak za pomocą usługi Azure Machine Learning Studio wdrożyć model JAIS jako usługę z rozliczeniami płatności zgodnie z rzeczywistym użyciem.

Model JAIS jest dostępny w usłudze Azure Machine Learning Studio z rozliczeniami opartymi na tokenach płatności zgodnie z rzeczywistym użyciem z modelami jako usługą.

Model JAIS można znaleźć w katalogu modeli, filtrując kolekcję JAIS.

Wymagania wstępne

Subskrypcja platformy Azure z prawidłową formą płatności. Subskrypcje platformy Azure w wersji bezpłatnej lub próbnej nie będą działać. Jeśli nie masz subskrypcji platformy Azure, utwórz płatne konto platformy Azure, aby rozpocząć.
Obszar roboczy usługi Azure Machine Learning. Jeśli nie masz tych zasobów, wykonaj kroki opisane w artykule Szybki start: tworzenie zasobów obszaru roboczego, aby je utworzyć. Oferta wdrażania modelu bezserwerowego interfejsu API dla usługi JAIS jest dostępna tylko w przypadku obszarów roboczych utworzonych w następujących regionach:
- East US
- Wschodnie stany USA 2
- Północno-środkowe stany USA
- South Central US
- Zachodnie stany USA
- Zachodnie stany USA 3
- Szwecja Środkowa
Aby uzyskać listę regionów dostępnych dla każdego z modeli obsługujących bezserwerowe wdrożenia punktów końcowych interfejsu API, zobacz Dostępność regionalna dla modeli w punktach końcowych bezserwerowego interfejsu API.
Kontrola dostępu oparta na rolach (RBAC) platformy Azure służy do udzielania dostępu do operacji w usłudze Azure AI Studio. Aby wykonać kroki opisane w tym artykule, konto użytkownika musi mieć przypisaną rolę dewelopera usługi Azure AI w grupie zasobów. Aby uzyskać więcej informacji na temat uprawnień, zobacz Kontrola dostępu oparta na rolach w usłudze Azure AI Studio.

JAIS 30b Chat

JAIS 30b Chat to auto-regresji bi-lingual LLM dla języka arabskiego i angielskiego. Dostrojone wersje używają nadzorowanych dostrajania (SFT). Model jest dostrojony zarówno z arabskimi, jak i angielskimi parami prompt-response. Zestawy danych dostrajania obejmowały szeroką gamę danych instruktażowych w różnych domenach. Model obejmuje szeroką gamę typowych zadań, w tym odpowiedzi na pytania, generowanie kodu i rozumowanie nad zawartością tekstową. Aby zwiększyć wydajność języka arabskiego, zespół Core42 opracował wbudowany arabski zestaw danych, a także przetłumaczył niektóre instrukcje języka angielskiego typu open source na język arabski.

Długość kontekstu: czat JAIS 30b obsługuje długość kontekstu 8K.

Dane wejściowe: Dane wejściowe modelu są tylko tekstem.

Dane wyjściowe: model generuje tylko tekst.

Ważne

Ta funkcja jest obecnie w publicznej wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie zalecamy korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone.

Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.

Wdrażanie przy użyciu płatności zgodnie z rzeczywistym użyciem

Niektóre modele w wykazie modeli można wdrożyć jako usługę z płatnością zgodnie z rzeczywistym użyciem, zapewniając sposób korzystania z nich jako interfejsu API bez hostowania ich w ramach subskrypcji, przy jednoczesnym zachowaniu potrzeb organizacji w zakresie zabezpieczeń i zgodności przedsiębiorstwa. Ta opcja wdrożenia nie wymaga limitu przydziału z subskrypcji.

Wcześniej wymieniony model czatu JAIS 30b można wdrożyć jako usługę z płatnością zgodnie z rzeczywistym użyciem i jest oferowany przez platformę Core42 za pośrednictwem witryny Microsoft Azure Marketplace. Core42 może zmienić lub zaktualizować warunki użytkowania i ceny tego modelu.

Tworzenie nowego wdrożenia

Aby utworzyć wdrożenie:

Przejdź do usługi Azure Machine Learning Studio.
Wybierz obszar roboczy, w którym chcesz wdrożyć modele. Aby korzystać z oferty wdrażania modelu z płatnością zgodnie z rzeczywistym użyciem, obszar roboczy musi należeć do regionu Wschodnie stany USA2 lub Szwecja Środkowa.
Wyszukaj pozycję JAIS i wybierz model Jais-30b-chat z katalogu modeli.
Na stronie przeglądu modelu w katalogu modeli wybierz pozycję Wdróż.
W kreatorze wdrażania wybierz link do warunków użytkowania witryny Azure Marketplace, aby dowiedzieć się więcej o warunkach użytkowania.
Możesz również wybrać kartę Cennik i terminy , aby dowiedzieć się więcej o cenach dla wybranego modelu.
Jeśli po raz pierwszy wdrażasz model w obszarze roboczym, musisz zasubskrybować obszar roboczy dla konkretnej oferty modelu. Ten krok wymaga, aby Twoje konto ma uprawnienia roli dewelopera usługi Azure AI w grupie zasobów, zgodnie z wymaganiami wstępnymi. Każdy obszar roboczy ma własną subskrypcję konkretnej oferty witryny Azure Marketplace, która umożliwia kontrolowanie i monitorowanie wydatków. Wybierz pozycję Subskrybuj i Wdróż. Obecnie można mieć tylko jedno wdrożenie dla każdego modelu w obszarze roboczym.
Po zasubskrybowaniu obszaru roboczego dla określonej oferty witryny Azure Marketplace kolejne wdrożenia tej samej oferty w tym samym obszarze roboczym nie wymagają ponownego subskrybowania. Jeśli ten scenariusz ma zastosowanie do Ciebie, istnieje opcja Kontynuuj, aby wdrożyć , aby wybrać.
Nadaj wdrożeniu nazwę. Ta nazwa staje się częścią adresu URL interfejsu API wdrażania. Ten adres URL musi być unikatowy w każdym regionie świadczenia usługi Azure.
Wybierz Wdróż. Poczekaj na zakończenie wdrożenia i nastąpi przekierowanie do strony bezserwerowych punktów końcowych.
Wybierz punkt końcowy, aby otworzyć stronę Szczegóły.
Wybierz kartę Test , aby rozpocząć interakcję z modelem.
Zawsze możesz znaleźć szczegóły, adres URL i klucze dostępu punktu końcowego, przechodząc do punktów końcowych obszaru roboczego>Bezserwerowych punktów końcowych.>
Zanotuj docelowy adres URL i klucz tajny. Aby uzyskać więcej informacji na temat korzystania z interfejsów API, zobacz sekcję referencyjną.

Aby dowiedzieć się więcej o rozliczeniach modeli wdrożonych przy użyciu modelu płatności zgodnie z rzeczywistym użyciem, zobacz Zagadnienia dotyczące kosztów i limitów przydziału dla modeli JAIS wdrożonych jako usługa.

Korzystanie z modelu czatu JAIS 30b jako usługi

Te modele można używać przy użyciu interfejsu API czatu.

W obszarze roboczym wybierz kartę Punkty końcowe po lewej stronie.
Przejdź do karty Punkty końcowe bezserwerowe .
Wybierz wdrożenie dla czatu JAIS 30b.
Wdrożenie można przetestować na karcie Test .
Aby użyć interfejsów API, skopiuj docelowy adres URL i wartość Klucz .

Aby uzyskać więcej informacji na temat korzystania z interfejsów API, zobacz sekcję referencyjną.

Dokumentacja interfejsu API czatu dla rozwiązania JAIS wdrożonego jako usługa

Wersja 1/czat/ukończenie

Żądanie

    POST /v1/chat/completions HTTP/1.1
    Host: <DEPLOYMENT_URI>
    Authorization: Bearer <TOKEN>
    Content-type: application/json

Schemat żądania czatu/zakończenia w wersji 1

Czat JAIS 30b akceptuje następujące parametry dla v1/chat/completions wywołania wnioskowania odpowiedzi:

Właściwość	Type	Domyślny	opis
`messages`	`array`	`None`	Wprowadzanie tekstu dla modelu, na które ma odpowiadać.
`max_tokens`	`integer`	`None`	Maksymalna liczba tokenów generowanych przez model w ramach odpowiedzi. Uwaga: ustawienie niskiej wartości może spowodować niekompletne generacje. Jeśli nie zostanie określony, generuje tokeny do końca sekwencji.
`temperature`	`float`	`0.3`	Steruje losowością w modelu. Niższe wartości sprawią, że model będzie bardziej deterministyczny, a wyższe wartości sprawią, że model będzie bardziej losowy.
`top_p`	`float`	`None`	Skumulowane prawdopodobieństwo tokenów słownictwa o najwyższym prawdopodobieństwie parametru w celu zachowania próbkowania jądra domyślnie ma wartość null.
`top_k`	`integer`	`None`	Liczba tokenów słownictwa o najwyższym prawdopodobieństwie, które mają być zachowywane dla filtrowania top-k, domyślnie ma wartość null.

Komunikat systemowy lub użytkownik obsługuje następujące właściwości:

Właściwość	Type	Domyślny	opis
`role`	`enum`	Wymagania	Usługa `role=system` lub `role=user`.
`content`	`string`	Wymagania	Wprowadzanie tekstu dla modelu, na które ma odpowiadać.

Komunikat asystenta obsługuje następujące właściwości:

Właściwość	Type	Domyślny	opis
`role`	`enum`	Wymagania	`role=assistant`
`content`	`string`	Wymagania	Zawartość komunikatu asystenta.

Schemat odpowiedzi w wersji 1/czatu/uzupełniania

Ładunek odpowiedzi to słownik z następującymi polami:

Klucz	Type	Opis
`id`	`string`	Unikatowy identyfikator ukończenia.
`choices`	`array`	Lista uzupełniania wybiera model wygenerowany dla komunikatów wejściowych.
`created`	`integer`	Sygnatura czasowa systemu Unix (w sekundach) czasu utworzenia ukończenia.
`model`	`string`	Model_id używany do ukończenia.
`object`	`string`	chat.completion.
`usage`	`object`	Statystyki użycia dla żądania ukończenia.

Obiekt choices jest słownikiem z następującymi polami:

Klucz	Type	Opis
`index`	`integer`	Indeks wyboru.
`messages` lub `delta`	`string`	Ukończenie czatu powoduje obiekt wiadomości. Gdy używany jest tryb przesyłania strumieniowego, używany jest klucz różnicowy.
`finish_reason`	`string`	Przyczyna, dla którego model przestał generować tokeny.

Obiekt usage jest słownikiem z następującymi polami:

Klucz	Type	Opis
`prompt_tokens`	`integer`	Liczba tokenów w wierszu polecenia.
`completion_tokens`	`integer`	Liczba tokenów wygenerowanych w zakończeniu.
`total_tokens`	`integer`	Łączna liczba tokenów.

Przykłady

Arabski

Żądanie:

    "messages": [
        {
        "role": "user",
        "content": "ما هي الأماكن الشهيرة التي يجب زيارتها في الإمارات؟"
        }
    ]

Reakcja:

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "هناك العديد من الأماكن المذهلة للزيارة في الإمارات! ومن أشهرها برج خليفة في دبي وهو أطول مبنى في العالم ، ومسجد الشيخ زايد الكبير في أبوظبي والذي يعد أحد أجمل المساجد في العالم ، وصحراء ليوا في الظفرة والتي تعد أكبر صحراء رملية في العالم وتجذب الكثير من السياح لتجربة ركوب الجمال والتخييم في الصحراء. كما يمكن للزوار الاستمتاع بالشواطئ الجميلة في دبي وأبوظبي والشارقة ورأس الخيمة، وزيارة متحف اللوفر أبوظبي للتعرف على تاريخ الفن والثقافة العالمية"
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 744,
            "total_tokens": 767
        }
    }

angielski

Żądanie:

    "messages": [
        {
        "role": "user",
        "content": "List the emirates of the UAE."
        }
    ]

Reakcja:

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "The seven emirates of the United Arab Emirates are: Abu Dhabi, Dubai, Sharjah, Ajman, Umm Al-Quwain, Fujairah, and Ras Al Khaimah."
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 60,
            "total_tokens": 83
        }
    }

Więcej przykładów wnioskowania

Przykładowy typ	Przykładowy notes
Interfejs wiersza polecenia przy użyciu narzędzi CURL i żądań internetowych języka Python	webrequests.ipynb
Zestaw OPENAI SDK (eksperymentalny)	openaisdk.ipynb
LiteLLM	litellm.ipynb

Koszt i przydziały

Zagadnienia dotyczące kosztów i limitów przydziału dla modeli wdrożonych jako usługa

Czat JAIS 30b jest wdrażany jako usługa oferowana przez platformę Core42 za pośrednictwem witryny Azure Marketplace i zintegrowana z usługą Azure AI Studio do użycia. Cennik witryny Azure Marketplace można znaleźć podczas wdrażania modelu.

Za każdym razem, gdy projekt subskrybuje daną ofertę z witryny Azure Marketplace, tworzony jest nowy zasób w celu śledzenia kosztów związanych z jej zużyciem. Ten sam zasób służy do śledzenia kosztów skojarzonych z wnioskowaniem; jednak w ramach śledzenia każdego scenariusza można niezależnie śledzić wiele mierników.

Aby uzyskać więcej informacji na temat śledzenia kosztów, zobacz Monitorowanie kosztów modeli oferowanych w witrynie Azure Marketplace.

Limit przydziału jest zarządzany na wdrożenie. Każde wdrożenie ma limit szybkości wynoszący 200 000 tokenów na minutę i 1000 żądań interfejsu API na minutę. Obecnie jednak ograniczamy jedno wdrożenie na model na projekt. Skontaktuj się z pomocą techniczną platformy Microsoft Azure, jeśli bieżące limity szybkości nie są wystarczające dla Twoich scenariuszy.

Filtrowanie zawartości

Modele wdrożone jako usługa z płatnością zgodnie z rzeczywistym użyciem są chronione przez bezpieczeństwo zawartości usługi Azure AI. Dzięki bezpieczeństwu zawartości sztucznej inteligencji platformy Azure zarówno monit, jak i ukończenie przechodzą przez zespół modeli klasyfikacji mających na celu wykrywanie i zapobieganie wyjściu szkodliwej zawartości. System filtrowania zawartości (wersja zapoznawcza) wykrywa i podejmuje działania dotyczące określonych kategorii potencjalnie szkodliwej zawartości zarówno w monitach wejściowych, jak i w przypadku uzupełniania danych wyjściowych. Dowiedz się więcej o filtrowaniu zawartości tutaj.

Udostępnij za pośrednictwem